CN113821565B - 一种多数据源同步数据的方法 - Google Patents
一种多数据源同步数据的方法 Download PDFInfo
- Publication number
- CN113821565B CN113821565B CN202111060021.9A CN202111060021A CN113821565B CN 113821565 B CN113821565 B CN 113821565B CN 202111060021 A CN202111060021 A CN 202111060021A CN 113821565 B CN113821565 B CN 113821565B
- Authority
- CN
- China
- Prior art keywords
- data
- source
- target
- command
- executing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000013507 mapping Methods 0.000 claims abstract description 6
- 238000013515 script Methods 0.000 claims description 42
- 238000012545 processing Methods 0.000 claims description 15
- 230000001360 synchronised effect Effects 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 12
- 230000008676 import Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 5
- 239000002699 waste material Substances 0.000 abstract description 4
- 238000007726 management method Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000586 desensitisation Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/275—Synchronous replication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种多数据源同步数据的方法，涉及数据同步技术领域。本发明包括步骤：S01、选择配置好的数据源和表作为来源表和目标表；S02、判断是否使用基础配置得到来源表字段；S03、解析来源字段、目标字段及字段映射；S04、判断数据源是否支持支持SQL语句；S05、动态生成SQL语句；S06、拼接SQL执行命令；S07、调用Shell执行命令。本发明降低了数据同步时配置各数据源之间的差异，最大程度的突出数据同步本身需要的配置信息，减少了服务器资源的浪费并节约了同步执行时间，降低了使用的限制，提高了用户配置数据同步的效率，方便了用户进行数据处理。
Description
技术领域
本发明属于数据同步技术领域，特别是涉及一种多数据源同步数据的方法。
背景技术
现在的企业在互联网化转型后都会在企业使用的本地服务器或云服务器中产生大量的数据，这些数据由于属于不同的部门，采用了不同的数据存储和管理方式，因而存在于不同的数据源上。
现在的网络上有很多数据源，其中包括的关系型数据库有MySQL、Oracle、SQLServer等，大数据存储有Hive、HBase等，而在有些涉及敏感数据的情况下，需要做数据处理时只能拿到一个接口API，该API会返回一些经过脱敏或者集合处理的数据，这样的数据源称之为API数据源。
这些数据源的配置方式多种多样，执行时得到的数据集格式也不完全一致，这样拥有多套数据源的用户使用数据同步来汇总处理自己的数据变得复杂、困难且繁琐。如果每次都使用普通的一对一同步的方法进行数据同步，那需要的软件或者Java库会有很多，对于普通用户来说非常不方便，中途还会生成大量的临时表和数据，造成服务器资源的浪费。
发明内容
本发明提供了一种多数据源同步数据的方法，解决了以上问题。
为解决上述技术问题，本发明是通过以下技术方案实现的：
本发明的一种多数据源同步数据的方法，包括如下步骤：
S01、选择配置好的数据源和表作为来源表和目标表：所述数据源具体包括的关系型数据库有MySQL、Oracle、SQL Server，包括的大数据存储有Hive、HBase；所述来源表和目标表选自其中任意一种；
S02、判断是否使用基础配置得到来源表字段：具体通过isBasic字段进行判断实现，表示是否使用基础配置完成此次数据同步；
若否，则执行来源表数据处理脚本后执行下一步骤；
若是，则直接执行下一步骤；
S03、解析来源字段、目标字段及字段映射；
S04、判断数据源是否支持支持SQL语句；若否，则动态生成同步命令，并执行步骤S07；若是，则直接执行下一步骤；
S05、动态生成SQL语句；
S06、拼接SQL执行命令；
S07、调用Shell执行命令。
进一步地，所述S02步骤中，执行来源表数据处理脚本后执行下一步骤具体通过使用高级选项，从conditionSql中提取自定义来源表字段处理脚本，根据脚本类型调用相关程序执行脚本，如是SQL语句则直接在后端程序中执行SQL语句，如是Python脚本则调用在执行后端程序的服务器上安装的Python程序执行该脚本，执行脚本可以得到来源表字段。
进一步地，所述S03步骤，具体是将mappingList中的from和to属性的table和field字段使用点号拼合为实际字段，得到实际的来源字段为from_table.id、from_table.name、from_table.age，目标字段分别对应为to_table.id，to_table.name，to_table.age。
进一步地，所述S04步骤中动态生成同步命令具体是通过拼接Shell Script命令：从来源表到目标表使用sqoop import命令，使用query参数拼接S05步骤生成的SQL语句，再拼接其他参数，包括：connect指定来源表连接信息、username指定连接用户名、password指定连接用户名的密码、target-dir指定目标数据的位置等，得到具体的执行命令。
进一步地，所述S05步骤中动态生成SQL语句具体是将得到的所有来源字段用逗号拼接，前面增加SELECT字符串，后面增加FROM语句，拼接目标表名，如果使用了基础配置而不是高级选项，则最后再拼接从conditionSql中获取的用户自定义的WHERE语句，得到完整的SQL语句。
进一步地，所述S06步骤与S04步骤中动态生成同步命令同理，根据不同的数据源的官方文档直接拼接得到符合官方定义的执行同步的命令。
进一步地，所述S07步骤具体是通过数据源配置中得到数据源的实际连接信息，其中包括目标数据源的地址，调用当前运行后端程序的服务器的Shell程序，使用ssh命令指定目标数据源的地址，并可以将S04步骤中动态生成同步命令步骤或S06中得到的命令传输到目标数据源服务器中直接执行；等待目标数据源服务器返回执行命令的响应。
进一步地，等待响应的结果若为成功状态，则从来源表和目标表的数据同步即完成执行；若响应结果是失败的状态，则根据响应的错误信息，排查连接配置是否存在问题并修正，再重新执行数据同步流程。
本发明相对于现有技术包括有以下有益效果：
1、本方法先将数据源统一配置起来管理，降低了数据同步时配置各数据源之间的差异，最大程度的突出数据同步本身需要的配置信息。
2、在执行数据同步时，根据配置信息动态生成同步语句或命令，使得本方法可以支持多种多样的数据源同步需求，中间不会产生多余的临时表或视图，减少了服务器资源的浪费并节约了同步执行时间，虽然仍然会使用到很多的依赖工具，但是这些工具对用户来说不可见，降低了使用的限制。
3、本方法使用可视化的理念操作配置信息，除了一些基本的SQL语句和高级选项中的来源表数据处理脚本需要用户熟悉具体的数据源语句或者脚本语言外，其他的操作均不需要过多的关于数据源的知识即可完成，大大降低了数据同步的操作难度和学习成本，提高了用户配置数据同步的效率，方便了用户进行数据处理。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的一种多数据源同步数据的方法的步骤图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本方法将基于B\S架构和Java后端进行，不考虑具体的前端实现方式，另外执行后端程序的服务器上需要安装Python。默认本方法的使用者已经拥有了一些不同类型的数据源，它们可以部署在不同的服务器上，也可以部署在同一台服务器上。在某一台服务器上，数据源可以是直接部署在该服务器中的数据库，例如MySQL数据库；也可以是CDH(Cloudera’s Distribution Including Apache Hadoop)等大数据平台中集成的数据源，如Hive、HBase等。不论如何部署，该数据源应该是直接可用的，本方法将提供一种方便管理和快捷执行数据同步的方案。
为了方便管理各类数据源，按照各种不同数据源的配置方式，首先可视化地创建一些不同的数据源，此时的前端配置页面基于不同的数据源不尽相同，但总归来说将不同的数据源集合起来方便管理。具体做法是，创建一个数据源管理模块，每个需要用到的可以直接使用的数据源都在其中添加记录。添加记录时由用户选择数据源类型，输入数据源名称和备注等基本信息，当该数据源可以直接使用JDBC链接连接时，提示用户输入JDBC链接，当数据源可以使用特殊的链接连接时，提示用户输入该特殊链接，之后补充输入不同数据源连接所需要的不同的其他信息。这样在添加记录后，用户将直接可用的数据源管理起来，通过记录中的信息保存该数据源的连接配置。
之后在进行数据同步时，选择一个已经配置好的数据源，通过数据源管理模块中记录的连接信息连接该数据源，可以取到该数据源中可用的表或者视图，选择其中一个作为来源表，可以获得JDBC等工具解析到的该表或视图的所有字段。同样的方法选择目标表得到其所有字段，目标表也可以是直接根据来源字段动态创建的新表。
某些场景下，在数据同步时用户还希望同时对数据进行筛选和过滤，以简化数据，降低数据量以提高同步速率。因此在选择来源表后，额外提供一个输入框，允许用户在其中输入WHERE语句过滤数据。由于WHERE语句过滤能力有限，可能无法满足用户复杂的数据同步需求。因此开放代码编辑功能作为高级选项，用户可以自行选择启用，若启用则允许用户自定义输入处理来源表数据的SQL或者Python等语言的脚本，依据脚本可以完成更复杂的对来源数据的过滤等处理。之后根据数据源和脚本语言的不同，解析该脚本得到来源表字段。
将来源表的所有字段和目标表的所有字段展示出来，供用户连线，每一条连线将来源表字段和目标表字段连接起来，每个来源表字段，可以不与目标表字段连接，表示该来源字段的数据不进行同步；也可以与一个或多个目标表字段连接，表示该来源字段的数据将向建立连线的目标字段同步，即字段映射。
除了字段映射，还要再输入少量数据源同步的其他配置信息如最大并发数、最大允许错误数和最大传输速度等，完成之后保存整个配置信息，包括选择的来源表和目标表、字段映射和其他配置信息。当用户需要数据同步时，找到该配置信息并调用本方法的接口运行，本方法会开始进行数据同步操作：可以直接调用Jar包来运行SQL语句的数据源，本方法会根据配置动态拼接生成SQL语句，并拼接为完整的Shell Script命令；不可以运行SQL语句的数据源，例如HBase，则通过配置信息动态拼接为官方文档提供的同步命令。从数据源管理中拿到对应数据源的连接信息，建立数据库连接并执行拼接好的命令，调用执行后端程序的服务器的Shell程序运行ssh命令传送该命令到目标数据源服务器执行命令并完成同步。
本发明的前提是假设用户已有一套MySQL数据源和Hive数据源，相关执行环境也是完备的。在执行数据同步前需要采用本方法的数据源管理模块配置这两个数据源的连接信息。配置得到的MySQL数据源的配置信息包括：数据源名称，此处假设为from_mysql；连接链接jdbc:mysql://[ipAddress]/[database]，其中ipAddress是真实的MySQL服务器地址，database是需要连接的MySQL中的数据库名称；MySQL用户名和密码；备注信息。配置得到的Hive数据源的配置信息包括：数据源名称，此处假设为to_hive；连接链接jdbc:hive2://[ipAddress]:[port]，其中ipAddress是真实的Hive服务器地址，port是Hive所在的服务器中Hive监听的端口；Hive用户名和密码；Hive版本；备注信息。
图1所示为数据同步执行流程图，完成从来源表到目标表的数据同步。下面将以上述假设的MySQL数据源和Hive数据源为基础，结合图1对从MySQL数据源向Hive数据源进行数据同步所需要的执行步骤进行详细描述：
假设该配置信息为如下所示
配置信息中的字段解释如下：
fromDbType/toDbType：来源/目标数据源的类型，此处值为mysql/hive
fromDbName/toDbName：来源/目标数据源名
fromDbTable/toDbTable：来源/目标表名
maxConcurrentNum：同步最大并发数，用来多线程同步
maxTransferSpeed：最大传输速度，用来限制同步速率以节省服务器资源
maxErrorCount：最大错误数，同步时产生的错误数超过该数则同步中止
appendMode：写入模式，可选有增量同步，覆盖同步，插入同步
isBasic：是否使用基础配置，若为true，则conditionSql表示自定义的WHERE语句，否则表示用户自定义的来源数据处理脚本
conditionSql：用户自定义的WHERE条件或用户自定义的来源数据处理脚本，由isBasic字段控制具体的含义
mappingList：映射关系列表，每项包含from和to字段，指示同步关系中的来源字段和目标字段。
图1所示：
S01步骤中，提取配置信息中的来源表，得知该来源表属于MySQL，表名为from_table，提取配置信息中的目标表，得知目标表属于Hive，表名为to_table，从数据源管理模块中找到这两个数据源的连接信息并连接，通过相应表名可以获得表结构；
S02步骤中，判断isBasic字段是否为true，表示是否使用基础配置完成此次数据同步，若是，则执行来源表数据处理脚本后执行下一步骤，否则，直接执行下一步骤。此处的配置信息表示使用基础配置；
其中，执行来源表数据处理脚本具体是通过使用高级选项，从conditionSql中提取自定义来源表字段处理脚本，根据脚本类型调用相关程序执行脚本，如是SQL语句则直接在后端程序中执行SQL语句，如是Python脚本则调用在执行后端程序的服务器上安装的Python程序执行该脚本。执行脚本可以得到来源表字段；
S03步骤中，将mappingList中的from和to属性的table和field字段使用点号拼合为实际字段，得到实际的来源字段为from_table.id、from_table.name、from_table.age，目标字段分别对应为to_table.id，to_table.name，to_table.age；
S04步骤中，根据数据源类型判断数据源是否支持SQL。若是，执行下一步骤，若否，则动态生成同步命令。此处的MySQL和Hive均支持SQL语句；动态生成同步命令具体拼接Shell Script命令：从MySQL到Hive使用sqoop import命令，使用--query参数拼接步骤6生成的SQL语句，再拼接其他参数，如--connect指定MySQL连接信息，--username指定连接用户名，--password指定连接用户名的密码，--target-dir指定目标数据的位置等，得到具体的执行命令；
S05步骤：将得到的所有来源字段用逗号拼接，前面增加SELECT字符串，后面增加FROM语句，拼接目标表名，如果使用了基础配置而不是高级选项(isBasic字段决定)，则最后再拼接从conditionSql中获取的用户自定义的WHERE语句，得到完整的SQL语句；
S06步骤：与动态生成同步命令同理，根据不同的数据源的官方文档直接拼接得到符合官方定义的执行同步的命令；
S07步骤：从数据源配置中得到数据源的实际连接信息，其中包括目标数据源的地址，调用当前运行后端程序的服务器的Shell程序，使用ssh命令指定目标数据源的地址，并可以将将S04步骤中动态生成同步命令步骤或S06中得到的命令传输到目标数据源服务器中直接执行。等待目标数据源服务器返回执行命令的响应；等待响应结果为成功状态，从MySQL到Hive的数据同步即完成执行；若响应结果是失败的状态，则根据响应的错误信息，排查连接配置是否存在问题并修正，再重新执行数据同步流程。
有益效果：
1、本方法先将数据源统一配置起来管理，降低了数据同步时配置各数据源之间的差异，最大程度的突出数据同步本身需要的配置信息。
2、在执行数据同步时，根据配置信息动态生成同步语句或命令，使得本方法可以支持多种多样的数据源同步需求，中间不会产生多余的临时表或视图，减少了服务器资源的浪费并节约了同步执行时间，虽然仍然会使用到很多的依赖工具，但是这些工具对用户来说不可见，降低了使用的限制。
3、本方法使用可视化的理念操作配置信息，除了一些基本的SQL语句和高级选项中的来源表数据处理脚本需要用户熟悉具体的数据源语句或者脚本语言外，其他的操作均不需要过多的关于数据源的知识即可完成，大大降低了数据同步的操作难度和学习成本，提高了用户配置数据同步的效率，方便了用户进行数据处理。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (4)
1.一种多数据源同步数据的方法，其特征在于，包括如下步骤：
S01、选择配置好的数据源和表作为来源表和目标表：所述数据源包括的关系型数据库有MySQL、Oracle、SQL Server，包括的大数据存储有Hive、HBase；所述来源表和目标表选自其中任意一种；
S02、判断是否使用基础配置得到来源表字段：通过isBasic字段进行判断实现，表示是否使用基础配置完成此次数据同步；
若否，则执行来源表数据处理脚本后执行下一步骤；执行来源表数据处理脚本后执行下一步骤通过使用高级选项，从conditionSql中提取自定义来源表字段处理脚本，根据脚本类型调用相关程序执行脚本，如是SQL语句则直接在后端程序中执行SQL语句，如是Python脚本则调用在执行后端程序的服务器上安装的Python程序执行该脚本，执行脚本得到来源表字段；
若是，则直接执行下一步骤；
S03、解析来源字段、目标字段及字段映射；是将mappingList中的from和to属性的table和field字段使用点号拼合为实际字段，得到实际的来源字段为from_table.id、from_table.name、from_table.age，目标字段分别对应为to_table.id，to_table.name，to_table.age；
S04、判断数据源是否支持SQL语句；若否，则动态生成同步命令，并执行步骤S07；若是，则直接执行下一步骤；动态生成同步命令是通过拼接Shell Script命令：从来源表到目标表使用sqoop import命令，使用query参数拼接S05步骤生成的SQL语句，再拼接其他参数，包括：connect指定来源表连接信息、username指定连接用户名、password指定连接用户名的密码、target-dir指定目标数据的位置，得到的执行命令；
S05、动态生成SQL语句；动态生成SQL语句是将得到的所有来源字段用逗号拼接，前面增加SELECT字符串，后面增加FROM语句，拼接目标表名，如果使用了基础配置而不是高级选项，则最后再拼接从conditionSql中获取的用户自定义的WHERE语句，得到完整的SQL语句；
S06、拼接SQL执行命令；
S07、调用Shell执行命令。
2.根据权利要求1所述的一种多数据源同步数据的方法，其特征在于，所述S06步骤与S04步骤中动态生成同步命令同理，根据不同的数据源的官方文档直接拼接得到符合官方定义的执行同步的命令。
3.根据权利要求1所述的一种多数据源同步数据的方法，其特征在于，所述S07步骤是通过数据源配置中得到数据源的实际连接信息，其中包括目标数据源的地址，调用当前运行后端程序的服务器的Shell程序，使用ssh命令指定目标数据源的地址，并将S04步骤中动态生成同步命令步骤或S06中得到的命令传输到目标数据源服务器中直接执行；等待目标数据源服务器返回执行命令的响应。
4.根据权利要求3所述的一种多数据源同步数据的方法，其特征在于，等待响应的结果若为成功状态，则从来源表和目标表的数据同步即完成执行；若响应结果是失败的状态，则根据响应的错误信息，排查连接配置是否存在问题并修正，再重新执行数据同步流程。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111060021.9A CN113821565B (zh) | 2021-09-10 | 2021-09-10 | 一种多数据源同步数据的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111060021.9A CN113821565B (zh) | 2021-09-10 | 2021-09-10 | 一种多数据源同步数据的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113821565A CN113821565A (zh) | 2021-12-21 |
| CN113821565B true CN113821565B (zh) | 2024-03-15 |
Family
ID=78921854
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111060021.9A Active CN113821565B (zh) | 2021-09-10 | 2021-09-10 | 一种多数据源同步数据的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113821565B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114491180A (zh) * | 2022-04-18 | 2022-05-13 | 武汉中科通达高新技术股份有限公司 | 交管数据流向分析方法、装置、计算机设备及存储介质 |
| CN116932575B (zh) * | 2023-09-12 | 2023-12-15 | 长城证券股份有限公司 | 基于Spark的跨数据源操作方法、设备及存储介质 |
| CN117971984B (zh) * | 2024-03-29 | 2024-06-21 | 天津南大通用数据技术股份有限公司 | 分布式数据库集群间表数据的同步方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5937415A (en) * | 1995-12-13 | 1999-08-10 | Sybase, Inc. | Data base development system with methods facilitating copying of data from one data source to another |
| EP2891994A1 (en) * | 2013-11-04 | 2015-07-08 | Guangdong Electronics Industry Institute Ltd. | Method for achieving automatic synchronization of multisource heterogeneous data resources |
| CN111324647A (zh) * | 2020-01-21 | 2020-06-23 | 北京东方金信科技有限公司 | 一种生成etl代码的方法及装置 |
| CN111506556A (zh) * | 2020-04-09 | 2020-08-07 | 北京市测绘设计研究院 | 一种多源异构的结构化数据同步方法 |
| WO2021055016A1 (en) * | 2020-04-13 | 2021-03-25 | Futurewei Technologies, Inc. | Detection and resolution of data synchronization conflicts |
| CN113282599A (zh) * | 2021-05-31 | 2021-08-20 | 平安国际智慧城市科技股份有限公司 | 数据同步方法及系统 |
| WO2021169277A1 (zh) * | 2020-02-25 | 2021-09-02 | 平安科技（深圳）有限公司 | 数据同步方法、装置、设备及计算机可读存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9367597B2 (en) * | 2013-11-18 | 2016-06-14 | International Business Machines Corporation | Automatically managing mapping and transform rules when synchronizing systems |
| KR101917806B1 (ko) * | 2017-12-22 | 2018-11-12 | 주식회사 웨어밸리 | Sql 패킷분석을 통한 이기종 데이터베이스의 데이터 복제 및 동기화 오류 탐지 방법 및 시스템 |
-
2021
- 2021-09-10 CN CN202111060021.9A patent/CN113821565B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5937415A (en) * | 1995-12-13 | 1999-08-10 | Sybase, Inc. | Data base development system with methods facilitating copying of data from one data source to another |
| EP2891994A1 (en) * | 2013-11-04 | 2015-07-08 | Guangdong Electronics Industry Institute Ltd. | Method for achieving automatic synchronization of multisource heterogeneous data resources |
| CN111324647A (zh) * | 2020-01-21 | 2020-06-23 | 北京东方金信科技有限公司 | 一种生成etl代码的方法及装置 |
| WO2021169277A1 (zh) * | 2020-02-25 | 2021-09-02 | 平安科技（深圳）有限公司 | 数据同步方法、装置、设备及计算机可读存储介质 |
| CN111506556A (zh) * | 2020-04-09 | 2020-08-07 | 北京市测绘设计研究院 | 一种多源异构的结构化数据同步方法 |
| WO2021055016A1 (en) * | 2020-04-13 | 2021-03-25 | Futurewei Technologies, Inc. | Detection and resolution of data synchronization conflicts |
| CN113282599A (zh) * | 2021-05-31 | 2021-08-20 | 平安国际智慧城市科技股份有限公司 | 数据同步方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113821565A (zh) | 2021-12-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113821565B (zh) | 一种多数据源同步数据的方法 | |
| CN112015413A (zh) | 一种免编程数据可视化Web展示系统及其实现方法 | |
| US8095570B2 (en) | Decorated model architecture for efficient model-driven application development | |
| CN107679071B (zh) | 一种面向关系数据库的通用数据服务定制化封装方法 | |
| CN110502212A (zh) | 一种面向多语言的高并发在线开发支撑方法 | |
| CN108446313B (zh) | 一种数据格式转换方法和装置 | |
| CN112364101A (zh) | 数据的同步方法、装置、终端设备及介质 | |
| US9646004B2 (en) | Hierarchical database report generation with automated query generation for placeholders | |
| CN104572644A (zh) | 数据库更新装置和数据库更新方法 | |
| CN112235311B (zh) | Ovsdb客户端代码自动生成方法、系统、设备及介质 | |
| US10747588B2 (en) | Method for updating instance-based message maps using metadata | |
| WO2024001493A1 (zh) | 一种可视化的数据分析方法及设备 | |
| CN110990011A (zh) | 一种自动化接口的数据请求方法 | |
| US20210124752A1 (en) | System for Data Collection, Aggregation, Storage, Verification and Analytics with User Interface | |
| US20060047723A1 (en) | Custom database system and method of building the same | |
| CN113918637A (zh) | 一种基于bpmn2.0规范的流程引擎平台创建方法及系统 | |
| CN110069248A (zh) | 接口数据的调用方法、装置、设备及计算机可读存储介质 | |
| CN111241800A (zh) | MySQL数据库表结构文档的生成方法、存储介质及智能终端 | |
| CN112463261B (zh) | 接口调用方法、装置、电子设备、介质及产品 | |
| CN113268232B (zh) | 一种页面皮肤生成方法、装置和计算机可读存储介质 | |
| CN116048517B (zh) | 基于b/s架构应用系统的api接口生成方法、系统和装置 | |
| CN106293862A (zh) | 一种可扩展标记语言xml数据的解析方法和装置 | |
| CN114819631A (zh) | 一种多任务的可视化方法、装置、计算机设备及存储介质 | |
| US20080022258A1 (en) | Custom database system and method of building and operating the same | |
| CN112487006A (zh) | 一种动态编辑数据结构并生成数据库表的实现方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |