CN111339207A - 一种多类型数据库之间同步数据的方法 - Google Patents
一种多类型数据库之间同步数据的方法 Download PDFInfo
- Publication number
- CN111339207A CN111339207A CN202010202412.9A CN202010202412A CN111339207A CN 111339207 A CN111339207 A CN 111339207A CN 202010202412 A CN202010202412 A CN 202010202412A CN 111339207 A CN111339207 A CN 111339207A
- Authority
- CN
- China
- Prior art keywords
- data
- task
- thread
- synchronization
- synchronous
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000001360 synchronised effect Effects 0.000 claims abstract description 73
- 238000004140 cleaning Methods 0.000 claims abstract description 10
- 230000000977 initiatory effect Effects 0.000 claims abstract description 8
- 238000013507 mapping Methods 0.000 claims description 14
- 230000002159 abnormal effect Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 239000000872 buffer Substances 0.000 claims description 3
- 238000005406 washing Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 5
- 238000012546 transfer Methods 0.000 abstract description 3
- 238000002360 preparation method Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 238000007405 data analysis Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000002547 anomalous effect Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种多类型数据库之间同步数据的方法，包括如下步骤：配置同步数据表；生成同步任务；遍历同步数据，创建多线程并行同步子任务，并放入线程队列池中等待执行；当线程队列池繁忙时，等待线程队列池中的线程执行完毕；当线程队列池空闲时，则执行下个步骤；线程队列池中的任务按先入先出的原则等待被执行；当线程队列池中没有等待执行的任务时，线程队列池为休眠状态；当线程队列池中有任务时，则执行下个步骤；执行线程任务；定时发起数据清理任务；获取成功同步的任务数据；清理历史数据。本发明实现了在老旧数据库中的数据同步，成功完成了数据转移，平滑、安全的分离独立了计算数据库与业务数据库。
Description
技术领域
本发明涉及数据处理技术领域，具体是一种多类型数据库之间同步数据的方法。
背景技术
工业企业信息化改造时，早年均建立有自己的软件系统，管理工业信息的数据库当年建立也比较早，数据库版本老旧，升级维护的难度随数量众多软件、系统和平台间的复杂程度而成几何倍数的放大，完全废除老旧数据库建立全新数据库在短期内是不可行的，升级老旧数据库也是不可行的。
数据库中最有价值的是数据，这些数据是必须要保留的，并要继续发挥数据的价值，如数据分析、数据统计、数据挖掘等。目前取数据采用的方法多为准实时的方法，在不影响或最小程度影响原业务系统及软件运行的基础上，取出数据。但是此种方法都多少要求数据库版本为较新的版本，并且要满足一定的要求，在老旧数据库中无法使用。在此前提下，需建立一套新的数据同步方法。
发明内容
本发明要解决的技术问题是：为了建立一套能在老旧数据库中使用的数据同步方法。
为实现上述目的，本发明提供如下技术方案：本发明提供的一种多类型数据库之间同步数据的方法，包括
步骤一：配置需要同步的数据表。
步骤二：根据步骤一中的需要同步的数据表，生成同步任务。
步骤三：遍历范围内待同步的数据，创建多线程并行同步子任务，并放入线程队列池中等待执行；当线程队列池繁忙时，等待线程队列池中的线程执行完毕；当线程队列池空闲时，则执行步骤四。线程池只能容下有限的线程任务，超出线程池数量外的线程任务须保存在线程队列池中。
步骤四：线程队列池中的任务按先入先出的原则等待被执行；当线程队列池中没有等待执行的任务时，线程队列池为休眠状态；当线程队列池中有任务时，则执行步骤五。
步骤五：执行线程任务。
步骤六：定时发起数据清理任务。以上任务每分钟(执行周期可配置)都在执行，但都没有清理成功同步后的历史数据。因为每天同步的数据量都很大，如果不能及时清理掉，以后程序的执行性能将会下降，磁盘空间也白白浪费了。所以，要定时清理历史数据，一般为一天清理一次，在企业系统最空闲的时段内做清理数据的动作。在高频数据同步的过程，保证关键表的只写性，业务表的只读性，通过读写分离，不在同一时间内同时读写，可有效提高程序的执行性能，降低数据库IO繁忙及数据库锁资源的占用。也因此，本步骤是十分关键的，须独立成定时任务来执行。
步骤七：获取成功同步的任务数据。对于异常的数据，在排队异常问题后，还可以通过手工重新开启同步任务，确保数据的一致性和完整性。
步骤八：清理历史数据。在确保没有同步任务执行的情况下，独占式的清理历史数据。当同步任务表再没有等待同步的数据时，也可考虑释放磁盘资源。
进一步，步骤一包括如下步骤：
(1)配置原数据库与目标数据库的映射关系，创建配置数据库，按需配置要同步的数据库。
(2)配置原表中需要同步的字段。按需配置要同步的表名称，及配置要同步哪些数据字段信息。
(3)配置原表与目标表的映射关系。按需配置原表将被同步到哪个目标数据库中，及被同步到哪个目标表中。
(4)配置原表字段与目标表字段的映射关系。按需配置原表字段与目标表字段的映射关系。原表字段名称与目标表字段名称可以相同，也可以不相同。
(5)配置原表中符合同步的条件。按需配置原表中哪些符合条件的数据才能被同步到目标表中。
(6)确认或建立原表的主键约束。检查原表上是否有主键，及主键是哪些，支持组合主键的情况。有些老旧表是没有主键的，要建立主键约束。之后，在配置库中配置同步表的主键信息，支持组合主键的配置。
(7)创建原表的表级触发器。任何软件、系统和平台对数据的操作均会被记录，并记录在特定的数据操作记录表中；当原表数据发生变化后，变化数据的主键ID或主键组会被记录到数据操作记录表，同时记录还有原表名称、数据库名称、操作类型、变化时间等，为之后的同步作准备。
(8)记录数据变化的主键信息。创建同步日志表，用来记录每次同步的信息。主要记录每次同步数据的开始与结束范围、每次同步的数据量、每次同步的表信息、同步是否成功、异常等重要信息。为一下次同步数据作准备的同时，也为监控异常及异常同步的重新同步作准备工作。
进一步，步骤二包括如下步骤：
1)定时任务服务，定时发起同步任务。创建定时任务，每分钟定时按同步日志表记录的信息触发本次同步任务。定时任务服务独立于同步服务外，按规则的同步周期发起请求即可。
2)当接收到同步请求时，创建同步任务，生成并记录本次同步数据的范围。每次按参数配置最多只同步一定数量的有变化的数据信息，并记录执行开始时间、执行同步的数据范围、统计还有多少等待排队同步数据数量等信息。
3)按任务的数据范围获取同步数据，并加载到内存中临时缓存。扫描数据操作记录表中的信息，一次性获取分配范围内的数据结果，加载到内存中临时缓存，减少对数据库的频繁访问。
进一步，在首次配置完成后，步骤1)进行前，发起原表的全量同步任务，将全量数据取出。当然此步骤不是必须的，按实际需求操作即可。需要注意的是：如果原表数据量巨大，建议在不影响业务的时间段内执行同步，可分成多批次完成。
进一步，步骤五包括如下步骤：
(Ⅰ)开始执行线程任务，即同步一条数据，并只同步一条数据。按照数据的主键ID和数据操作类型，删除目标表中具体的一行数据；采用先删除、后添加的方式同步更新数据机制，此机制可随具体实际业务场景的要求而改变。
(Ⅱ)按照时间顺序和主键ID，获取原表中的一行数据。为了最大程度上减少对业务系统及数据库的影响，这里一次只取一行数据的详情。因为在大批量数据同步的情况下，此步骤将为高频操作。只取一行，快速查询原表，快速释放连接，快速释放锁资源是十分重要和关键的。
(Ⅲ)洗清，加工，处理步骤(Ⅱ)获取的原表数据。
(Ⅳ)按照字段映射关系，将原表数据写入到目标表中。在不同数据库类型间写入数据，可能会遇到数据类型的转换操作，在步骤(Ⅲ)不方便做或更高效的转换操作时，也可在此进行处理。并且，可以在此判定是否符合写入数据库的条件。
(Ⅴ)多线程并行子任务同步完成，释放线程资源。
(Ⅵ)观察线程子任务是否异常。虽然线程任务执行完成了，但这并不表示数据同步也成功了。当线程子任务全部正常时，则执行步骤(Ⅶ)；当线程子任务出现异常时，则执行步骤(Ⅸ)。
(Ⅶ)等待任务整体完成；当任务整体完成时，则执行步骤(Ⅷ)；当任务未全部完成时，则执行步骤四。每个线程任务在执行完成后，均会主动通知任务组，表示自己的线程任务已完成，同时做好了接收新任务的准备。任务组在接收到一个一个通知后，将判断整个任务组是否全部完成。只有当任务组中的所有任务均完成后，才表示本批次同步完成。
(Ⅷ)记录本次同步任务数据表的统计信息。
(Ⅸ)记录本次同步任务的概要信息。
(Ⅹ)释放全部资源及缓存。
进一步，步骤(Ⅷ)中的统计信息包括同步的原始表、同步数据的个数、同步开始时间和同步结束时间，并将同步的原始表、同步数据的个数、同步开始时间和同步结束时间按照操作类型进行分类统计；步骤(Ⅸ)中的概要信息包括整体的同步开始时间、整体的同步完成时间、开始编号和结束编号。
本发明的有益效果：本发明成功完成了数据转移、实时同步数据的目的，平滑、安全的分离独立了计算数据库与业务数据库，降低业务数据库的访问压力，使得新数据库将有能力为更多的系统和平台提供更好的数据服务；并且，突破了原数据库不方便改造数据结构的限制，在新数据库上更好的组织数据结构，提供更多样的数据分析能力；现已成功应用于报表系统、计算数据库与业务数据库的分离、产前预分解BOM服务、产品报价服务、零件计划下达核算服务、大屏监控服务、图号解密服务、生产过程齐套计算服务、仓储准备服务等。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明的流程图；
图2是本发明的步骤一的流程图；
图3是本发明的步骤二的流程图；
图4是本发明的步骤五的流程图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
如图1所示，本发明提供的一种多类型数据库之间同步数据的方法，包括
步骤一：配置需要同步的数据表。
步骤二：根据步骤一中的需要同步的数据表，生成同步任务。
步骤三：遍历范围内待同步的数据，创建多线程并行同步子任务，并放入线程队列池中等待执行；当线程队列池繁忙时，等待线程队列池中的线程执行完毕；当线程队列池空闲时，则执行步骤四。线程池只能容下有限的线程任务，超出线程池数量外的线程任务须保存在线程队列池中。
步骤四：线程队列池中的任务按先入先出的原则等待被执行；当线程队列池中没有等待执行的任务时，线程队列池为休眠状态；当线程队列池中有任务时，则执行步骤五。
步骤五：执行线程任务。
步骤六：定时发起数据清理任务。以上任务每分钟(执行周期可配置)都在执行，但都没有清理成功同步后的历史数据。因为每天同步的数据量都很大，如果不能及时清理掉，以后程序的执行性能将会下降，磁盘空间也白白浪费了。所以，要定时清理历史数据，一般为一天清理一次，在企业系统最空闲的时段内做清理数据的动作。在高频数据同步的过程，保证关键表的只写性，业务表的只读性，通过读写分离，不在同一时间内同时读写，可有效提高程序的执行性能，降低数据库IO繁忙及数据库锁资源的占用。也因此，本步骤是十分关键的，须独立成定时任务来执行。
步骤七：获取成功同步的任务数据。对于异常的数据，在排队异常问题后，还可以通过手工重新开启同步任务，确保数据的一致性和完整性。
步骤八：清理历史数据。在确保没有同步任务执行的情况下，独占式的清理历史数据。当同步任务表再没有等待同步的数据时，也可考虑释放磁盘资源。
如图2所示，步骤一包括如下步骤：
(1)配置原数据库与目标数据库的映射关系，创建配置数据库，按需配置要同步的数据库。目标数据库与原数据库的类型可以相同，也可以不相同。如SQLServer向Oracle同步、SQLServer向SQLServer同步。
(2)配置原表中需要同步的字段。按需配置要同步的表名称，及配置要同步哪些数据字段信息。
(3)配置原表与目标表的映射关系。按需配置原表将被同步到哪个目标数据库中，及被同步到哪个目标表中。当然，默认情况下，是与同表名称是一致的目标表名称。一张原表可以被同步到多个目标数据库中，或同一数据库的多个实例中。
(4)配置原表字段与目标表字段的映射关系。按需配置原表字段与目标表字段的映射关系。原表字段名称与目标表字段名称可以相同，也可以不相同。数据可在同步过程被加工处理，如数据清洗。
(5)配置原表中符合同步的条件。按需配置原表中哪些符合条件的数据才能被同步到目标表中。对过滤不符合条件的数据，有两种过滤方法。一种方法，在步骤(7)中进行大范围的过滤；另一种方法，在步骤(Ⅳ)中进行精细化过滤。
(6)确认或建立原表的主键约束。检查原表上是否有主键，及主键是哪些，支持组合主键的情况。有些老旧表是没有主键的，要建立主键约束。之后，在配置库中配置同步表的主键信息，支持组合主键的配置。
(7)创建原表的表级触发器。在原表上创建表级Insert\Update\Delete触发器。任何软件、系统和平台对数据的操作均会被记录，并记录在特定的数据操作记录表(TTriggerRecord)中；当原表数据发生变化后，变化数据的主键ID或主键组会被记录到数据操作记录表(TTriggerRecord)，同时记录还有原表名称、数据库名称、操作类型(增加、删除、修改)、变化时间等，为之后的同步作准备。
(8)记录数据变化的主键信息。创建同步日志表(TSyncDatasLog)，用来记录每次同步的信息。主要记录每次同步数据的开始与结束范围、每次同步的数据量、每次同步的表信息、同步是否成功、异常等重要信息。为一下次同步数据作准备的同时，也为监控异常及异常同步的重新同步作准备工作。
如图3所示，步骤二包括如下步骤：
1)定时任务服务，定时发起同步任务。创建定时任务，每分钟定时按同步日志表记录的信息触发本次同步任务。定时任务服务独立于同步服务外，按规则的同步周期发起请求即可。
2)当接收到同步请求时，创建同步任务，生成并记录本次同步数据的范围。每次按参数配置最多只同步一定数量(如10万条)的有变化的数据信息，并记录执行开始时间、执行同步的数据范围(开始编号、结束编号)、统计还有多少等待排队同步数据数量等信息。
3)按任务的数据范围获取同步数据，并加载到内存中临时缓存。扫描数据操作记录表(TTriggerRecord)中的信息，一次性获取分配范围内的数据结果，加载到内存中临时缓存，减少对数据库的频繁访问。
在首次配置完成后，步骤1)进行前，发起原表的全量同步任务，将全量数据取出。当然此步骤不是必须的，按实际需求操作即可。需要注意的是：如果原表数据量巨大，建议在不影响业务的时间段内执行同步，可分成多批次完成。
如图4所示，步骤五包括如下步骤：
(Ⅰ)开始执行线程任务，即同步一条数据，并只同步一条数据。按照数据的主键ID和数据操作类型，删除目标表中具体的一行数据；采用先删除、后添加的方式同步更新数据机制，此机制可随具体实际业务场景的要求而改变。
(Ⅱ)按照时间顺序和主键ID，获取原表中的一行数据。为了最大程度上减少对业务系统及数据库的影响，这里一次只取一行数据的详情。因为在大批量数据同步的情况下，此步骤将为高频操作。只取一行，快速查询原表，快速释放连接，快速释放锁资源是十分重要和关键的。对于SQLServer数据库建议添加WITH(NOLOCK)关键字，防止和尽可能的减少死锁发生的机率。
(Ⅲ)洗清、加工、处理步骤(Ⅱ)获取的原表数据。
(Ⅳ)按照字段映射关系，将原表数据写入到目标表中。在不同数据库类型间写入数据，可能会遇到数据类型的转换操作，在步骤(Ⅲ)不方便做或更高效的转换操作时，也可在此进行处理。并且，可以在此判定是否符合写入数据库的条件。
(Ⅴ)多线程并行子任务同步完成，释放线程资源。
(Ⅵ)观察线程子任务是否异常。虽然线程任务执行完成了，但这并不表示数据同步也成功了。比如，原表字段长度大于目标表字段长度等异常出现时，数据同步是失败的，并没有成功，我们将对其记录和处理。在修复异常问题后，可通过手工操作，再次执行异常任务的批次号来继续完成数据的同步任务。当线程子任务全部正常时，则执行步骤(Ⅶ)；当线程子任务出现异常时，则执行步骤(Ⅸ)。
(Ⅶ)等待任务整体完成；当任务整体完成时，则执行步骤(Ⅷ)；当任务未全部完成时，则执行步骤四；每个线程任务在执行完成后，均会主动通知任务组(是在步骤三时创建的)，表示自己的线程任务已完成，同时做好了接收新任务的准备。任务组在接收到一个一个通知后，将判断整个任务组是否全部完成。只有当任务组中的所有任务均完成后(异常也是一种完成，只是返回来异常通知)，才表示本批次同步完成。
(Ⅷ)记录本次同步任务数据表的统计信息。
(Ⅸ)记录本次同步任务的概要信息。
(Ⅹ)释放全部资源及缓存。
步骤(Ⅷ)中的统计信息包括同步的原始表、同步数据的个数、同步开始时间和同步结束时间，并将同步的原始表、同步数据的个数、同步开始时间和同步结束时间按照操作类型进行分类统计；步骤(Ⅸ)中的概要信息包括整体的同步开始时间、整体的同步完成时间、开始编号和结束编号。
本发明成功完成了数据转移、实时同步数据的目的，平滑、安全的分离独立了计算数据库与业务数据库，降低业务数据库的访问压力，使得新数据库将有能力为更多的系统和平台提供更好的数据服务；并且，突破了原数据库不方便改造数据结构的限制，在新数据库上更好的组织数据结构，提供更多样的数据分析能力；现已成功应用于报表系统、计算数据库与业务数据库的分离、产前预分解BOM服务、产品报价服务、零件计划下达核算服务、大屏监控服务、图号解密服务、生产过程齐套计算服务、仓储准备服务等。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。
Claims (6)
1.一种多类型数据库之间同步数据的方法，其特征在于：包括
步骤一：配置需要同步的数据表；
步骤二：根据所述步骤一中的所述数据表，生成同步任务；
步骤三：创建多线程并行同步子任务，将需要同步的数据放入线程队列池中执行；当所述线程队列池繁忙时，等待所述线程队列池中的线程执行完毕；当所述线程队列池空闲时，则执行步骤四；
步骤四：所述线程队列池按先入先出的原则执行任务；当所述线程队列池中没有任务时，所述线程队列池不执行任务；当所述线程队列池中有任务时，则执行步骤五；
步骤五：执行线程任务；
步骤六：定时发起数据清理任务；
步骤七：获取成功同步的任务数据；
步骤八：清理历史数据。
2.根据权利要求1所述的一种多类型数据库之间同步数据的方法，其特征在于：所述步骤一包括如下步骤：
(1)配置原数据库与目标数据库的映射关系；
(2)配置原表中需要同步的字段；
(3)配置原表与目标表的映射关系；
(4)配置原表字段与目标表字段的映射关系；
(5)配置原表中符合同步的条件；
(6)确认或建立原表的主键约束；
(7)创建原表的表级触发器；
(8)记录数据变化的主键信息。
3.根据权利要求1所述的一种多类型数据库之间同步数据的方法，其特征在于：所述步骤二包括如下步骤：
1)定时任务服务，定时发起同步任务；
2)当接收到同步请求时，创建同步任务，生成并记录同步数据的范围；
3)按任务的数据范围获取同步数据，并加载到内存中临时缓存。
4.根据权利要求3所述的一种多类型数据库之间同步数据的方法，其特征在于：在首次配置完成后，所述步骤1)进行前，发起原表的全量同步任务，取出全量数据。
5.根据权利要求1所述的一种多类型数据库之间同步数据的方法，其特征在于：所述步骤五包括如下步骤：
(Ⅰ)按照数据的主键ID和数据操作类型，删除目标表中的一行数据；
(Ⅱ)按照时间顺序和主键ID，获取原表中的一行数据；
(Ⅲ)洗清、加工、处理所述步骤(Ⅱ)获取的原表数据；
(Ⅳ)按照字段映射关系，将原表数据写入到目标表中；
(Ⅴ)当多线程并行子任务同步完成时，释放线程资源；
(Ⅵ)观察线程子任务是否异常；当所述线程子任务全部正常时，则执行步骤(Ⅶ)；当所述线程子任务出现异常时，则执行步骤(Ⅸ)；
(Ⅶ)等待任务整体完成；当任务全部完成时，则执行步骤(Ⅷ)；当任务未全部完成时，则执行步骤四；
(Ⅷ)记录同步任务数据表的统计信息；
(Ⅸ)记录同步任务的概要信息；
(Ⅹ)释放全部资源及缓存。
6.根据权利要求5所述的一种多类型数据库之间同步数据的方法，其特征在于：所述步骤(Ⅷ)中的所述统计信息包括同步的原始表、同步数据的个数、同步开始时间和同步结束时间，并将所述同步的原始表、同步数据的个数、同步开始时间和同步结束时间按照操作类型进行分类统计；所述步骤(Ⅸ)中的概要信息包括整体的同步开始时间、整体的同步完成时间、开始编号和结束编号。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010202412.9A CN111339207A (zh) | 2020-03-20 | 2020-03-20 | 一种多类型数据库之间同步数据的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010202412.9A CN111339207A (zh) | 2020-03-20 | 2020-03-20 | 一种多类型数据库之间同步数据的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111339207A true CN111339207A (zh) | 2020-06-26 |
Family
ID=71184274
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010202412.9A Pending CN111339207A (zh) | 2020-03-20 | 2020-03-20 | 一种多类型数据库之间同步数据的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111339207A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112732416A (zh) * | 2021-01-18 | 2021-04-30 | 深圳中微电科技有限公司 | 有效消除数据访问延迟的并行数据处理方法及并行处理器 |
| CN113779138A (zh) * | 2021-02-04 | 2021-12-10 | 北京京东振世信息技术有限公司 | 一种订单管理方法和装置 |
| CN116860869A (zh) * | 2023-05-29 | 2023-10-10 | 玖章算术(浙江)科技有限公司 | 一种主键并发场景下的队列投递方法和系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103678718A (zh) * | 2013-12-31 | 2014-03-26 | 金蝶软件（中国）有限公司 | 数据库同步方法及系统 |
| CN107729366A (zh) * | 2017-09-08 | 2018-02-23 | 广东省建设信息中心 | 一种普适多源异构大规模数据同步系统 |
| CN107741950A (zh) * | 2017-09-05 | 2018-02-27 | 北京趣拿软件科技有限公司 | 数据同步任务的处理方法、装置、处理器及服务端 |
| CN108647237A (zh) * | 2018-03-30 | 2018-10-12 | 厦门海迈科技股份有限公司 | 异构关系型数据库间的数据同步方法 |
-
2020
- 2020-03-20 CN CN202010202412.9A patent/CN111339207A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103678718A (zh) * | 2013-12-31 | 2014-03-26 | 金蝶软件（中国）有限公司 | 数据库同步方法及系统 |
| CN107741950A (zh) * | 2017-09-05 | 2018-02-27 | 北京趣拿软件科技有限公司 | 数据同步任务的处理方法、装置、处理器及服务端 |
| CN107729366A (zh) * | 2017-09-08 | 2018-02-23 | 广东省建设信息中心 | 一种普适多源异构大规模数据同步系统 |
| CN108647237A (zh) * | 2018-03-30 | 2018-10-12 | 厦门海迈科技股份有限公司 | 异构关系型数据库间的数据同步方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112732416A (zh) * | 2021-01-18 | 2021-04-30 | 深圳中微电科技有限公司 | 有效消除数据访问延迟的并行数据处理方法及并行处理器 |
| CN112732416B (zh) * | 2021-01-18 | 2024-03-26 | 深圳中微电科技有限公司 | 有效消除数据访问延迟的并行数据处理方法及并行处理器 |
| CN113779138A (zh) * | 2021-02-04 | 2021-12-10 | 北京京东振世信息技术有限公司 | 一种订单管理方法和装置 |
| CN116860869A (zh) * | 2023-05-29 | 2023-10-10 | 玖章算术(浙江)科技有限公司 | 一种主键并发场景下的队列投递方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111339207A (zh) | 一种多类型数据库之间同步数据的方法 | |
| US10754875B2 (en) | Copying data changes to a target database | |
| EP1915668B1 (en) | Database fragment cloning and management | |
| US7490113B2 (en) | Database log capture that publishes transactions to multiple targets to handle unavailable targets by separating the publishing of subscriptions and subsequently recombining the publishing | |
| US20180046643A1 (en) | Consistent execution of partial queries in hybrid dbms | |
| US6732123B1 (en) | Database recovery to any point in time in an online environment utilizing disaster recovery technology | |
| US7587429B2 (en) | Method for checkpointing a main-memory database | |
| US7328213B2 (en) | Transaction processing method, transaction control apparatus and program thereof | |
| EP2474919A1 (en) | System and method for data replication between heterogeneous databases | |
| US20140351202A1 (en) | Apparatus and method for read optimized bulk data storage | |
| US20080276239A1 (en) | Recovery and restart of a batch application | |
| US8856083B2 (en) | Framework to optimize delete all row operations on database objects to improve throughput, query ability and flashback | |
| CN109643310B (zh) | 用于数据库中数据重分布的系统和方法 | |
| CN113448712A (zh) | 任务调度执行方法及装置 | |
| CN107533474B (zh) | 一种事务处理方法及装置 | |
| US11176004B2 (en) | Test continuous log replay | |
| CN112214649B (zh) | 一种时态图数据库分布式事务解决系统 | |
| CN110489092B (zh) | 一种数据库读写分离架构下读取数据延迟问题的解决方法 | |
| CN115438122A (zh) | 数据异构同步系统 | |
| US8452730B2 (en) | Archiving method and system | |
| US20200097581A1 (en) | Systems and methods of managing manifest refresh in a database | |
| US20090144221A1 (en) | Dynamic time-dimension-dependent physical management on diverse media of very large event-recording data-store | |
| WO2024098363A1 (zh) | 一种基于多核处理器的并发事务处理方法及其系统 | |
| CN111638920B (zh) | 计算机程序同步任务处理方法、装置、电子设备和介质 | |
| US20120198456A1 (en) | Reducing the number of operations performed by a persistence manager against a persistent store of data items |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200626 |