CN114661823A - 数据同步的方法、装置、电子设备及可读存储介质 - Google Patents
数据同步的方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN114661823A CN114661823A CN202210339657.5A CN202210339657A CN114661823A CN 114661823 A CN114661823 A CN 114661823A CN 202210339657 A CN202210339657 A CN 202210339657A CN 114661823 A CN114661823 A CN 114661823A
- Authority
- CN
- China
- Prior art keywords
- data
- target
- incremental
- message
- incremental data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000012545 processing Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/54—Indexing scheme relating to G06F9/54
- G06F2209/548—Queue
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种数据同步的方法、装置、电子设备及可读存储介质，属于数据库领域，用以解决异构数据库之间不能进行实时稳定的数据同步的问题。所述方法包括：获取源数据库在单位时间内产生的增量数据；解析所述增量数据，以获取所述增量数据的元数据信息和操作类型；根据所述增量数据的元数据信息，按照所述操作类型将所述增量数据同步至目标数据库。
Description
技术领域
本申请属于数据库领域，具体涉及一种数据同步的方法、装置、电子设备及可读存储介质。
背景技术
目前的数据同步技术，主要是通过在源端数据库和目标端数据库上分别搭建定制化开发的数据同步工具来实现的，通过定时任务来定期对源端数据库的数据进行抽取，再写入目标端数据库。且数据同步工具一般通过数据操纵语言(Data ManipulationLanguage,DML)来实现数据的抽取和写入，对源端数据库和目标端数据库的数据格式要求较高。
但数据同步工具如果在预设时间间隔内无法完成一次增量数据的同步，则需要拉长时间间隔，导致数据同步频率降低。且数据同步工具需要定制化开发，当源端数据库包括多种异构数据库时，还存在与目标端数据库之间字段类型不匹配、数据类型和特性不同的问题。所以如何满足异构数据库之间实时稳定的数据同步，目前还没有合适的解决方法。
发明内容
本申请实施例提供一种数据同步的方法、装置及电子设备，能够解决异构数据库之间不能进行实时稳定的数据同步的问题。
第一方面，本申请实施例提供了一种数据同步的方法，该方法包括：获取源数据库在单位时间内产生的增量数据；解析所述增量数据，以获取所述增量数据的元数据信息和操作类型；根据所述增量数据的元数据信息，按照所述操作类型将所述增量数据同步至目标数据库。
第二方面，本申请实施例提供了一种数据同步的装置，该装置包括：获取模块，用于获取源数据库在单位时间内产生的增量数据；解析模块，用于解析所述增量数据，以获取所述增量数据的元数据信息和操作类型；同步模块，用于根据所述增量数据的元数据信息，按照所述操作类型将所述增量数据同步至目标数据库。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
在本申请实施例中，通过获取源数据库在单位时间内产生的增量数据；解析所述增量数据，以获取所述增量数据的元数据信息和操作类型；根据所述增量数据的元数据信息，按照所述操作类型将所述增量数据同步至目标数据库，能够解决异构数据库之间不能进行实时稳定的数据同步的问题。
附图说明
图1是本申请实施例提供的一种数据同步的方法的流程示意图；
图2是根据本申请的一个实施例的数据同步的装置的结构示意图；
图3是根据本申请的另一个实施例的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的数据同步的方法、装置、电子设备及可读存储介质进行详细地说明。
图1示出本发明的一个实施例提供的一种数据同步的方法，该方法可以由电子设备执行，包括如下步骤：
S102：获取源数据库在单位时间内产生的增量数据。
具体单位时间的长度可以根据平台对数据实时性的要求来确定，例如可以预设单位时间为10分钟，根据源数据库的类型和权限，采取对应的增量数据采集策略，监听源数据库在10分钟内产生的数据，定时生成增量数据。在企业数据同步平台中，可能包含可以直接访问的内部数据源，也可能包含不能直接访问的外部数据源例如客户端或者子平台等，而且源数据库与待同步数据的目标数据库也可能是异构数据库，分别具有自己的管理机制和数据结构，所以在实际应用中，可根据源数据库的类型和访问权限，预先配置不同的增量数据采集策略。
S104：解析增量数据，以获取增量数据的元数据信息和操作类型。
通过预设的数据同步程序，实时解析获取到的增量数据，获取增量数据中中包含的元数据信息和操作类型。元数据信息包含数据库名称、数据表名称、列名称及其数据类型，操作类型包括对相应数据表的增、删、改操作。
S106：根据增量数据的元数据信息，按照操作类型将增量数据同步至目标数据库。
根据增量数据中包含的元数据信息，对目标数据库中的相应数据表执行增、删、改操作，将数据存储至目标数据库。
本发明实施例提供的一种数据同步的方法，通过获取源数据库在单位时间内产生的增量数据；解析所述增量数据，以获取所述增量数据的元数据信息和操作类型；根据所述增量数据的元数据信息，按照所述操作类型将所述增量数据同步至目标数据库，能够解决异构数据库之间不能进行实时稳定的数据同步的问题，实现在源数据库类型多种多样的复杂情况下，进行实时数据同步的效果。
在一种实现方式中，所述获取源数据库在单位时间内产生的增量数据，包括：在获取了所述源数据库的数据库访问权限的情况下，通过增量文件生成工具监听所述源数据库，以获取所述源数据库在单位时间内产生的增量数据。
具体的，源数据库属于内部数据源时，可以直接进行访问，此时可以通过配置增量文件生成工具，来监听源数据库，并每隔单位时间对获取到的数据进行数据处理，以获得源数据库在单位时间内产生的增量数据。
例如，增量文件生成工具IIE，每隔10分钟将其增量数据目录下的数据文件，打包成压缩文件，比如tar包。tar包的命名规则按照”业务编号.校验码.时间戳”的形式命名，中间用英文句号”.”分开，例如：
salesdbtb.123432.20190501020.tar
其中，校验码为tar包的值，用于校验文件的完整性。
tar包中的具体数据文件，需提供表名信息，按照“业务编号.数据表表名。操作类型.时间戳”的格式进行打包，例如：
salesdbtb.sauuser.insert.20190501020.unl
其中，操作类型包括增(insert)、删(delete)、改(update)。
在能够获取源数据库访问权限的情况下，通过增量文件生成工具监听所述源数据库，以获取所述源数据库在单位时间内产生的增量数据，能够解决异构数据库之间的字段类型不匹配、数据类型特性不同等问题，即，可以实现两个不同数据存储结构的数据库之间的数据传输，比如：从关系型数据库到分布式数据库，反之亦可。
在一种实现方式中，所述获取源数据库在单位时间内产生的增量数据，包括：在未能获取所述源数据库的数据库访问权限的情况下，通过软件服务接口采集单位时间内所述源数据库推送的增量数据。
具体的，在源数据库属于外部数据源的情况下，当未能获取源数据库的访问权限时，通过配置web服务接口的方式对源数据库进行数据采集。web服务接口能够解决异地数据库的权限管控问题，从而实现跨平台、跨企业的数据共享合作。
在一种实现方式中，在所述解析所述增量数据，以获取所述增量数据的元数据信息和操作类型之前，还包括：根据预设数据格式对所述增量数据进行处理，得到目标增量消息，其中，所述目标增量消息中包含所述增量数据的元数据信息和操作类型；将所述目标增量消息导入分布式消息中间件的消息队列中；所述解析所述增量数据，以获取所述增量数据的元数据信息和操作类型，包括：从所述消息队列中解析所述目标增量消息，以获取所述增量数据的元数据信息和操作类型。
具体的，分布式消息中间件可以包括Kafka消息队列，Kafka消息队列对应的具体设备可以包括Kafka服务器或Kafka服务器集群。在获取了增量数据之后，通过脚本程序按照预设数据格式对增量数据进行处理，得到目标增量消息，存储至Kafka消息队列。
可选的，在将增量数据导入Kafka消息队列之前，对增量数据执行数据清洗，校验数据的完整性，删除重复信息，纠正存在的错误。
可选的，在将增量数据导入Kafka消息队列时，按照实际数据变化的先后顺序执行导入，避免发生数据不一致的问题。
通过根据预设数据格式对增量数据进行处理，得到目标增量消息，以目标增量消息的形式进行数据同步，能够解决异构数据库之间的字段类型不匹配、数据类型特性不同等问题，可以实现两个不同数据存储结构的数据库之间的数据传输。
在一种实现方式中，所述将所述目标增量消息导入分布式消息中间件的消息队列中，包括：根据所述目标增量消息中的元数据信息，确定所述目标增量消息在所述分布式消息中间件中对应的目标主题；将所述目标增量消息导入与所述目标主题对应的消息队列中。
例如，源数据库属于寿险系统时，通过调用web服务接口，采集该源数据库推送的增量数据，并按照预设数据格式，将该增量数据处理为目标增量消息并导入Kafka消息队列。可以在Kafka消息队列中按照数据来源进行主题划分，每个数据来源一个主题，可以实现数据来源提供的数据在逻辑上的隔离。此时，Kafka消息队列接收到目标增量消息，确定其对应的目标主题为寿险，将该目标增量消息存储至寿险对应的消息队列中。通过Kafka消息队列存储和分发增量数据，能够实现多线程、分布式数据清洗转换功能，提高数据同步平台的性能和效率。
在一种实现方式中，在将所述目标增量消息导入与所述目标主题对应的消息队列中之后，所述方法还包括：订阅所述目标主题；基于预定解析程序从所述消息队列中解析所述目标增量消息，以获取所述增量数据的元数据信息和操作类型。
具体的，在Kafka消息队列的消费端，使用Spring Kafka框架开发客户端程序，实时解析消息队列中的数据消息。客户端程序订阅对应的目标主题，在该目标主题对应的消息队列中存入目标增量消息时，能够实现实时解析，进而实现源数据库与目标数据库之间的实时数据同步。在本实施例中，通过使用微服务改造后的Spring Kafka框架来解析Kafka消息队列中的目标增量消息，能够支持多线程、结构化查询语言(Structured QueryLanguage，SQL)参数化，Spring Kafka框架开发的客户端还支持源数据库与目标数据库的数据表结构字段取交集，可以防止源数据库数据表结构变化时导致同步失败，还支持源数据库与目标数据库的数据表表名、字段映射功能，可以增加数据同步的灵活性，适配不同的数据表表名、字段名的规范，还支持事务级多目标的数据分发，实现多元化的应用支持。
在一种实现方式中，所述目标增量消息包括多条所述增量数据，能够批量的进行数据传输，减少对网络和硬盘输入端/输出端的占用，能够提升数据同步效率。例如，目标增量消息的具体格式可以采用脚本程序JSON进行处理，在JSON数据中标识出具体的操作、数据库、记录等基础信息以及增量数据的值。
可选的，在数据同步过程中，可以采用对传输信息进行加密、增加客户端身份验证、以及建立互联网协议(Internet Protocol，IP)地址访问白名单的方式，来保障数据传输的安全性。
需要说明的是，本申请实施例提供的数据同步的方法，执行主体可以为数据同步的装置，或者该数据同步的装置中的用于执行数据同步的方法的控制模块。本申请实施例中以数据同步的装置执行数据同步的方法为例，说明本申请实施例提供的数据同步的装置。
图2是根据本发明实施例的数据同步的装置的结构示意图。如图2所示，数据同步的装置200包括：获取模块210、解析模块220、同步模块230。
获取模块210，用于获取源数据库在单位时间内产生的增量数据；解析模块220，用于解析所述增量数据，以获取所述增量数据的元数据信息和操作类型；同步模块230，用于根据所述增量数据的元数据信息，按照所述操作类型将所述增量数据同步至目标数据库。
在一种实现方式中，获取模块210，用于在获取了所述源数据库的数据库访问权限的情况下，通过增量文件生成工具监听所述源数据库，以获取所述源数据库在单位时间内产生的增量数据。
在一种实现方式中，获取模块210，用于在未能获取所述源数据库的数据库访问权限的情况下，通过软件服务接口采集单位时间内所述源数据库推送的增量数据。
在一种实现方式中，解析模块220，还用于根据预设数据格式对所述增量数据进行处理，得到目标增量消息，其中，所述目标增量消息中包括所述增量数据的元数据信息和操作类型；将所述目标增量消息导入分布式消息中间件的消息队列中；所述解析所述增量数据，以获取所述增量数据的元数据信息和操作类型，包括：从所述消息队列中解析所述目标增量消息，以获取所述增量数据的元数据信息和操作类型。
在一种实现方式中，解析模块220，用于根据所述目标增量消息中的元数据信息，确定所述目标增量消息在所述分布式消息中间件中对应的目标主题；将所述目标增量消息导入与所述目标主题对应的消息队列中。
在一种实现方式中，解析模块220，用于订阅所述目标主题；基于预定解析程序从所述消息队列中解析所述目标增量消息，以获取所述增量数据的元数据信息和操作类型。
在一种实现方式中，所述目标增量消息包括多条所述增量数据。
本申请实施例中的数据同步的装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personaldigital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的数据同步的装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
本申请实施例提供的数据同步的装置能够实现图1的方法实施例中实现的各个过程，为避免重复，这里不再赘述。
可选的，如图3所示，本申请实施例还提供一种电子设备300，包括处理器301，存储器302，存储在存储器302上并可在所述处理器301上运行的程序或指令，该程序或指令被处理器301执行时实现上述数据同步的方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述数据同步的方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。
Claims (10)
1.一种数据同步的方法，其特征在于，包括：
获取源数据库在单位时间内产生的增量数据；
解析所述增量数据，以获取所述增量数据的元数据信息和操作类型；
根据所述增量数据的元数据信息，按照所述操作类型将所述增量数据同步至目标数据库。
2.根据权利要求1所述的方法，其特征在于，所述获取源数据库在单位时间内产生的增量数据，包括：
在获取了所述源数据库的数据库访问权限的情况下，通过增量文件生成工具监听所述源数据库，以获取所述源数据库在单位时间内产生的增量数据。
3.根据权利要求1所述的方法，其特征在于，所述获取源数据库在单位时间内产生的增量数据，包括：
在未能获取所述源数据库的数据库访问权限的情况下，通过软件服务接口采集单位时间内所述源数据库推送的增量数据。
4.根据权利要求1所述的方法，其特征在于，在所述解析所述增量数据，以获取所述增量数据的元数据信息和操作类型之前，所述方法还包括：
根据预设数据格式对所述增量数据进行处理，得到目标增量消息，其中，所述目标增量消息中包含所述增量数据的元数据信息和操作类型；
将所述目标增量消息导入分布式消息中间件的消息队列中；
所述解析所述增量数据，以获取所述增量数据的元数据信息和操作类型，包括：
从所述消息队列中解析所述目标增量消息，以获取所述增量数据的元数据信息和操作类型。
5.根据权利要求4所述的方法，其特征在于，所述将所述目标增量消息导入分布式消息中间件的消息队列中，包括：
根据所述目标增量消息中的元数据信息，确定所述目标增量消息在所述分布式消息中间件中对应的目标主题；
将所述目标增量消息导入与所述目标主题对应的消息队列中。
6.根据权利要求5所述的方法，其特征在于，在所述将所述目标增量消息导入与所述目标主题对应的消息队列中之后，所述方法还包括：
订阅所述目标主题；
基于预定解析程序从所述消息队列中解析所述目标增量消息，以获取所述增量数据的元数据信息和操作类型。
7.根据权利要求4所述的方法，其特征在于，所述目标增量消息包括多条所述增量数据。
8.一种数据同步的装置，其特征在于，包括：
获取模块，用于获取源数据库在单位时间内产生的增量数据；
解析模块，用于解析所述增量数据，以获取所述增量数据的元数据信息和操作类型；
同步模块，用于根据所述增量数据的元数据信息，按照所述操作类型将所述增量数据同步至目标数据库。
9.一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-7任一项所述的数据同步的方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-7任一项所述的数据同步的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210339657.5A CN114661823A (zh) | 2022-04-01 | 2022-04-01 | 数据同步的方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210339657.5A CN114661823A (zh) | 2022-04-01 | 2022-04-01 | 数据同步的方法、装置、电子设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114661823A true CN114661823A (zh) | 2022-06-24 |
Family
ID=82032561
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210339657.5A Pending CN114661823A (zh) | 2022-04-01 | 2022-04-01 | 数据同步的方法、装置、电子设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114661823A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115455012A (zh) * | 2022-11-10 | 2022-12-09 | 广东广宇科技发展有限公司 | 一种数据采集方法、电子设备及存储介质 |
| CN116860898A (zh) * | 2023-09-05 | 2023-10-10 | 建信金融科技有限责任公司 | 一种数据处理方法和装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111723160A (zh) * | 2020-08-24 | 2020-09-29 | 国网浙江省电力有限公司 | 一种多源异构增量数据同步方法及系统 |
| CN114036119A (zh) * | 2021-09-30 | 2022-02-11 | 河海大学 | 一种基于kettle和数据库日志的数据同步方法 |
| CN114048217A (zh) * | 2021-10-21 | 2022-02-15 | 微民保险代理有限公司 | 增量数据的同步方法和装置、电子设备和存储介质 |
-
2022
- 2022-04-01 CN CN202210339657.5A patent/CN114661823A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111723160A (zh) * | 2020-08-24 | 2020-09-29 | 国网浙江省电力有限公司 | 一种多源异构增量数据同步方法及系统 |
| CN114036119A (zh) * | 2021-09-30 | 2022-02-11 | 河海大学 | 一种基于kettle和数据库日志的数据同步方法 |
| CN114048217A (zh) * | 2021-10-21 | 2022-02-15 | 微民保险代理有限公司 | 增量数据的同步方法和装置、电子设备和存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115455012A (zh) * | 2022-11-10 | 2022-12-09 | 广东广宇科技发展有限公司 | 一种数据采集方法、电子设备及存储介质 |
| CN116860898A (zh) * | 2023-09-05 | 2023-10-10 | 建信金融科技有限责任公司 | 一种数据处理方法和装置 |
| CN116860898B (zh) * | 2023-09-05 | 2024-04-23 | 建信金融科技有限责任公司 | 一种数据处理方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107506451B (zh) | 用于数据交互的异常信息监控方法及装置 | |
| CN111597257A (zh) | 数据库的同步方法、装置、存储介质及终端 | |
| US7899783B1 (en) | Monitoring data integrity | |
| CN114661823A (zh) | 数据同步的方法、装置、电子设备及可读存储介质 | |
| CN106951557B (zh) | 日志关联方法、装置和应用其的计算机系统 | |
| CN111740868B (zh) | 告警数据的处理方法和装置及存储介质 | |
| CN111859132A (zh) | 一种数据处理方法、装置及智能设备、存储介质 | |
| CN110543512B (zh) | 一种信息同步方法，装置及系统 | |
| US9177001B2 (en) | Data index using a linked data standard | |
| CN111222089A (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
| CN103034650B (zh) | 一种数据处理系统和方法 | |
| CN110858197A (zh) | 一种同步数据的方法和装置 | |
| CN113901078A (zh) | 业务订单关联查询方法、装置、设备及存储介质 | |
| CN107291938B (zh) | 订单查询系统及方法 | |
| CN117131059A (zh) | 报表数据处理方法、装置、设备及存储介质 | |
| CN108549714B (zh) | 一种数据处理方法及装置 | |
| CN111984723A (zh) | 数据同步方法、装置及终端设备 | |
| CN113612832A (zh) | 流式数据分发方法与系统 | |
| CN113778996A (zh) | 一种大数据流数据处理方法、装置、电子设备及存储介质 | |
| CN114064658A (zh) | 集群中的维表更新方法及装置 | |
| CN118012952B (zh) | 一种数据处理方法和装置、电子设备及存储介质 | |
| CN111506646A (zh) | 数据同步方法、装置、系统、存储介质及处理器 | |
| CN113515532B (zh) | 基于数据交换的变更处理方法、装置、设备及存储介质 | |
| Tian et al. | Horae: causal consistency model based on hot data governance | |
| Fjällid | A comparative study of databases for storing sensor data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |