CN116204593A - 一种数据实时同步的方法、系统、设备及存储介质 - Google Patents
一种数据实时同步的方法、系统、设备及存储介质 Download PDFInfo
- Publication number
- CN116204593A CN116204593A CN202310264760.2A CN202310264760A CN116204593A CN 116204593 A CN116204593 A CN 116204593A CN 202310264760 A CN202310264760 A CN 202310264760A CN 116204593 A CN116204593 A CN 116204593A
- Authority
- CN
- China
- Prior art keywords
- data
- database
- source
- source database
- utilizing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000001360 synchronised effect Effects 0.000 claims abstract description 31
- 238000007405 data analysis Methods 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 19
- 238000012986 modification Methods 0.000 claims description 13
- 230000015654 memory Effects 0.000 claims description 12
- 230000004048 modification Effects 0.000 claims description 10
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 6
- 230000005540 biological transmission Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及数据库和软件开发技术领域，尤其涉及一种数据实时同步的方法、系统、设备及存储介质。包括：获取源数据库中表的相关数据；利用所述源数据库中表的相关数据，配置需要同步的数据表及数据库；利用所述源数据库中表的相关数据，获取MySQL中源数据库中表的数据变化的相关信息；利用所述同步的数据表及数据库和所述源数据库中表的数据变化，通过解析和写入，进行数据实时同步。本申请帮助解决在进行数据同步时，实现数据传输的实时性和一致性。
Description
技术领域
本申请涉及数据库、软件开发、大数据计算技术领域，尤其涉及一种数据实时同步的方法、系统、设备及存储介质。
背景技术
目前，常见的数据同步方案有：Kettle、Sqoop、DataX、Canal、Maxwell、Debezium等。但这些工具都有一些或多或少的弊端。比如Kettle、Sqoop、DataX都是基于查询进行数据同步的，不能实时同步，不能满足日益重要的数据实时性和一致性。
即现有技术中，在进行数据同步时，无法满足数据传输的实时性和一致性。
发明内容
为至少在一定程度上克服相关技术中进行数据同步时，无法满足数据传输的实时性和一致性的问题，本申请提供一种数据实时同步的方法、系统、设备及存储介质。
本申请的方案如下：
第一方面，本申请提供一种数据实时同步的方法，所述方法包括：
获取源数据库中表的相关数据；
利用所述源数据库中表的相关数据，配置需要同步的数据表及数据库；
利用所述源数据库中表的相关数据，获取MySQL中源数据库中表的数据变化的相关信息；
利用所述同步的数据表及数据库和所述源数据库中表的数据变化，通过解析和写入，进行数据实时同步。
进一步地，所述利用所述源数据库中表的相关数据，配置需要同步的数据表及数据库，包括:
利用所述源数据库中表的相关数据,在MySQL数据库建立数据源配置表,所述数据源配置表，包括：数据库类型编码、数据类型名称、连接地址、端口、创造时间和修改时间；
利用所述源数据库中表的相关数据,在MySQL数据库建立数据同步关系配置表,所述同步关系配置表，包括：源数据库、源数据表、源字段、目标数据库、目标数据表和目标字段。
进一步地，所述方法还包括：
利用所述数据源配置表和所述数据同步关系配置表，通过Java Web创建可视化界面，将所述数据源配置表和所述数据同步关系配置表的字段设置为可选项。
进一步地，所述利用所述源数据库中表的相关数据，获取MySQL中源数据库中表的数据变化的相关信息，包括：
利用所述源数据库中表的相关数据，基于FlinkCDC对所述源数据库的表的binlog进行监控，将数据源的binlog级别设置为row级别，获取MySQL中源数据库中表的数据变化的相关信息。
进一步地，所述利用所述同步的数据表及数据库和所述源数据库中表的数据变化，通过解析和写入，进行数据实时同步，包括：
S1.利用所述同步的数据表及数据库和所述源数据库中表的数据变化，通过自定义反序列化器进行数据解析,生成数据解析模板，将经过数据解析处理的字段通过数据解析模板进行存储和显示，所述字段包括：数据库名、数据表名、操作类型、修改前字段值、修改后字段值和时间戳；
S2.利用所述经过数据解析处理的字段，判断其数据类型，并基于得到的数据类型写入PostgreSQL对应的表中。
进一步地，所述利用所述经过数据解析处理的字段，判断其数据类型，并基于得到的数据类型写入PostgreSQL对应的表中，包括：
利用所述经过数据解析处理的字段，若类型为创建或删除时，将所述经过数据解析处理的字段写入PostgreSQL其对应的表中；
若类型为更新时，利用所述数据同步关系配置表中配置的主键，将所述经过数据解析处理的字段更新到PostgreSQL其对应的表中。
第二方面，本申请提供一种数据实时同步的系统，所述系统包括：
获取模块，用于获取源数据库中表的相关数据；
配置模块，用于利用所述源数据库中表的相关数据，配置需要同步的数据表及数据库；
数据运算模块，用于利用所述源数据库中表的相关数据，获取MySQL中源数据库中表的数据变化的相关信息；
数据同步模块，用于利用所述同步的数据表及数据库和所述源数据库中表的数据变化，通过解析和写入，进行数据实时同步。
第三方面，本申请提供一种数据实时同步的装置，所述装置包括：
存储器，其上存储有可执行程序；
处理器，用于执行所述存储器中的所述可执行程序，以实现上述中任一项所述方法的步骤。
第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行上述中任一项所述方法的步骤。
本申请提供的技术方案可以包括以下有益效果：
本申请通过获取源数据库中表的相关数据；利用所述源数据库中表的相关数据，配置需要同步的数据表及数据库；利用所述源数据库中表的相关数据，获取MySQL中源数据库中表的数据变化的相关信息；利用所述同步的数据表及数据库和所述源数据库中表的数据变化，通过解析和写入，进行数据实时同步。本申请帮助解决在进行数据同步时，实现数据传输的实时性和一致性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是本申请一个实施例提供的一种数据实时同步的方法流程图；
图2是本申请另一个实施例提供的一种数据实时同步的系统组成图；
图3是本申请又一个实施例提供的一种数据实时同步的设备组成图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
实施例一
请参阅图1，图1是本申请一个实施例提供的一种数据实时同步的方法流程图，所述方法包括：
S1.获取源数据库中表的相关数据；
S2.利用所述源数据库中表的相关数据，配置需要同步的数据表及数据库；
S3.利用所述源数据库中表的相关数据，获取MySQL中源数据库中表的数据变化的相关信息；
S4.利用所述同步的数据表及数据库和所述源数据库中表的数据变化，通过解析和写入，进行数据实时同步。
在一个实施例中，如步骤S2所述，利用所述源数据库中表的相关数据，配置需要同步的数据表及数据库，包括：
利用所述源数据库中表的相关数据,在MySQL数据库建立数据源配置表,所述数据源配置表，包括：数据库类型编码、数据类型名称、连接地址、端口、创造时间和修改时间；
具体的，如表1在MySQL数据库建一个数据源配置表(t_conf_data_source)，如表1所示。
表1
| 字段名 | 字段类型 | 注释 |
| id | int | 主键id |
| db_type_code | int | 数据库类型编码 |
| db_type_name | varchar(50) | 数据类型名称 |
| url | varchar(100) | 连接地址 |
| port | int | 端口 |
| user_name | varchar(100) | 用户名 |
| password | varchar(1000) | 密码 |
| description | varchar(1000) | 描述 |
| create_time | datetime | 创建时间 |
| modify_time | datetime | 修改时间 |
在本申请实施例中，利用所述源数据库中表的相关数据,在MySQL数据库建立数据同步关系配置表,所述同步关系配置表，包括：源数据库、源数据表、源字段、目标数据库、目标数据表和目标字段。
具体实施时，在MySQL数据库建一个数据同步关系配置表(t_conf_trans_relation),用于维护同步任务源库，源表、源字段和目标库、目标表、目标字段之间的关系。表中包含字段，如表2所示。
表2
需要说明的是，利用所述数据源配置表和所述数据同步关系配置表，通过JavaWeb创建可视化界面，将所述数据源配置表和所述数据同步关系配置表的字段设置为可选项。
具体的，为了方便使用和降低使用门槛，基于Java Web技术做一个管理页面，在页面端对配置数据进行增删改查维护，配置好数据源后，通过对数据源元数据查询反显数据库和表的信息，只用简单的勾选即可完成相应的配置，避免了输入错误的风险。
在一个实施例中，请参阅步骤S3,利用所述源数据库中表的相关数据，获取MySQL中源数据库中表的数据变化的相关信息,包括：利用所述源数据库中表的相关数据，基于FlinkCDC对所述源数据库的表的binlog进行监控，将数据源的binlog级别设置为row级别，获取MySQL中源数据库中表的数据变化的相关信息。
在具体实施时，应用程序读取数据库中的数据源和数据关系配置表，基于FlinkCDC对源表的binlog进行监控和复制。为了准确的获取到源表每条数据的变化情况，需要将数据源的binlog级别设置为row级别。也就是，每条数据的变化情况都会有相应的日志产生。FlinkCDC会将捕获到的binlog日志包装为SourceRecord和ConnectRecord实体类。可通过反序列化器获取数据变化信息，但其自带的String反序列化器返回的是一个复杂的字符串，不能方便的解析获取想要信息，例如：
SourceRecord{sourcePartition＝{server＝mysql_binlog_source},sourceOffset＝{ts_sec＝1664445375,file＝mysql-bin.000007,pos＝219,row＝1,server_id＝1,event＝2}}，
ConnectRecord{topic＝'mysql_binlog_source.test.test_flinkcdc',kafkaPartition＝null,key＝null,keySchema＝null,value＝Struct{after＝Struct{id＝1,name＝张三,gender＝m,age＝28,remark＝DBA},
source＝Struct{version＝1.2.1.Final,connector＝mysql,
name＝mysql_binlog_source,ts_ms＝1664445375000,db＝test,table＝test_flinkcdc,server_id＝1,file＝mysql-bin.000007,pos＝357,row＝0,thr ead＝2},op＝c,ts_ms＝1664445375421},valueSchema＝Schema{mysql_binlog_source.test.test_flinkcdc.Envelope:STRUCT},timestamp＝null,heade rs＝ConnectHeaders(headers＝)}。
故需要自定义反序列化器，实现获取源表元数据、操作类型和数据变化等关键信息。自定义反序列化器具体实现为：①实现
DebeziumDeserializationSchema接口；②实现deserialize方法，从SourceRecord类型入参中获取其Object类型的value属性，并强转为Struct类型，数据格式如下：
③从before中获取修改前的数据，从after中获取修改后的数据，从source中获取源表的元数据，根据op获取操作类型，根据ts_ms获取数据变化时间戳。
在一个实施例中，如步骤S4所述，利用所述同步的数据表及数据库和所述源数据库中表的数据变化，通过解析和写入，进行数据实时同步，包括：
S41.利用所述同步的数据表及数据库和所述源数据库中表的数据变化，通过自定义反序列化器进行数据解析,生成数据解析模板，将经过数据解析处理的字段通过数据解析模板进行存储和显示，所述字段包括：数据库名、数据表名、操作类型、修改前字段值、修改后字段值和时间戳；
在具体实施时，将步骤S3获取的复杂的字符串解析，去掉与同步数据无用的信息，只保留：数据库名db、表名table、操作类型op、修改前各字段值、修改后各字段值和时间戳。
统一格式为：
例如：
S42.利用所述经过数据解析处理的字段，判断其数据类型，并基于得到的数据类型写入PostgreSQL对应的表中。
具体的，所述利用所述经过数据解析处理的字段，判断其数据类型，并基于得到的数据类型写入PostgreSQL对应的表中，包括：
利用所述经过数据解析处理的字段，若类型为创建或删除时，将所述经过数据解析处理的字段直接写入PostgreSQL其对应的表中即可；
若类型为更新时，根据上述数据同步关系配置表(t_conf_trans_relation)中配置的主键或唯一键字段(unique_field)对PostgreSQL对应的表中的该行数据进行全字段更新。
需要说明的是，本申请是基于新兴的FlinkCDC技术，对MySQL数据库的binlog进行监控，并复制其操作写入外部系统PostgreSQL，以实现数据的实时同步。
在一个实施例中，面对业务报表和可视化图表对数据实时性、准确性和一致性的严格要求，数据同步作为数据处理的上游操作，也必须做到实时、准确和稳定。这样，整个数据处理的链路才不会割裂，才能做到数据处理结果与业务系统明细记录数保持一致。
在一个实施例中，本申请基于FlinkCDC将MySQL中数据实时同步至PostgreSQL，本申请适用于基于PostgreSQL的系统需要使用业务数据库MySQL中的业务数据进行数据分析或者数据可视化等的使用场景。本申请基于FlinkCDC框架技术对MySQL数据库的binlog进行监控，并复制其操作写入PostgreSQL以实现数据同步。该方法具有可配置、易使用、速度快的特点。用户可以通过配置页面进行初始化配置，并生成任务，然后提交任务，即可对数据进行实时同步。该方法的简单易用，提高了工作效率，并且降低了使用门槛。
实施例二
请参阅图2，图2是本申请另一个实施例提供的一种数据实时同步的系统组成图，所述系统包括：
获取模块101，用于获取源数据库中表的相关数据；
配置模块102，用于利用所述源数据库中表的相关数据，配置需要同步的数据表及数据库；
数据运算模块103，用于利用所述源数据库中表的相关数据，获取MySQL中源数据库中表的数据变化的相关信息；
数据同步模块104，用于利用所述同步的数据表及数据库和所述源数据库中表的数据变化，通过解析和写入，进行数据实时同步。
实施例三
请参阅图3，图3是是本申请另一个实施例提供的一种数据实时同步的设备组成图，所述设备包括：
存储器31，其上存储有可执行程序；
处理器32，用于执行所述存储器31中的所述可执行程序，以实现上述中任一项所述方法的步骤。
此外，本申请提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行上述任一项所述方法的步骤。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)、随机存储记忆体(RandomAccess Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是，在本申请的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (9)
1.一种数据实时同步的方法，其特征在于，所述方法包括：
获取源数据库中表的相关数据；
利用所述源数据库中表的相关数据，配置需要同步的数据表及数据库；
利用所述源数据库中表的相关数据，获取MySQL中源数据库中表的数据变化的相关信息；
利用所述同步的数据表及数据库和所述源数据库中表的数据变化，通过解析和写入，进行数据实时同步。
2.根据权利要求1所述的方法，其特征在于，所述利用所述源数据库中表的相关数据，配置需要同步的数据表及数据库，包括:
利用所述源数据库中表的相关数据,在MySQL数据库建立数据源配置表,所述数据源配置表，包括：数据库类型编码、数据类型名称、连接地址、端口、创造时间和修改时间；
利用所述源数据库中表的相关数据,在MySQL数据库建立数据同步关系配置表,所述同步关系配置表，包括：源数据库、源数据表、源字段、目标数据库、目标数据表和目标字段。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
利用所述数据源配置表和所述数据同步关系配置表，通过Java Web创建可视化界面，将所述数据源配置表和所述数据同步关系配置表的字段设置为可选项。
4.根据权利要求1所述的方法，其特征在于，所述利用所述源数据库中表的相关数据，获取MySQL中源数据库中表的数据变化的相关信息，包括：
利用所述源数据库中表的相关数据，基于FlinkCDC对所述源数据库的表的binlog进行监控，将数据源的binlog级别设置为row级别，获取MySQL中源数据库中表的数据变化的相关信息。
5.根据权利要求1所述的方法，其特征在于，所述利用所述同步的数据表及数据库和所述源数据库中表的数据变化，通过解析和写入，进行数据实时同步，包括：
利用所述同步的数据表及数据库和所述源数据库中表的数据变化，通过自定义反序列化器进行数据解析,生成数据解析模板，将经过数据解析处理的字段通过数据解析模板进行存储和显示，所述字段包括：数据库名、数据表名、操作类型、修改前字段值和修改后字段值和时间戳；
利用所述经过数据解析处理的字段，判断其数据类型，并基于得到的数据类型写入PostgreSQL对应的表中。
6.根据权利要求5所述的方法，其特征在于，所述利用所述经过数据解析处理的字段，判断其数据类型，并基于得到的数据类型写入PostgreSQL对应的表中，包括：
利用所述经过数据解析处理的字段，若类型为创建或删除时，将所述经过数据解析处理的字段写入PostgreSQL其对应的表中；
若类型为更新时，利用所述数据同步关系配置表中配置的主键，将所述经过数据解析处理的字段更新到PostgreSQL其对应的表中。
7.一种数据实时同步的系统，其特征在于，所述系统包括：
获取模块，用于获取源数据库中表的相关数据；
配置模块，用于利用所述源数据库中表的相关数据，配置需要同步的数据表及数据库；
数据运算模块，用于利用所述源数据库中表的相关数据，获取MySQL中源数据库中表的数据变化的相关信息；
数据同步模块，用于利用所述同步的数据表及数据库和所述源数据库中表的数据变化，通过解析和写入，进行数据实时同步。
8.一种数据实时同步的装置，其特征在于，所述装置包括：
存储器，其上存储有可执行程序；
处理器，用于执行所述存储器中的所述可执行程序，以实现权利要求1-6中任一项所述方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行权利要求1-6任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310264760.2A CN116204593A (zh) | 2023-03-17 | 2023-03-17 | 一种数据实时同步的方法、系统、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310264760.2A CN116204593A (zh) | 2023-03-17 | 2023-03-17 | 一种数据实时同步的方法、系统、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116204593A true CN116204593A (zh) | 2023-06-02 |
Family
ID=86511193
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310264760.2A Pending CN116204593A (zh) | 2023-03-17 | 2023-03-17 | 一种数据实时同步的方法、系统、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116204593A (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107729366A (zh) * | 2017-09-08 | 2018-02-23 | 广东省建设信息中心 | 一种普适多源异构大规模数据同步系统 |
| CN107992559A (zh) * | 2017-11-28 | 2018-05-04 | 江苏中威科技软件系统有限公司 | 多数据源的数据迁移方法 |
| CN112231402A (zh) * | 2020-10-14 | 2021-01-15 | 广东亿迅科技有限公司 | 一种异构数据实时同步方法、装置、设备和存储介质 |
| CN112765280A (zh) * | 2021-02-03 | 2021-05-07 | 腾讯科技（深圳）有限公司 | 区块数据存储方法、装置、计算机可读介质及电子设备 |
| CN112911005A (zh) * | 2021-02-03 | 2021-06-04 | 深圳市极致科技股份有限公司 | 一种数据同步系统、方法及车场数据更新方法 |
| CN114201462A (zh) * | 2021-12-09 | 2022-03-18 | 金蝶软件（中国）有限公司 | 表格数据的同步方法、装置、计算机设备和存储介质 |
| CN114691704A (zh) * | 2022-03-26 | 2022-07-01 | 浪潮云信息技术股份公司 | 一种基于MySQL binlog的元数据同步方法 |
| CN114722119A (zh) * | 2022-03-30 | 2022-07-08 | 上海幻电信息科技有限公司 | 数据同步方法及系统 |
| CN115658815A (zh) * | 2022-11-29 | 2023-01-31 | 贵州易鲸捷信息技术有限公司 | 基于cdc实现的数据同步的方法 |
-
2023
- 2023-03-17 CN CN202310264760.2A patent/CN116204593A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107729366A (zh) * | 2017-09-08 | 2018-02-23 | 广东省建设信息中心 | 一种普适多源异构大规模数据同步系统 |
| CN107992559A (zh) * | 2017-11-28 | 2018-05-04 | 江苏中威科技软件系统有限公司 | 多数据源的数据迁移方法 |
| CN112231402A (zh) * | 2020-10-14 | 2021-01-15 | 广东亿迅科技有限公司 | 一种异构数据实时同步方法、装置、设备和存储介质 |
| CN112765280A (zh) * | 2021-02-03 | 2021-05-07 | 腾讯科技（深圳）有限公司 | 区块数据存储方法、装置、计算机可读介质及电子设备 |
| CN112911005A (zh) * | 2021-02-03 | 2021-06-04 | 深圳市极致科技股份有限公司 | 一种数据同步系统、方法及车场数据更新方法 |
| CN114201462A (zh) * | 2021-12-09 | 2022-03-18 | 金蝶软件（中国）有限公司 | 表格数据的同步方法、装置、计算机设备和存储介质 |
| CN114691704A (zh) * | 2022-03-26 | 2022-07-01 | 浪潮云信息技术股份公司 | 一种基于MySQL binlog的元数据同步方法 |
| CN114722119A (zh) * | 2022-03-30 | 2022-07-08 | 上海幻电信息科技有限公司 | 数据同步方法及系统 |
| CN115658815A (zh) * | 2022-11-29 | 2023-01-31 | 贵州易鲸捷信息技术有限公司 | 基于cdc实现的数据同步的方法 |
Non-Patent Citations (1)
| Title |
|---|
| 高级互联网专家: "Flink SQL CDC 实践以及一致性分析", pages 1 - 13, Retrieved from the Internet <URL:https://baijiahao.baidu.com/s?id=1709626589638152575&wfr=spider&for=pc> * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8381193B2 (en) | Apparatus, system, and method for visual log analysis | |
| US10671671B2 (en) | Supporting tuples in log-based representations of graph databases | |
| EP2400443A1 (en) | System and method for analytic process design | |
| CN110162544B (zh) | 异构数据源数据获取方法及装置 | |
| US10789295B2 (en) | Pattern-based searching of log-based representations of graph databases | |
| CN111290956B (zh) | 基于脑图的测试方法、装置、电子设备及存储介质 | |
| US6845344B1 (en) | Graphical user input interface for testing performance of a mass storage system | |
| CN109871406B (zh) | 通用监控报表平台的设计方法 | |
| US20120266131A1 (en) | Automatic program generation device, method, and computer program | |
| CN102272751B (zh) | 在数据库环境通过背景同步的数据完整性 | |
| CN109063362B (zh) | 航电软件接口控制文件设计管理系统 | |
| US20200097615A1 (en) | Difference-based comparisons in log-structured graph databases | |
| US10678864B2 (en) | Analysis model preparing system, programming apparatus, and analysis model preparing method | |
| CN114691704A (zh) | 一种基于MySQL binlog的元数据同步方法 | |
| US6865514B1 (en) | Post test data processing of a mass storage system | |
| CN115373889A (zh) | 数据同步中的数据比对校验及数据修复的方法及装置 | |
| US20180349443A1 (en) | Edge store compression in graph databases | |
| CN110704635B (zh) | 一种知识图谱中三元组数据的转换方法及装置 | |
| CN108491218A (zh) | 一种数据库变更文件生成的方法和装置 | |
| CN116204593A (zh) | 一种数据实时同步的方法、系统、设备及存储介质 | |
| CN115455059A (zh) | 一种基于底层数据解析用户行为的方法、装置及相关介质 | |
| US7171338B1 (en) | Output performance trends of a mass storage system | |
| CN111737148A (zh) | 自动回归测试方法、装置、计算机设备及存储介质 | |
| CN113010208A (zh) | 一种版本信息的生成方法、装置、设备及存储介质 | |
| CN111427902A (zh) | 基于轻量型数据库的元数据管理方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |