CN115185964A - 数据同步方法、装置、计算机设备及存储介质 - Google Patents

数据同步方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN115185964A
CN115185964A CN202210731877.2A CN202210731877A CN115185964A CN 115185964 A CN115185964 A CN 115185964A CN 202210731877 A CN202210731877 A CN 202210731877A CN 115185964 A CN115185964 A CN 115185964A
Authority
CN
China
Prior art keywords
data
target
database
data table
log
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210731877.2A
Other languages
English (en)
Inventor
刘红云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Bank Co Ltd
Original Assignee
Ping An Bank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Bank Co Ltd filed Critical Ping An Bank Co Ltd
Priority to CN202210731877.2A priority Critical patent/CN115185964A/zh
Publication of CN115185964A publication Critical patent/CN115185964A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2358Change logging, detection, and notification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2365Ensuring data consistency and integrity

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种数据同步方法、装置、计算机设备及存储介质,本申请实施例的数据同步方法包括:获取待进行数据同步的源数据库的业务场景信息,其中,数据同步是从源数据库同步到目标数据库;根据业务场景信息与目标数据库中各数据表的业务标识信息,从目标数据库的各数据表中确定目标数据表;根据目标数据表生成目标数据库的数据更新规则;根据源数据库中用于记录数据更新的日志以及数据更新规则,得到数据更新消息;将数据更新消息传输至所述目标数据库,以供目标数据库根据数据更新消息进行数据同步。本申请实施例旨在节约进行数据同步时的人力资源。

Description

数据同步方法、装置、计算机设备及存储介质
技术领域
本申请涉及通信技术领域,具体涉及一种数据同步方法、装置、计算机设备及存储介质。
背景技术
数据同步旨在保持两数据源的数据的一致性。当进行部分数据的同步时,运维人员会筛选需要同步的数据。
然而,在源数据库改动数据较多的情况下,需要消耗大量人力资源筛选需要进行同步的数据。
发明内容
本申请实施例提供一种数据同步方法、装置、计算机设备及存储介质,旨在节约进行数据同步时的人力资源。
一方面,本申请提供一种数据同步方法,所述数据同步方法包括:
获取待进行数据同步的源数据库的业务场景信息,其中,所述数据同步是从所述源数据库同步到目标数据库;
根据所述业务场景信息与所述目标数据库中各数据表的业务标识信息,从所述目标数据库的各数据表中确定目标数据表;
根据所述目标数据表生成所述目标数据库的数据更新规则;
根据所述源数据库中用于记录数据更新的日志以及数据更新规则,得到数据更新消息;
将所述数据更新消息传输至所述目标数据库,以供所述目标数据库根据所述数据更新消息进行数据同步。
另一方面,本申请提供一种数据同步装置,所述数据同步装置包括:
获取模块,用于获取待进行数据同步的源数据库的业务场景信息,其中,所述数据同步是从所述源数据库同步到目标数据库;
生成模块,用于根据所述业务场景信息与所述目标数据库中各数据表的业务标识信息,从所述目标数据库的各数据表中确定目标数据表,并根据所述目标数据表生成所述目标数据库的数据更新规则;
传输模块,用于根据所述源数据库中用于记录数据更新的日志以及数据更新规则,得到数据更新消息,并将所述数据更新消息传输至所述目标数据库,以供所述目标数据根据所述数据更新消息进行数据同步。
另一方面,本申请还提供一种计算机设备,所述计算机设备包括:
一个或多个处理器;
存储器;以及
一个或多个应用程序,其中所述一个或多个应用程序被存储于所述存储器中,并配置为由所述处理器执行以实现第一方面中任一项所述的数据同步方法。
第四方面,本申请还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器进行加载,以执行第一方面任一项所述的数据同步方法中的步骤。
本申请实施例通过将源数据库的业务场景信息与目标数据库中各数据表的业务标识信息进行比对,筛选出目标数据表,以自动完成对目标数据库的数据更新规则的配置,便于后续基于此得到数据更新消息,从而完成目标数据库的数据同步,节约大量人力资源,减少因人工筛选待同步的数据导致的数据丢失情况。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例中提供的数据同步方法的一个实施例流程示意图;
图2是本申请实施例中根据目标日志得到数据更新消息的流程示意图;
图3是本申请实施例中提供的数据同步装置的一个实施例结构示意图;
图4是本申请实施例中提供的计算机设备的一个实施例结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本申请中,“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本申请,给出了以下描述。在以下描述中,为了解释的目的而列出了细节。应当明白的是,本领域普通技术人员可以认识到,在不使用这些特定细节的情况下也可以实现本申请。在其它实例中,不会对公知的结构和过程进行详细阐述,以避免不必要的细节使本申请的描述变得晦涩。因此,本申请并非旨在限于所示的实施例,而是与符合本申请所公开的原理和特征的最广范围相一致。
需要说明的是,本申请实施例方法由于是在计算机设备中执行,各电子设备的处理对象均以数据或信息的形式存在,例如时间,实质为时间信息,可以理解的是,后续实施例中若提及尺寸、数量、位置等,均为对应的数据存在,以便电子设备进行处理,具体此处不作赘述。
本申请实施例提供一种数据同步方法、装置、计算机设备及存储介质,以下分别进行详细说明。
首先,本申请实施例中提供一种数据同步方法,该数据同步方法的执行主体为数据同步装置,该数据同步装置应用于计算机设备,该计算机设备可以为源数据库所在的服务器,也可以为第三方服务器,第三方服务器分别与源数据库和目标数据库通信连接,但不以此为限。
本申请实施例的数据同步方法包括:
获取待进行数据同步的源数据库的业务场景信息,其中,数据同步是从源数据库同步到目标数据库;
根据业务场景信息与目标数据库中各数据表的业务标识信息,从目标数据库的各数据表中确定目标数据表;
根据目标数据表生成目标数据库的数据更新规则;
根据源数据库中用于记录数据更新的日志以及数据更新规则,得到数据更新消息;
将数据更新消息传输至所述目标数据库,以供目标数据库根据数据更新消息进行数据同步。
本申请实施例通过将源数据库的业务场景信息与目标数据库中各数据表的业务标识信息进行比对,筛选出目标数据表,以自动完成对目标数据库的数据更新规则的配置,便于后续基于此得到数据更新消息,从而完成目标数据库的数据同步,节约大量人力资源,减少因人工筛选待同步的数据导致的数据丢失情况。
下面对本申请实施例的数据同步方法的实现细节进行具体的说明,以下内容仅为方便理解提供的实现细节,并非实施本方案的必须。
如图1所示,为本申请实施例中数据同步方法的一个实施例流程示意图,该数据同步方法包括:
步骤101,获取待进行数据同步的源数据库的业务场景信息。
其中,数据同步是将数据从源数据库同步到目标数据库。
业务场景信息表征通过该数据库所需要处理的事务。
例如,业务场景信息可以记载数据库的用途、数据库中存储的数据的实际意义等,在实际应用过程中也可包括其他表征该数据需要处理的事务的信息,但不限于此。
示例性的,某数据库的用途可以为:银行职工信息管理等,存储的数据的实际意义可以为:职工基本信息、职工薪资信息、职工职位级别,领导职员管理架构,职工负责为客户办理的业务等信息。
在获取到源数据库的业务场景信息后可执行步骤102。
步骤102,根据业务场景信息与目标数据库中各数据表的业务标识信息,从目标数据库的各数据表中确定目标数据表。
其中,数据表的业务标识信息表征该数据库中的数据表所需要处理的事务,例如,目标数据库主要用于银行客户的管理,目标数据库中的某数据表的业务标识信息包括:对接客户的银行职工,客户办理的业务等。
目标数据表表征目标数据库中需要进行与源数据库中的数据保持同步的数据表,目标数据表包括:业务标识信息与源数据库的业务场景信息满足语义相似条件的数据表。
在一些实施例中,判断是否满足语义相似条件可包括:查找各数据表中业务标识信息与业务场景信息中的关键词匹配的数据表,作为目标数据表。
本申请实施例中的源数据库的业务场景信息可以以关键词的形式存在,例如:银行职工信息管理、职工基本信息等,也可以通过语段的形式存在,将语段输入用于进行关键词提取的神经网络模型模型进行关键词提取,然后,将关键词与业务标识信息进行匹配。
具体地,查找各数据表中业务标识信息与业务场景信息中的关键词匹配的数据表可通过以下方式:
第一种方式,遍历各数据表,若当前遍历到的数据表的业务标识信息与业务场景信息中的至少一个关键词的语义相同,即表征当前遍历到的数据表为业务标识信息与业务场景信息中的关键词匹配的数据表,即当前遍历到的数据表为目标数据表。
也就是说,可将语义相似条件设置为:数据表的业务标识信息与业务场景信息中的至少一个关键词的语义相同。
第二种方式,遍历各数据表,若当前遍历到的数据表的业务标识信息与业务场景信息中的语义相同的关键词的个数超过预设阈值,则表征当前遍历到的数据表为业务标识信息与业务场景信息中的关键词匹配的数据表。
其中,判断关键词语义是否相同可以通过用于判断语义一致性的机器学习模型进行判断,也可以通过其他方式,本申请实施例不对此进行限定。
也就是说,还可将语义相似条件设置为:数据表的业务标识信息与业务场景信息中的语义相同的关键词的个数超过预设阈值。
上述提供了两种通过关键词查找匹配的数据表的实施例,在实际应用中,也可以不通过关键词查找,可直接将业务场景信息和业务标识信息输入用于判断语义一致性的机器学习模型,得到业务场景信息和业务标识信息的相似度,若相似度超过预设阈值,则表征该数据表为业务标识信息与业务场景信息匹配的数据表,将该数据表作为目标数据表。
在一些实施例中,在获取到匹配的数据表之后,查找各数据表中所述匹配的数据表之外的数据表中,与匹配的数据表存在依赖关系的数据表,作为目标数据表。
依赖关系是描述数据库不同属性,即字段之间的关系,两表之间存在依赖关系表征两表中的某字段之间存在相互关系。
本申请实施例不仅将关键词匹配的数据表作为目标数据表,还将与匹配的数据表存在依赖关系的数据表也作为目标数据表,从而能够减少因数据表业务标识信息不全面导致的同步数据遗漏的情况,提高同步数据自动筛选的准确性。
在得到目标数据表之后可执行步骤103。
步骤103,根据目标数据表生成目标数据库的数据更新规则。
数据更新规则表征目标数据表中需要更新的数据的相关信息,例如数据更新规则中可记载目标数据表表名、目标数据表中需要进行数据同步的字段名、上一次进行数据同步的时间等。
步骤104,根据源数据库中用于记录数据更新的日志以及数据更新规则,得到数据更新消息。其中,用于记录数据更新的日志可以具体为二进制日志(binlog)。
在一些实施例中,查找该日志,得到与所述数据更新规则对应的目标日志;根据所述目标日志,得到数据更新消息。
具体地,可根据目标数据表的标识,以及上一次进行数据同步的时间得到目标日志。
例如,二进制日志中记载数据更新发生的时间,因此,首先可通过上一次进行数据同步的时间查找到源数据库在本轮进行数据同步至上一轮发生数据同步这个时间段产生的日志,在该时间段的日志中查找目标数据表表名,以得到目标日志。
值得一提的是,若同一个表在目标数据库和源数据库中的表名不一致,可以先通过目标数据库的目标数据表表名,以及预先设置的目标数据库和源数据库的表名映射规则,查找到该目标数据表在源数据库的名称,然后,通过目标数据表在源数据库的名称得到目标数据表名。
上述简述得到目标日志的方法,以下阐述在一些实施例中根据目标日志得到数据更新消息的方式。
在一些实施例中,若目标日志中的数据表名称与目标数据库中的数据表名称不一致,则将所述目标日志中的数据表名称更改为目标数据库中的数据表名称,根据表名称更改后的目标日志得到数据更新消息。
本实施例可针对源数据库和目标数据库表名称不一致的情况,避免因源数据库和目标数据库中表名称不一致导致的数据同步异常。
除了源数据库和目标数据库表名称可能存在不一致的情况,源数据库和目标数据库字段也可能不一致,因此,在一些实施例中,可以根据预先存储的源数据库的源字段与目标数据库的目标字段的映射关系,将所述目标日志中的源字段转换成目标字段,得到字段转换后的目标日志;根据所述字段转换后的目标日志,得到数据更新消息。
上述实施例通过源数据库和目标数据库的字段映射,能够将数据更新消息中的字段转换成目标数据库字段,避免因源数据库和目标数据库字段不一致导致的数据同步异常。
下述提供一个实施例,能够针对源数据库和目标数据库的字段数据类型不一致的情况,具体包括:
若目标日志中的目标字段的第二数据类型与目标数据库中的目标字段的第一数据类型不一致,则将第二数据类型转换为第二数据类型,得到数据更新消息。
其中,数据类型包括但不限于:整型、浮点型、字符型、布尔型。
本实施例将源数据库中字段的数据类型转换为目标数据库中对应字段的数据类型,避免因源数据库和目标数据库的数据类型不一致导致的数据同步异常。
上述三个实施例分别解决了源数据库和目标数据库表名不一致、字段名称不一致,数据类型不一致所导致的数据同步异常的问题。在实际应用过程,可根据源数据库和目标数据库的实际情况进行实施例的结合。
例如,在源数据库和目标数据库表名一致,而字段和数据类型不一致的情况下,可先根据预先存储的源数据库的源字段与目标数据库的目标字段的映射关系,将所述目标日志中的源字段转换成目标字段,得到字段转换后的目标日志,然后将所述字段转换后的目标日志中的所述目标字段的所述第二数据类型转换为第一数据类型,得到数据更新消息。
又例如,在源数据库和目标数据库表名、字段名称和数据类型均可能不一致的情况下,可参见流程图2所示,执行下述步骤201至204:
步骤201,若目标日志中的数据表名称与目标数据库中的数据表名称不一致,则将目标日志中的数据表名称更改为目标数据库中的数据表名称。
步骤202,根据预先存储的源数据库的源字段与目标数据库的目标字段的映射关系,将表名称更改后的目标日志中的源字段转换成目标字段,得到字段转换后的目标日志。
步骤203,获取目标数据库中的目标字段的第一数据类型。
步骤204,若字段转换后的目标日志中的目标字段的第二数据类型与第一数据类型不一致,将字段转换后的目标日志中的目标字段的第二数据类型转换为第一数据类型,得到数据更新消息。
具体地,可将经数据类型转换的目标日志基于传输协议进行打包,得到数据更新消息。
上述实施例先更改表名,避免不同表名下具有相同字段名称导致的字段映射错误,提高字段映射的准确性,然后更改字段,便于后续根据字段名称进行数据类型是否一致的判断。
在通过上述实施例得到数据更新消息后,可执行步骤105。
步骤105,将数据更新消息传输至目标数据库。
目标数据库接收到数据更新消息后,根据数据更新消息进行数据同步。
具体地,目标数据库可以从数据更新消息中解析出目标日志,通过目标日志确定需要进行更新的数据及对数据进行的相关操作,并执行相应操作,从而自动完成数据同步。
本申请实施例通过将源数据库的业务场景信息与目标数据库中各数据表的业务标识信息进行比对,筛选出目标数据表,以自动完成对目标数据库的数据更新规则的配置,便于后续基于数据更新规则以及日志得到数据更新消息,从而完成目标数据库的数据同步,节约大量人力资源,减少因人工筛选待同步的数据导致的数据丢失情况,另外,本申请实施例还解决了源数据库和目标数据库表名不一致、字段名称不一致,数据类型不一致所导致的数据同步异常的问题。
本申请实施例还提供一种数据同步装置,可参见图3所示,本申请实施例的数据同步装置包括:
获取模块301,用于获取待进行数据同步的源数据库的业务场景信息,其中,所述数据同步是从所述源数据库同步到目标数据库;
生成模块302,用于根据所述业务场景信息与所述目标数据库中各数据表的业务标识信息,从所述目标数据库的各数据表中确定目标数据表,并根据所述目标数据表生成所述目标数据库的数据更新规则;
传输模块303,用于根据所述源数据库中用于记录数据更新的日志以及数据更新规则,得到数据更新消息,并将所述数据更新消息传输至所述目标数据库,以供所述目标数据根据所述数据更新消息进行数据同步。
在一些实施例中,传输模块303进一步用于查找所述日志,得到与所述数据更新规则对应的目标日志;根据所述目标日志,得到数据更新消息。
在一些实施例中,传输模块303进一步用于根据预先存储的源数据库的源字段与目标数据库的目标字段的映射关系,将所述目标日志中的源字段转换成目标字段,得到字段转换后的目标日志;根据所述字段转换后的目标日志,得到数据更新消息。
在一些实施例中,传输模块303进一步用于获取所述目标数据库中的目标字段的第一数据类型;若所述字段转换后的目标日志中的所述目标字段的第二数据类型与所述第一数据类型不一致,则将所述字段转换后的目标日志中的所述目标字段的所述第二数据类型转换为第一数据类型,得到数据更新消息。
在一些实施例中,传输模块303进一步用于若所述目标日志中的数据表名称与所述目标数据库中的数据表名称不一致,则将所述目标日志中的数据表名称更改为目标数据库中的数据表名称。
在一些实施例中,生成模块302进一步用于查找各数据表中所述业务标识信息与所述业务场景信息中的关键词匹配的数据表,作为所述目标数据表。
在一些实施例中,生成模块302进一步用于查找各数据表中所述匹配的数据表之外的数据表中,与所述匹配的数据表存在依赖关系的数据表,作为所述目标数据表。
本申请实施例还提供一种计算机设备,其集成了本申请实施例所提供的任一种数据同步装置,所述计算机设备包括:
一个或多个处理器;
存储器;以及
一个或多个应用程序,其中所述一个或多个应用程序被存储于所述存储器中,并配置为由所述处理器执行上述数据同步方法实施例中任一实施例中所述的数据同步方法中的步骤。
本申请实施例还提供一种计算机设备,其集成了本申请实施例所提供的任一种数据同步装置。如图4所示,其示出了本申请实施例所涉及的计算机设备的结构示意图,具体来讲:
该计算机设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解,图4中示出的计算机设备结构并不构成对计算机设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器401是该计算机设备的控制中心,利用各种接口和线路连接整个计算机设备的各个部分,通过运行或执行存储在存储器402内的软件程序和/或模块,以及调用存储在存储器402内的数据,执行计算机设备的各种功能和处理数据,从而对计算机设备进行整体监控。可选的,处理器401可包括一个或多个处理核心;优选的,处理器401可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块,处理器401通过运行存储在存储器402的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据计算机设备的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器402还可以包括存储器控制器,以提供处理器401对存储器402的访问。
计算机设备还包括给各个部件供电的电源403,优选的,电源403可以通过电源管理系统与处理器401逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该计算机设备还可包括输入单元404,该输入单元404可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出,计算机设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,计算机设备中的处理器401会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中,并由处理器401来运行存储在存储器402中的应用程序,从而实现各种功能。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种计算机可读存储介质,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。其上存储有计算机程序,所述计算机程序被处理器进行加载,以执行本申请实施例所提供的任一种数据同步方法中的步骤。例如,所述计算机程序被处理器进行加载可以执行如下步骤:
获取待进行数据同步的源数据库的业务场景信息,其中,所述数据同步是从所述源数据库同步到目标数据库;
根据所述业务场景信息与所述目标数据库中各数据表的业务标识信息,从所述目标数据库的各数据表中确定目标数据表,并根据所述目标数据表生成所述目标数据库的数据更新规则;
根据所述源数据库中用于记录数据更新的日志以及数据更新规则,得到数据更新消息,并将所述数据更新消息传输至所述目标数据库,以供所述目标数据根据所述数据更新消息进行数据同步。
在一些实施例中,根据所述源数据库中用于记录数据更新的日志以及数据更新规则,得到数据更新消息,包括:
查找所述日志,得到与所述数据更新规则对应的目标日志;根据所述目标日志,得到数据更新消息。
在一些实施例中,根据所述目标日志,得到数据更新消息包括:
根据预先存储的源数据库的源字段与目标数据库的目标字段的映射关系,将所述目标日志中的源字段转换成目标字段,得到字段转换后的目标日志;根据所述字段转换后的目标日志,得到数据更新消息。
在一些实施例中,根据所述字段转换后的目标日志,得到数据更新消息,包括:
获取所述目标数据库中的目标字段的第一数据类型;若所述字段转换后的目标日志中的所述目标字段的第二数据类型与所述第一数据类型不一致,则将所述字段转换后的目标日志中的所述目标字段的所述第二数据类型转换为第一数据类型,得到数据更新消息。
在一些实施例中,将所述目标日志中的源字段转换成目标字段,得到字段转换后的目标日志之前,所述方法还包括:
若所述目标日志中的数据表名称与所述目标数据库中的数据表名称不一致,则将所述目标日志中的数据表名称更改为目标数据库中的数据表名称。
在一些实施例中,根据所述业务场景信息与目标数据库中各数据表的业务标识信息,从所述目标数据库的各数据表中确定目标数据表,包括:
查找各数据表中所述业务标识信息与所述业务场景信息中的关键词匹配的数据表,作为所述目标数据表。
在一些实施例中,在所述查找各数据表中所述业务标识信息与所述业务场景信息中的关键词匹配的数据表后,所述方法还包括:
查找各数据表中所述匹配的数据表之外的数据表中,与所述匹配的数据表存在依赖关系的数据表,作为所述目标数据表。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对其他实施例的详细描述,此处不再赘述。
具体实施时,以上各个单元或结构可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元或结构的具体实施可参见前面的方法实施例,在此不再赘述。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
以上对本申请实施例所提供的一种数据同步方法、装置、计算机设备及存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种数据同步方法,其特征在于,所述数据同步方法包括:
获取待进行数据同步的源数据库的业务场景信息,其中,所述数据同步是从所述源数据库同步到目标数据库;
根据所述业务场景信息与所述目标数据库中各数据表的业务标识信息,从所述目标数据库的各数据表中确定目标数据表;
根据所述目标数据表生成所述目标数据库的数据更新规则;
根据所述源数据库中用于记录数据更新的日志以及数据更新规则,得到数据更新消息;
将所述数据更新消息传输至所述目标数据库,以供所述目标数据库根据所述数据更新消息进行数据同步。
2.根据权利要求1所述的数据同步方法,其特征在于,所述根据所述源数据库中用于记录数据更新的日志以及数据更新规则,得到数据更新消息,包括:
查找所述日志,得到与所述数据更新规则对应的目标日志;
根据所述目标日志,得到数据更新消息。
3.根据权利要求2所述的数据同步方法,其特征在于,所述根据所述目标日志,得到数据更新消息包括:
根据预先存储的源数据库的源字段与目标数据库的目标字段的映射关系,将所述目标日志中的源字段转换成目标字段,得到字段转换后的目标日志;
根据所述字段转换后的目标日志,得到数据更新消息。
4.根据权利要求3所述的数据同步方法,其特征在于,所述根据所述字段转换后的目标日志,得到数据更新消息,包括:
获取所述目标数据库中的目标字段的第一数据类型;
若所述字段转换后的目标日志中的所述目标字段的第二数据类型与所述第一数据类型不一致,则将所述字段转换后的目标日志中的所述目标字段的所述第二数据类型转换为第一数据类型,得到数据更新消息。
5.根据权利要求3所述的数据同步方法,其特征在于,所述将所述目标日志中的源字段转换成目标字段,得到字段转换后的目标日志之前,所述方法还包括:
若所述目标日志中的数据表名称与所述目标数据库中的数据表名称不一致,则将所述目标日志中的数据表名称更改为目标数据库中的数据表名称。
6.根据权利要求1至5中任一项所述的数据同步方法,其特征在于,所述根据所述业务场景信息与目标数据库中各数据表的业务标识信息,从所述目标数据库的各数据表中确定目标数据表,包括:
查找各数据表中所述业务标识信息与所述业务场景信息中的关键词匹配的数据表,作为所述目标数据表。
7.根据权利要求6所述的数据同步方法,其特征在于,在所述查找各数据表中所述业务标识信息与所述业务场景信息中的关键词匹配的数据表后,所述方法还包括:
查找各数据表中所述匹配的数据表之外的数据表中,与所述匹配的数据表存在依赖关系的数据表,作为所述目标数据表。
8.一种数据同步装置,其特征在于,包括:
获取模块,用于获取待进行数据同步的源数据库的业务场景信息,其中,所述数据同步是从所述源数据库同步到目标数据库;
生成模块,用于根据所述业务场景信息与所述目标数据库中各数据表的业务标识信息,从所述目标数据库的各数据表中确定目标数据表,并根据所述目标数据表生成所述目标数据库的数据更新规则;
传输模块,用于根据所述源数据库中用于记录数据更新的日志以及数据更新规则,得到数据更新消息,并将所述数据更新消息传输至所述目标数据库,以供所述目标数据根据所述数据更新消息进行数据同步。
9.一种计算机设备,其特征在于,所述计算机设备包括:
一个或多个处理器;
存储器;以及
一个或多个应用程序,其中所述一个或多个应用程序被存储于所述存储器中,并配置为由所述处理器执行以实现权利要求1至7中任一项所述的数据同步方法。
10.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,所述计算机程序被处理器进行加载,以执行权利要求1至7任一项所述的数据同步方法中的步骤。
CN202210731877.2A 2022-06-25 2022-06-25 数据同步方法、装置、计算机设备及存储介质 Pending CN115185964A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210731877.2A CN115185964A (zh) 2022-06-25 2022-06-25 数据同步方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210731877.2A CN115185964A (zh) 2022-06-25 2022-06-25 数据同步方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN115185964A true CN115185964A (zh) 2022-10-14

Family

ID=83515968

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210731877.2A Pending CN115185964A (zh) 2022-06-25 2022-06-25 数据同步方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN115185964A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116578534A (zh) * 2023-04-11 2023-08-11 华能信息技术有限公司 一种日志报文数据格式识别方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116578534A (zh) * 2023-04-11 2023-08-11 华能信息技术有限公司 一种日志报文数据格式识别方法及系统
CN116578534B (zh) * 2023-04-11 2024-06-04 华能信息技术有限公司 一种日志报文数据格式识别方法及系统

Similar Documents

Publication Publication Date Title
US7269593B2 (en) Data processing apparatus and method
US20170109206A1 (en) Task scheduling method, apparatus, and device
US20070239342A1 (en) Method and system for deferred maintenance of database indexes
CN108388564B (zh) 查询处理方法、装置及其设备
CN112966004A (zh) 数据查询方法、装置、电子设备以及计算机可读介质
CN112328805B (zh) 基于nlp的漏洞描述信息与数据库表的实体映射方法
CN115374102A (zh) 数据处理方法及系统
US11681606B2 (en) Automatic configuration of logging infrastructure for software deployments using source code
CN114707363B (zh) 用于配网工程管理的问题数据处理方法及系统
CN114461644A (zh) 一种数据采集方法、装置、电子设备及存储介质
CN115185964A (zh) 数据同步方法、装置、计算机设备及存储介质
CN105426544B (zh) 监控数据库状态的方法及装置
CN113282850B (zh) 资源标签管理方法、装置、电子设备、系统及存储介质
CN114265857A (zh) 查询语句处理方法以及装置
CN116361184A (zh) 一种数据查找方法、装置、介质和计算机设备
CN116028517A (zh) 一种融合数据库系统及电子设备
CN116089417A (zh) 信息获取方法、装置、存储介质及计算机设备
CN115686583B (zh) 海量物联网设备升级方法、装置、电子设备和存储介质
CN112988507B (zh) 业务监控方法、装置、设备、存储介质和计算机程序产品
CN113765685B (zh) 一种异常管理方法及装置
CN118013240A (zh) 源数据的标准化方法及装置、存储介质及电子装置
CN114610541A (zh) 一种数据库备份方法及装置
CN116578587A (zh) 数据处理方法、装置、终端设备及计算机可读存储介质
CN117032922A (zh) 一种作业重跑方法、装置、设备、介质及程序产品
CN115687282A (zh) 一种文件同步方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination