CN111913973A - 一种数据同步方法、装置及存储介质 - Google Patents

Abstract

本发明实施例提供了一种数据同步方法，应用于第一数据库，包括：在数据发生更新的情况下，向第二数据库发送转接通知信息，该转接通知信息中携带有更新后数据对应的账号；接收该第二数据库根据该转接通知信息反馈的更新后数据获取请求；向该第二数据库提供该账号对应的更新后数据。通过本发明实施例提供的数据更新方法，可以解决不同系统间的数据同步问题。

Description

一种数据同步方法、装置及存储介质

技术领域

本发明涉及信息技术领域，具体涉及一种数据同步方法、装置及存储介质。

背景技术

随着银行等金融机构业务的不断发展，金融核心系统已不足以支撑未来交易量的快速增长。为了解决核心系统无法处理海量交易数据的问题，相关技术采用了以下平台扩容方法，即，由银行等金融机构的核心账务系统承载最关键的资金交易处理，将动账类关键交易保留在AS400等小型机上，将交易量大、消耗资源多的余额、明细、关键字全文检索等查询类迁移到由廉价X86服务器组成的多样服务集群上，从而既完成了系统扩容，又通过引入廉价开放技术平台，降低运营成本，同时维持了系统的稳定。在此背景下，如何保证不同数据库，例如小型机和普通X86开放系统，之间的数据同步，成为现有业务系统亟需解决的问题。

发明内容

本发明提供了一种数据同步方法、装置及存储介质，以解决相关技术中不同数据系统之间的数据同步问题。

本发明实施例提供了一种数据同步方法，应用于第一数据库，包括：

在数据发生更新的情况下，向第二数据库发送转接通知信息，所述转接通知信息中携带有更新后数据对应的账号；

接收所述第二数据库根据所述转接通知信息反馈的更新后数据获取请求；

向所述第二数据库提供所述账号对应的更新后数据。

可选的，所述方法还包括：根据预设周期向所述第二数据库发送数据更新日志；所述数据更新日志用于所述第二数据库进行已存储数据的对比与更新。

可选的，所述方法还包括：在所述第一数据库中存储的所述更新后数据发生错误的情况下，向所述第二数据库发送所述更新后数据获取请求；接收所述第二数据库反馈的所述更新后数据。

可选的，在向所述第二数据库提供所述账号对应的更新后数据之后，所述方法还包括：取消所述账号对应的转接标记。

可选的，所述转接标记存储于Redis数据库中。

本发明实施例还提供了一种数据同步方法，应用于第二数据库，包括：

在数据发生更新的情况下，接收所述第一数据库发送的转接通知信息，所述转接通知信息中携带有更新数据对应的账号；

根据所述转接通知信息向所述第一数据库发送更新后数据获取请求；

接收所述第一数据库提供的所述账号对应的更新后数据。

可选的，所述方法还包括：接收所述第一数据库根据预设周期发送的数据更新日志；根据所述数据更新日志进行已存储数据的对比与更新。

可选的，所述方法还包括：在所述第一数据库中存储的所述更新后数据发生错误的情况下，接收所述第一数据库发送的所述更新后数据获取请求；向所述第一数据库中发送所述更新后的数据。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例中的任意一种方法。

本发明实施例还提供了一种电子装置，包括存储器和处理器，所述处理器通过执行所述存储器中的程序实现本发明实施例中的任意一种方法。

通过本发明实施例提供的数据同步方法，可以解决不同系统间的数据同步问题。

附图说明

图1为本发明实施例提供的一种数据同步方法流程图；

图2为本发明实施例提供的另一种数据同步方法流程图；

图3为本发明实施例提供的又一种数据同步方法示意图；

图4为本发明实施例提供的一种数据同步装置的框架图；

图5为本发明实施例提供的另一种数据同步装置的框架图。

具体实施方法

为使本申请的目的、技术方案和优点更加清楚明白，下文中将结合附图对本申请的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

另外，在本发明实施例中，“可选的”或者“示例性的”等词用于表示作例子、例证或说明。本发明实施例中被描述为“可选的”或者“示例性的”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“可选的”或者“示例性的”等词旨在以具体方式呈现相关概念。

图1为本发明实施例提供的一种数据同步方法流程图，应用于第一数据库，如图1所示，本实施例提供的方法可以包括如下步骤：

S102，在数据发生更新的情况下，向第二数据库发送转接通知消息，该转接通知消息中携带有更新后数据对应的账号；

S104，接收该第二数据库根据该转接通知消息反馈的更新后数据获取请求；

S106，向该第二数据库提供该账号对应的更新后数据。

可选的，将系统数据切分为联机维护数据和批量载入数据，第一数据库保存账户余额等日常联机维护数据主本，第二数据库保存日常联机维护数据副本以及资产管理规模AUM等定期全量载入数据主本。本发明实施例中，第一数据库可以为小型机，第二数据库可以为X86开放平台系统。需要说明的是，第一数据库还可以是小型机以外的其他数据库，第二数据库还可以是X86开放平台系统以外的其他数据库。

当第一数据库中的数据发生变动时，通过发送异步消息队列MQ将变动数据同步到第二数据库。具体的，以小型机系统和X86开放系统为例，可以通过异构数据库访问和交易接入自动转移等多种手段来保持小型机系统和X86开放系统的数据一致性。可选的，当数据发生复杂变化，例如涉及多数据库表变动，小型机将发出转接通知消息，该消息指明凡是涉及某特定账号且访问联机维护数据的交易，均应自动转接到小型机系统。可选的，使用分布式关系数据库体系结构 (Distributed Relational Database Architecture,DRDA)技术，X86系统端将直接访问小型机数据库，将需要转接的账号涉及的余额、明细等全部信息主动拉取到X86系统中，以实现小型机和X86系统两端数据的一致性。需要说明的是，当数据发生简单变化时，也可以使用该异构数据库访问和交易接入自动转移的手段实现不同数据库之间的数据同步。

通过上述方法，可以解决不同系统间的数据同步问题。

可选的，该方法还包括：根据预设周期向该第二数据库发送数据变化日志；该数据变化日志用于该第二数据库进行已存储数据的对比与更新。

为避免数据同步过程中的数据丢失，第一数据库，比如小型机系统，在每日日终将当天发生变化的数据全部导出并发送至第二数据库，比如X86系统，X86 系统使用日终文件对自身数据进行再次比对与更新，以确保本地数据与第一数据库存储的数据一致。

可选的，该方法还包括：在该第一数据库中存储的该更新后数据发生错误的情况下，向该第二数据库发送该更新后数据获取请求；接收该第二数据库反馈的该更新后数据。

由于在多个数据库中均进行了数据备份，因此，当其中一个数据库中的数据发生错误时，可以从其他数据库中获取对应的数据，以实现系统数据恢复。

可选的，在向该第二数据库提供该账号对应的更新后数据之后，还包括：取消该账号对应的转接标记。此后涉及该账号的交易将直接访问第二数据库，比如X86系统。

可选的，将接转标记存储于REmote DIctionary Server(Redis)存储系统中，以提高读写性能。

可选的，当数据发生简单变动时，例如仅数据库单表中的单条记录发生变化，小型机系统将该记录数据完整发送到X86开放系统，X86开放系统接收消息，完成数据同步。即，可以由第一数据库直接向第二数据库发送更新后的数据，而不需要第二数据库到第一数据库去转接获取数据。需要说明的是，当数据发生复杂变化时，也可以使用该方法实现不同数据库之间的数据同步。

可选的，通过在X86集群中引入例如Elastic Search等流行的开源组件，以增强系统的个性化定制能力。X86平台数据库也不再局限于DB2，Oracle、MySQL 等关系型数据库，HBASE、MongoDB等分布式数据库同样可以采用。

图2为本发明实施例提供的另一种数据同步方法流程图，应用于第二数据库，如图2所示，本实施例提供的方法可以包括如下步骤：

S202，在数据发生更新的情况下，接收该第一数据库发送的转接通知消息，该转接通知消息中携带有更新数据对应的账号；

S204，根据该转接通知信息向该第一数据库发送更新后数据获取请求；

S206，接收该第一数据库提供的该账号对应的更新后数据。

通过本发明实施例提供的方法，可以实现不同系统，比如小型机系统与X86 系统，之间的数据同步。

可选的，该方法还包括：接收该第一数据库根据预设周期发送的数据更新日志；根据该数据更新日志进行已存储数据的对比与更新。

为避免数据同步过程中的数据丢失，第一数据库，比如小型机系统，在每日日终将当天发生变化的数据全部导出并发送至第二数据库，比如X86系统，X86 系统使用日终文件对自身数据进行再次比对与更新，以确保本地数据与第一数据库存储的数据一致。

可选的，该方法该方法还包括：在该第一数据库中存储的该更新后数据发生错误的情况下，接收该第一数据库发送的该更新后数据获取请求；向该第一数据库中发送该更新后的数据。

由于在多个数据库中均进行了数据备份，因此，当其中一个数据库中的数据发生错误时，可以从其他数据库中获取对应的数据，以实现系统数据恢复。

图3为本发明实施例提供的又一种数据同步方法示意图，如图3所示，本实施例提供的方法可以包括如下步骤：

1.首先将系统数据切分为联机维护数据和批量载入数据，小型机保存账户余额等日常联机维护数据主本，X86开放平台系统保存日常联机维护数据副本以及AUM等定期全量载入数据主本。

2.当小型机系统数据库数据发生变动时，系统发送异步MQ消息，用于将数据变动同步到X86开放系统。

3.异步消息分为两种，简单消息和接转标志。

当数据发生简单变动，例如仅数据库单表中的单条记录发生变化，小型机系统将该记录数据完整发送到X86开放系统，X86开放系统接收消息，完成数据同步。

当数据发生复杂变化，例如涉及多数据库表变动，小型机将发出接转标志消息，该消息将指明，凡是涉及某账号，且访问联机维护数据的交易，均应自动转接到小型机系统。接转标志存储于Redis中，极大提高读写性能。

4.使用DRDA技术，在X86系统端，直接访问小型机数据库，将需要接转的账号涉及的余额、明细等全部信息主动拉取到X86系统中，以实现小型机和X86 系统两端数据的一致性。同时取消该账号在Redis中的接转标志，此后涉及该账号的交易将直接访问X86系统本地。

5.为避免异步消息发生丢失引起数据不一致，每日日终，小型机系统在系统空闲时，将当天发生变化的数据，进行文件导出，并发送至X86系统，X86系统使用日终文件对自身数据进行比对，更新。

6.通过上述方法，最终实现不同系统间的数据同步。通过在X86集群中引入各流行的开源组件，可以方便实现个性化需求，X86平台数据库也不再局限于 DB2，Oracle、MySQL等关系型数据库，HBASE、MongoDB等分布式数据库同样可以采用。

图4为本发明实施例提供的一种数据同步装置的框架图，应用于第一数据库，如图4所示，本实施例提供的装置可以包括第一发送模块42、第一接收模块44和提供模块46，其中，

该第一发送模块42，用于在数据发生更新的情况下，向第二数据库发送转接通知信息，该转接通知信息中携带有更新后数据对应的账号；

该第一接收模块44，用于接收该第二数据库根据该转接通知信息反馈的更新后数据获取请求；

该提供模块46，用于向该第二数据库提供该账号对应的更新后数据。

可选的，该装置还包括第二发送模块，用于根据预设周期向该第二数据库发送数据更新日志；该数据更新日志用于该第二数据库进行已存储数据的对比与更新。

可选的，该装置还包括第三发送模块和第二接收模块，其中，该第三发送模块，用于在该第一数据库中存储的该更新后数据发生错误的情况下，向该第二数据库发送该更新后数据获取请求；该第二接收模块，用于接收该第二数据库反馈的该更新后数据。

可选的，该装置还包括取消模块，用于在向该第二数据库提供该账号对应的更新后数据之后，取消该账号对应的转接标记。

可选的，该转接标记存储于Redis数据库中。

图5为本发明实施例提供的另一种数据同步装置的框架图，应用于第二数据库，如图5所示，本实施例提供的装置包括第一接收模块52、第一发送模块54 和第二接收模块56，其中，

该第一接收模块52，用于在数据发生更新的情况下，接收该第一数据库发送的转接通知信息，该转接通知信息中携带有更新数据对应的账号；

该第一发送模块54，用于根据该转接通知信息向该第一数据库发送更新后数据获取请求；

该第二接收模块56，接收该第一数据库提供的该账号对应的更新后数据。

可选的，该装置还包括第三接收模块和更新模块，其中，该第三接收模块，用于接收该第一数据库根据预设周期发送的数据更新日志；该更新模块，用于根据该数据更新日志进行已存储数据的对比与更新。

可选的，所装置述还包括第四接收模块和第二发送模块，其中，该第四接收模块，用于在该第一数据库中存储的该更新后数据发生错误的情况下，接收该第一数据库发送的该更新后数据获取请求；该第二发送模块，用于向该第一数据库中发送该更新后的数据。

本发明实施例还提供了一种电子装置，该电子装置包括处理器和存储器；电子装置中处理器的数量可以是一个或多个，存储器作为一种计算机可读存储介质，可用于存储计算机可执行程序。处理器通过运行存储在存储器中的软件程序、指令，从而执行电子装置的各种功能应用以及数据处理，即实现上述任一实施例中的方法。

本申请实施例还提供一种包含计算机可执行指令的存储介质，计算机可执行指令在由计算机处理器执行时实现上述任一实施例中的方法。

可选的，处理器通过执行指令实现一种数据同步方法，应用于第一数据库，该方法包括：

S1，在数据发生更新的情况下，向第二数据库发送转接通知信息，该转接通知信息中携带有更新后数据对应的账号；

S2，接收该第二数据库根据该转接通知信息反馈的更新后数据获取请求；

S3，向该第二数据库提供该账号对应的更新后数据。

以上仅为本申请的示例性实施例而已，并非用于限定本申请的保护范围。

一般来说，本申请的多种实施例可以在硬件或专用电路、软件、逻辑或其任何组合中实现。例如，一些方面可以被实现在硬件中，而其它方面可以被实现在可以被控制器、微处理器或其它计算装置执行的固件或软件中，尽管本申请不限于此。

本申请的实施例可以通过移动装置的数据处理器执行计算机程序指令来实现，例如在处理器实体中，或者通过硬件，或者通过软件和硬件的组合。计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码。

本申请附图中的任何逻辑流程的框图可以表示程序步骤，或者可以表示相互连接的逻辑电路、模块和功能，或者可以表示程序步骤与逻辑电路、模块和功能的组合。计算机程序可以存储在存储器上。存储器可以具有任何适合于本地技术环境的类型并且可以使用任何适合的数据存储技术实现，例如但不限于只读存储器(ROM)、随机访问存储器(RAM)、光存储器装置和系统(数码多功能光碟DVD或 CD光盘)等。计算机可读介质可以包括非瞬时性存储介质。数据处理器可以是任何适合于本地技术环境的类型，例如但不限于通用计算机、专用计算机、微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、可编程逻辑器件(FGPA)以及基于多核处理器架构的处理器。

通过示范性和非限制性的示例，上文已提供了对本申请的示范实施例的详细描述。但结合附图和权利要求来考虑，对以上实施例的多种修改和调整对本领域技术人员来说是显而易见的，但不偏离本发明的范围。因此，本发明的恰当范围将根据权利要求确定。

Claims (10)

1.一种数据同步方法，应用于第一数据库，其特征在于，包括：

在数据发生更新的情况下，向第二数据库发送转接通知消息，所述转接通知消息中携带有更新后数据对应的账号；

接收所述第二数据库根据所述转接通知消息反馈的更新后数据获取请求；

向所述第二数据库提供所述账号对应的更新后数据。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

根据预设周期向所述第二数据库发送数据更新日志；

所述数据更新日志用于所述第二数据库进行已存储数据的对比与更新。

3.如权利要求1或2所述的方法，其特征在于，所述方法还包括：

在所述第一数据库中存储的所述更新后数据发生错误的情况下，向所述第二数据库发送所述更新后数据获取请求；

接收所述第二数据库反馈的所述更新后数据。

4.如权利要求1或2所述的方法，其特征在于，在向所述第二数据库提供所述账号对应的更新后数据之后，所述方法还包括：

取消所述账号对应的转接标记。

5.如权利要求4所述的方法，其特征在于，所述转接标记存储于Redis数据库中。

6.一种数据同步方法，应用于第二数据库，其特征在于，包括：

在数据发生更新的情况下，接收所述第一数据库发送的转接通知消息，所述转接通知消息中携带有更新数据对应的账号；

根据所述转接通知信息向所述第一数据库发送更新后数据获取请求；

接收所述第一数据库提供的所述账号对应的更新后数据。

7.如权利要求6所述的方法，其特征在于，所述方法还包括：

接收所述第一数据库根据预设周期发送的数据更新日志；

根据所述数据更新日志进行已存储数据的对比与更新。

8.如权利要求6或7所述的方法，其特征在于，所述方法还包括：

在所述第一数据库中存储的所述更新后数据发生错误的情况下，接收所述第一数据库发送的所述更新后数据获取请求；

向所述第一数据库中发送所述更新后的数据。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-5或6-8中任一项所述的方法。

10.一种电子装置，包括存储器和处理器，其特征在于，所述处理器通过执行所述存储器中的计算机程序实现如权利要求1-5或6-8中任一项所述的方法。

Images