CN114416881A - 一种多源数据的实时同步方法、装置、设备及介质 - Google Patents

Abstract

本发明实施例公开了一种多源数据的实时同步方法、装置、设备及介质。其中，该方法包括：若检测到关系型数据库数据变化事件，则将变动数据生成数据变动日志，并将所述数据变动日志写入至临时日志表中；将所述临时日志表中的数据变动日志转化成标准数据格式，并写入到第一消息队列中；对所述第一消息队列中的消息按照预设规则进行定制化加工，并存入第二消息队列中；将所述第二消息队列中的消息分发至目标存储介质的入库处理节点，以完成数据实时同步。本技术方案，可以当关系型数据库数据发生变动时，实时将相应的数据同步至目标存储介质，具有较高的同步效率，并易于确保数据一致性。

Description

一种多源数据的实时同步方法、装置、设备及介质

技术领域

本发明涉及计算机技术领域，尤其涉及一种多源数据的实时同步方法、装置、设备及介质。

背景技术

企业在进行信息化系统建设时，通常使用传统关系型数据库(如Oracle、MySql以及DB2等)作为系统内数据持久化存储和查询方式，随着大数据时代到来，系统存储的数据量大量增加，传统关系型数据库在处理大量数据时，易产生性能瓶颈，影响整个系统吞吐能力，尤其在处理复杂场景时，经常会涉及到多表间的连接操作，更会带来较大性能开销，在某些场景下，甚至不能满足系统性能需求。

目前，通常基于业务场景的数据同步，在系统内部，针对关系型数据库修改操作的每个场景，增加程序代码对其它存储介质进行修改。

但该技术方案需要在每一处业务操作增加对除关系型数据库以外的其它存储截至增加程序代码，该方案的缺点在于较难进行一致性保障，当因需要直接调整数据库数据时，无法将数据变动同步至其他存储介质。

发明内容

本发明提供了一种多源数据的实时同步方法、装置、设备及介质，可以当关系型数据库数据发生变动时，实时将相应的数据同步至目标存储介质，具有较高的同步效率，并易于确保数据一致性。

根据本发明的一方面，提供了一种多源数据的实时同步方法，所述方法包括：

若检测到关系型数据库数据变化事件，则将变动数据生成数据变动日志，并将所述数据变动日志写入至临时日志表中；

将所述临时日志表中的数据变动日志转化成标准数据格式，并写入到第一消息队列中；

对所述第一消息队列中的消息按照预设规则进行定制化加工，并存入第二消息队列中；

将所述第二消息队列中的消息分发至目标存储介质的入库处理节点，以完成数据实时同步。

可选的，将所述临时日志表中的数据变动日志转化成标准数据格式，并写入到第一消息队列中，包括：

对所述临时日志表中的数据变动日志按照协议、数据结构以及数据三部分进行转化，得到标准数据格式；

将标准数据格式的数据写入到第一消息队列中。

可选的，对所述第一消息队列中的消息按照预设规则进行定制化加工，并存入第二消息队列中，包括：

对所述第一消息队列中的消息按照批量翻译处理和批量合并处理，得到数据整合结果，并将所述数据整合结果存入第二消息队列中。

可选的，对所述第一消息队列中的消息按照批量翻译处理的过程，包括：

识别所述临时日志表中的数据变动日志的变动数据字段；

确定所述变动数据字段在目标存储介质中是否存在同名字段；

若不存在，则将所述变动数据字段翻译为所述目标存储介质中的相应字段，得到数据翻译结果。

可选的，对所述第一消息队列中的消息按照批量合并处理的过程，包括：

识别所述临时日志表中的数据变动日志的变动数据是否存在待补充数据信息；

若存在，则将所述待补充数据信息查询并合并至变动数据中，得到数据合并结果。

可选的，所述目标存储介质包括关系型数据库、Redis以及Elasticsearch中的一种或者多种。

可选的，若检测到关系型数据库数据变化事件，则将变动数据生成数据变动日志，包括：

通过数据库触发器实时监控，若监控到数据发生变动，则将变动数据按照数据源说明、数据字段以及数据值格式生成数据变动日志；其中，所述数据源说明包括数据库名称、表名称、数据触发模式、数据操作、触发时间、触发器版本、数据变动版本以及数据主键中的至少一种；所述数据字段包括字段名称及字段类型，所述字段类包括字符串、日期和数字；所述数据值包括具体数值。

根据本发明的另一方面，提供了一种多源数据的实时同步装置，所述装置包括：

数据变动日志生成模块，用于若检测到关系型数据库数据变化事件，则将变动数据生成数据变动日志，并将所述数据变动日志写入至临时日志表中；

数据变动日志转化模块，用于将所述临时日志表中的数据变动日志转化成标准数据格式，并写入到第一消息队列中；

消息加工模块，用于对所述第一消息队列中的消息按照预设规则进行定制化加工，并存入第二消息队列中；

数据实时同步模块，用于将所述第二消息队列中的消息分发至目标存储介质的入库处理节点，以完成数据实时同步。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的多源数据的实时同步方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的多源数据的实时同步方法。

本发明实施例的技术方案，通过若检测到关系型数据库数据变化事件，则将变动数据生成数据变动日志，并将所述数据变动日志写入至临时日志表中；将所述临时日志表中的数据变动日志转化成标准数据格式，并写入到第一消息队列中；对所述第一消息队列中的消息按照预设规则进行定制化加工，并存入第二消息队列中；将所述第二消息队列中的消息分发至目标存储介质的入库处理节点，以完成数据实时同步。本技术方案，可以当关系型数据库数据发生变动时，实时将相应的数据同步至目标存储介质，具有较高的同步效率，并易于确保数据一致性。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例一提供的一种多源数据的实时同步方法的流程图；

图2是根据本发明实施例一提供的多源数据实时同步方法架构图；

图3是根据本发明实施例二提供的多源数据的实时同步方法的流程图；

图4是根据本发明实施例三提供的一种多源数据的实时同步装置的结构示意图；

图5是实现本发明实施例的多源数据的实时同步方法的电子设备的结构示意图；

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”“目标”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

图1为本发明实施例一提供了一种多源数据的实时同步方法的流程图，本实施例可适用于对多源数据进行实时同步的情况，该方法可以由多源数据的实时同步装置来执行，该多源数据的实时同步装置可以采用硬件和/或软件的形式实现，该多源数据的实时同步装置可配置于具有数据处理能力的电子设备中。如图1所示，该方法包括：

S110，若检测到关系型数据库数据变化事件，则将变动数据生成数据变动日志，并将所述数据变动日志写入至临时日志表中。

本实施例的技术方案可以由后台服务器执行，适用于对多源数据进行实时同步的场景。多源数据实时同步方法架构图如图2所示，本实施例中后台服务器可以包含三个应用，数据抽取应用(stevedore-pump)、数据加工应用(stevedore-roboarm)、数据落地应用(stevedore-shelf)。数据抽取应用可以负责监控新产生数据变动日志，转化为标准数据格式(UDS)，并将其写入消息队列(Kafka)中。数据加工应用可以提取消息队列中的标准数据格式，并按需进行数据加工，生成处理后的标准数据格式，将处理后的标准数据格式再次写入消息队列。数据落地应用可以提取标准数据格式，对不同的数据介质进行针对性的存储。此外，可通过监控消息队列中的数据处理情况来确保数据一致性。本实施例的技术方案能够当关系型数据库数据发生变动时，实时将相应的数据同步至目标存储介质，具有较高的同步效率，并易于确保数据一致性。进一步的，本实施例的技术方案可以不基于数据库扫描，无批量操作，因此一方面减少了批量数据库扫描带来的性能开销，一方面分散进行数据同步，极大降低了短时间内的服务器压力，避免批量操作对服务器性能的影响。

其中，关系型数据库指采用关系模型来组织数据的数据库，以行和列的形式存储数据，关系型数据库这一系列的行和列称为表，一组表组成了数据库。关系型数据库可以包括但不限于Oracle、MySql、DB2等数据库。数据变动日志可以是当关系型数据库数据发生变化时，通过触发器将变动数据生成数据变动日志。本实施例中，数据抽取应用包含数据监控、日志数据抽取和标注化报文转换三部分，通过数据库触发器实时监控，若监控到数据发生变动，则将变动数据按照数据源说明、数据字段以及数据值格式生成数据变动日志，并将数据变动日志写入临时日志表中。

S120，将所述临时日志表中的数据变动日志转化成标准数据格式，并写入到第一消息队列中。

其中，所述标准数据格式(Unified Data Schema，简称UDS)，包括协议、数据结构以及数据三部分。标准化数据格式转换用Storm框架实现。Storm为开源的分布式实时大数据处理框架。消息队列(Kafka)是一种高吞吐量的分布式发布订阅消息系统，可以处理消费者在网站中的所有动作流数据。所述第一消息队列可以是ORIGINAL_UDS队列。本实施例中数据抽取应用(stevedore-pump)每秒扫描临时日志表进行数据抽取并将数据批量转换为标准化数据格式UDS，再将数据发送至第一消息队列ORIGINAL_UDS中。

具体的，本实施例中数据抽取应用中的数据抽取程序每秒从日志表中抽取数据进行处理，将数据整合后批量发送到原始数据消息队列中。数据抽取程序可以包含数据抽取、加工、批量发送等几个步骤，数据处理在任意环节出错，数据抽取程序便将数据写回临时日志表，以便进行二次处理，当处理次数超过一定阈值后，便将数据写入错误数据消息队列，并输出日志，以便后续排查错误；数据清理过程与上述过程并行，使用独立的线程监控临时日志表，定期清理已处理过的数据，避免临时日志表数据量过大引起性能瓶颈。数据抽取程序可以在服务器上拥有多个副本，用于提高抽取性能，各副本间通过分布式锁来获取数据处理节点，避免数据重复处理。

S130，对所述第一消息队列中的消息按照预设规则进行定制化加工，并存入第二消息队列中。

其中，预设规则可以包括批量翻译处理和批量合并处理，还可以根据实际需求进行设置。第二消息队列可以是PROCESSED_UDS。本实施例中的数据加工应用提供数据的业务逻辑处理和加工，是可按照实际需求进行定制的应用环节。为简化各应用方的代码开发，数据加工应用提供了两种通用的批量加工工具，一种用于批量的数据翻译，一种用于批量数据合并。本实施例中数据加工应用监控第一消息队列ORIGINAL_UDS中的数据，实时提取数据进行加工，数据加工应用可以根据实际的加工需求进行相关业务的定制化加工，并将加工后的数据存入第二消息队列PROCESSED_UDS中。

S140，将所述第二消息队列中的消息分发至目标存储介质的入库处理节点，以完成数据实时同步。

其中，目标存储介质可以包括关系型数据库、Redis以及Elasticsearch中的一种或者多种。本实施例中数据落地应用按照需求将第二消息队列中的消息分发至不同的入库处理节点，将数据解析至目标存储介质，从而完成数据实时同步。此外，目前已实现向关系型数据库、Redis以及Elasticsearch的入库逻辑，后续可再逐步扩展至其它存储介质。

本实施例中基于数据库触发器实现的数据抽取不需要依赖上层应用扩展，同时数据落地应用也可根据实际的存储媒介定制入库的处理方式，该实时同步方法具有较高的通用性和可扩展性。

本发明实施例的技术方案，通过若检测到关系型数据库数据变化事件，则将变动数据生成数据变动日志，并将所述数据变动日志写入至临时日志表中；将所述临时日志表中的数据变动日志转化成标准数据格式，并写入到第一消息队列中；对所述第一消息队列中的消息按照预设规则进行定制化加工，并存入第二消息队列中；将所述第二消息队列中的消息分发至目标存储介质的入库处理节点，以完成数据实时同步。本技术方案，可以当关系型数据库数据发生变动时，实时将相应的数据同步至目标存储介质，具有较高的同步效率，并易于确保数据一致性。

实施例二

图3为本发明实施例二提供的一种多源数据的实时同步方法的流程图，本实施例以上述实施例为基础进行优化。具体优化为：将所述临时日志表中的数据变动日志转化成标准数据格式，并写入到第一消息队列中，包括：对所述临时日志表中的数据变动日志按照协议、数据结构以及数据三部分进行转化，得到标准数据格式；将标准数据格式的数据写入到第一消息队列中。

如图3所示，本实施例的方法具体包括如下步骤：

S310，若检测到关系型数据库数据变化事件，则将变动数据生成数据变动日志，并将所述数据变动日志写入至临时日志表中。

S320，对所述临时日志表中的数据变动日志按照协议、数据结构以及数据三部分进行转化，得到标准数据格式。

其中，协议对应数据变动日志中的原始数据的数据源说明部分，数据结构对应数据变动日志中原始数据的数据字段部分，数据对应数据变动日志中原始数据的数据值部分。此外，协议用于标识标准数据格式UDS的唯一性，并将其作为数据流转方向的依据，协议中还指定当前批次数据的触发模式，触发模式分为增量触发和初始化触发两种，初始化触发方式的数据具有最高优先级，该方式触发的数据在最终的落地阶段可直接覆盖当前数据，增量触发的数据需要先进行版本号对比，才能确定是否满足入库要求。本实施例中数据抽取应用(pump)每秒扫描临时日志表进行数据抽取并对临时日志表中的数据变动日志按照协议、数据结构以及数据三部分进行转化，得到标准数据格式。

S330，将标准数据格式的数据写入到第一消息队列中。

本实施例中数据抽取应用将转化好的标准数据格式的数据写入到第一消息队列中。

本实施例中，在数据转换过程中，相同数据结构的数据放在同一个标准数据格式UDS中，后续的数据加工便可以通过批量方式进行处理，以此来减少处理频率，优化性能。在标准数据格式UDS的基础上，转换程序可通过判断数据的操作方式和版本号对数据进行去重和合并，降低处理数据的数据量。标准化转换后，将数据发送至原始标准数据格式UDS消息队列中。

S340，对所述第一消息队列中的消息按照批量翻译处理和批量合并处理，得到数据整合结果，并将所述数据整合结果存入第二消息队列中。

其中，批量翻译处理可以是针对原数据所在字段在目标存储介质结构中无同样名称字段，需要替换为目标存储结构中对应字段的情况。批量合并处理可以是针对有数据补充的情况。本实施例中数据加工应用监控第一消息队列ORIGINAL_UDS中的数据，对第一消息队列中的消息可以按照批量翻译和批量合并进行处理，得到数据整合结果并存入第二消息队列中。

本实施例中各应用方若有独有的数据加工逻辑，在数据加工后，可通过数据翻译或数据合并进行数据整合；若无需额外加工计算，可结合自身的实际情况进行翻译或合并处理；若不存在翻译和合并的情况，可直接进入下一应用。经过数据加工应用后的数据将发送至处理后UDS第二消息队列中。

S350，将所述第二消息队列中的消息分发至目标存储介质的入库处理节点，以完成数据实时同步。

本发明实施例的技术方案，直接针对数据库的，与上层系统及业务场景无关，因此对于同一张数据库表，仅需建立一个触发器，同时采用默认逻辑即可完成数据落地(如根据业务需要涉及数据加工，才需编写相应加工代码)，实现简便，大大减少代码量，提高编码速度。同时，当提取规则发生变化时，无需修改所有业务场景代码，仅需按需修改针对该数据库表的同步逻辑即可。

本发明实施例的技术方案。基于数据库触发器，数据同步实时处理，在数据发生变化的时候可直接进行一连串的转化、加工动作，直至落地，与原系统无直接关系，原系统内逻辑代码无需关心数据同步事项。本实施例技术方案能够当关系型数据库数据发生变动时，实时将相应的数据同步至目标存储介质，具有较高的同步效率；采用消息队列、流计算等大数据技术，提高了系统处理和加工数据的效率，并易于确保数据一致性和时效性。

在上述各实施例的基础上，可选的，对所述第一消息队列中的消息按照批量翻译处理的过程，包括：识别所述临时日志表中的数据变动日志的变动数据字段；确定所述变动数据字段在目标存储介质中是否存在同名字段；若不存在，则将所述变动数据字段翻译为所述目标存储介质中的相应字段，得到数据翻译结果。

其中，变动数据字段可以是数据加工应用识别到临时日志表中的数据变动日志的变动数据字段。同名字段可以是同样名称字段。本实施例中，数据加工应用识别临时日志表中的数据变动日志的变动数据字段，确定该变动数据字段在目标存储介质中是否存在同名字段，如果存在，可以不处理；若不存在，将变动数据字段翻译为目标存储介质中的相应字段，得到数据翻译结果。

示例性的，变动数据字段为用户数据中的用户id字段，目标存储结构对应字段为交易员id，数据翻译即需要将用户ID(原字段为ID_USER)翻译为交易员ID(ID_TRADER)。

本方案通过这样的设置，可以根据实际情况进行数据翻译，更易于保证数据一致性。

在上述各实施例的基础上，可选的，对所述第一消息队列中的消息按照批量合并处理的过程，包括：识别所述临时日志表中的数据变动日志的变动数据是否存在待补充数据信息；若存在，则将所述待补充数据信息查询并合并至变动数据中，得到数据合并结果。

其中，待补充数据信息可以是临时日志表中的数据变动日志的变动数据不完整的信息。本实施例中，数据加工应用识别临时日志表中的数据变动日志的变动数据字段是否存在待补充数据信息的情况，如果存在，将待补充数据信息查询出并合并到变动数据中，从而得到数据合并结果。

示例性的，如变动数据为交易数据，在目标存储介质中，需要将交易数据中的产品信息补充完整，此时需要将额外查询出的产品信息合并至标准数据格式UDS中，同时对标准数据格式UDS中的数据结构和数据两部分进行合并，得到数据合并结果。

本方案通过这样的设置，可以根据实际情况进行数据合并，更易于保证数据一致性。

在上述各实施例的基础上，可选的，所述目标存储介质包括关系型数据库、Redis以及Elasticsearch中的一种或者多种。

其中，关系型数据库是指采用关系模型来组织数据的数据库，以行和列的形式存储数据，关系型数据库这一系列的行和列称为表，一组表组成了数据库。Redis(RemoteDictionary Server)，远程字典服务，是一个开源的ANSI C语言编写、遵守BSD协议、支持网络、可基于内存、分布式、可持久性的键值对(Key-Value)存储数据库，并提供多种语言的API。Elasticsearch是一个分布式、高扩展、高实时的搜索与数据分析引擎，能很方便的使大量数据具有搜索、分析和探索的能力。本实施例中目标存储介质可以包括关系型数据库、Redis以及Elasticsearch中的一种或者多种，还可以是其他目标存储介质。

本实施例中，数据落地应用是将处理后的标准数据格式UDS中的数据解析入目标存储介质的环节。应用程序通过标准化数据格式UDS中的协议确定落地存储介质目标，将数据分发至对应的入库节点进行针对性数据解析和存储，可以完成关系型数据库、Redis以及Elasticsearch等存储介质的写入处理。

此外，在写入时为提升性能，各类程序可同时开启多个节点并行处理，此外，为保证数据一致性，除使用初始化模式入库的数据，所有数据在入库时均会进行版本号检查，低于当前数据版本的数据被认为是过期数据，不予进行处理。

本方案通过这样的设置，数据落地应用也可根据实际的存储介质定制入库的处理方式，具有较高的通用性和可扩展性。

在上述各实施例的基础上，可选的，若检测到关系型数据库数据变化事件，则将变动数据生成数据变动日志，包括：通过数据库触发器实时监控，若监控到数据发生变动，则将变动数据按照数据源说明、数据字段以及数据值格式生成数据变动日志；其中，所述数据源说明包括数据库名称、表名称、数据触发模式、数据操作、触发时间、触发器版本、数据变动版本以及数据主键中的至少一种；所述数据字段包括字段名称及字段类型，所述字段类包括字符串、日期和数字；所述数据值包括具体数值。

本实施例中数据的变动使用数据库触发器进行实时监控，触发器将变动数据写入临时日志表中。其中，原始数据采用三段式数据格式：数据源说明|数据字段|数据值，写入临时日志表中。其中，数据源包括该数据所属的数据库名称、表名称、数据触发模式、数据操作、触发时间、触发器版本、数据变动版本、数据主键，用于解释和描述该数据的基本信息；数据字段对应该数据在数据表中的字段名称及字段类型，其中，字段类型抽象成字符串、日期、数字三种类型；数据值即与该条数据当前触发时机所对应的具体数值，需注意，若数据操作为修改，这里取修改后的数值。

本实施例中，数据抽取应用包含数据监控、日志数据抽取和标注化报文转换三部分，数据监控的实现位于数据库层面，日志数据抽取通过自研的开发应用对数据库临时日志表监控来完成，标准数据格式转换用Storm框架实现。

本方案通过这样的设置，基于数据库触发器，数据同步实时处理，在数据发生变化的时候可直接按照格式生成数据变动日志，进一步保证了数据时效性。

实施例三

图4为本发明实施例三提供的一种多源数据的实时同步装置的结构示意图。该装置可执行本发明任意实施例所提供的多源数据的实时同步方法，具备执行方法相应的功能模块和有益效果。如图4所示，该装置包括：

数据变动日志生成模块410，用于若检测到关系型数据库数据变化事件，则将变动数据生成数据变动日志，并将所述数据变动日志写入至临时日志表中；

数据变动日志转化模块420，用于将所述临时日志表中的数据变动日志转化成标准数据格式，并写入到第一消息队列中；

消息加工模块430，用于对所述第一消息队列中的消息按照预设规则进行定制化加工，并存入第二消息队列中；

数据实时同步模块440，用于将所述第二消息队列中的消息分发至目标存储介质的入库处理节点，以完成数据实时同步。

可选的，所述数据变动日志转化模块420，具体用于：

对所述临时日志表中的数据变动日志按照协议、数据结构以及数据三部分进行转化，得到标准数据格式；

将标准数据格式的数据写入到第一消息队列中。

可选的，所述消息加工模块430，具体用于：

对所述第一消息队列中的消息按照批量翻译处理和批量合并处理，得到数据整合结果，并将所述数据整合结果存入第二消息队列中。

可选的，所述消息加工模块430，具体用于：

识别所述临时日志表中的数据变动日志的变动数据字段；

确定所述变动数据字段在目标存储介质中是否存在同名字段；

若不存在，则将所述变动数据字段翻译为所述目标存储介质中的相应字段，得到数据翻译结果。

可选的，所述消息加工模块430，具体用于：

识别所述临时日志表中的数据变动日志的变动数据是否存在待补充数据信息；

若存在，则将所述待补充数据信息查询并合并至变动数据中，得到数据合并结果。

可选的，所述目标存储介质包括关系型数据库、Redis以及Elasticsearch中的一种或者多种。

可选的，数据变动日志生成模块410，具体用于：

通过数据库触发器实时监控，若监控到数据发生变动，则将变动数据按照数据源说明、数据字段以及数据值格式生成数据变动日志；其中，所述数据源说明包括数据库名称、表名称、数据触发模式、数据操作、触发时间、触发器版本、数据变动版本以及数据主键中的至少一种；所述数据字段包括字段名称及字段类型，所述字段类包括字符串、日期和数字；所述数据值包括具体数值。

本发明实施例所提供的一种多源数据的实时同步装置可执行本发明任意实施例所提供的一种多源数据的实时同步方法，具备执行方法相应的功能模块和有益效果。

实施例四

图5示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图5所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如方法多源数据的实时同步。

在一些实施例中，多源数据的实时同步方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的方法多源数据的实时同步的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法多源数据的实时同步。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种多源数据的实时同步方法，其特征在于，所述方法包括：

若检测到关系型数据库数据变化事件，则将变动数据生成数据变动日志，并将所述数据变动日志写入至临时日志表中；

将所述临时日志表中的数据变动日志转化成标准数据格式，并写入到第一消息队列中；

对所述第一消息队列中的消息按照预设规则进行定制化加工，并存入第二消息队列中；

将所述第二消息队列中的消息分发至目标存储介质的入库处理节点，以完成数据实时同步。

2.根据权利要求1所述的方法，其特征在于，将所述临时日志表中的数据变动日志转化成标准数据格式，并写入到第一消息队列中，包括：

对所述临时日志表中的数据变动日志按照协议、数据结构以及数据三部分进行转化，得到标准数据格式；

将标准数据格式的数据写入到第一消息队列中。

3.根据权利要求1所述的方法，其特征在于，对所述第一消息队列中的消息按照预设规则进行定制化加工，并存入第二消息队列中，包括：

对所述第一消息队列中的消息按照批量翻译处理和批量合并处理，得到数据整合结果，并将所述数据整合结果存入第二消息队列中。

4.根据权利要求3所述的方法，其特征在于，对所述第一消息队列中的消息按照批量翻译处理的过程，包括：

识别所述临时日志表中的数据变动日志的变动数据字段；

确定所述变动数据字段在目标存储介质中是否存在同名字段；

若不存在，则将所述变动数据字段翻译为所述目标存储介质中的相应字段，得到数据翻译结果。

5.根据权利要求3所述的方法，其特征在于，对所述第一消息队列中的消息按照批量合并处理的过程，包括：

识别所述临时日志表中的数据变动日志的变动数据是否存在待补充数据信息；

若存在，则将所述待补充数据信息查询并合并至变动数据中，得到数据合并结果。

6.根据权利要求1所述的方法，其特征在于，所述目标存储介质包括关系型数据库、Redis以及Elasticsearch中的一种或者多种。

7.根据权利要求1所述的方法，其特征在于，若检测到关系型数据库数据变化事件，则将变动数据生成数据变动日志，包括：

通过数据库触发器实时监控，若监控到数据发生变动，则将变动数据按照数据源说明、数据字段以及数据值格式生成数据变动日志；其中，所述数据源说明包括数据库名称、表名称、数据触发模式、数据操作、触发时间、触发器版本、数据变动版本以及数据主键中的至少一种；所述数据字段包括字段名称及字段类型，所述字段类包括字符串、日期和数字；所述数据值包括具体数值。

8.一种多源数据的实时同步装置，其特征在于，所述装置包括：

数据变动日志生成模块，用于若检测到关系型数据库数据变化事件，则将变动数据生成数据变动日志，并将所述数据变动日志写入至临时日志表中；

数据变动日志转化模块，用于将所述临时日志表中的数据变动日志转化成标准数据格式，并写入到第一消息队列中；

消息加工模块，用于对所述第一消息队列中的消息按照预设规则进行定制化加工，并存入第二消息队列中；

数据实时同步模块，用于将所述第二消息队列中的消息分发至目标存储介质的入库处理节点，以完成数据实时同步。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的多源数据的实时同步方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的多源数据的实时同步方法。

Images