CN113886485A - 数据处理方法、装置、电子设备、系统和存储介质 - Google Patents

Abstract

本发明实施例公开了一种数据处理方法、装置、电子设备、系统和存储介质，该数据处理方法包括：从源服务器获取数据库中表的操作日志，解析该操作日志得到源操作信息，根据该表的配置信息将该源操作信息映射成目标操作信息，将目标操作信息写入目标服务器，以使得目标服务器根据该目标操作信息与源服务器进行实时数据同步，本发明实施例中，目标服务器与源服务器之间可以基于实时的操作日志进行数据同步，因而可以实现数据的实时同步，满足了对数据有实时查询需求的系统的要求。

Description

数据处理方法、装置、电子设备、系统和存储介质

技术领域

本发明涉及数据同步技术，尤其涉及一种数据处理方法、装置、电子设备、系统和存储介质。

背景技术

传统的数据同步方法，通常是在用户请求量少的时间段(比如凌晨)来对前一天的数据进行同步，在实现本发明的过程中，发明人发现，这种数据同步方法同步的数据不具备实时性，无法满足对数据有实时查询需求的系统的要求。

发明内容

本发明实施例提供一种数据处理方法、装置、电子设备、系统和存储介质，能够实现数据的实时同步，满足对数据有实时查询需求的系统的要求。

第一方面，本发明实施例提供一种数据处理方法，所述方法包括：

从源服务器获取数据库中表的操作日志，解析所述操作日志得到源操作信息；

根据所述表的配置信息将所述源操作信息映射成目标操作信息；

将所述目标操作信息写入目标服务器，以使得所述目标服务器根据所述目标操作信息与所述源服务器进行实时数据同步。

第二方面，本发明实施例提供一种数据处理装置，所述装置包括：

获取模块，用于从源服务器获取数据库中表的操作日志，解析所述操作日志得到源操作信息；

映射模块，用于根据所述表的配置信息将所述源操作信息映射成目标操作信息；

同步模块，用于将所述目标操作信息写入目标服务器，以使得所述目标服务器根据所述目标操作信息与所述源服务器进行实时数据同步。

第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明实施例中任一所述的数据处理方法。

第四方面，本发明实施例还提供了一种数据处理系统，包括源服务器、目标服务器以及用于执行本发明实施例中任一所述的数据处理方法的电子设备。

第五方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的数据处理方法。

本发明实施例中，可以从源服务器获取数据库中表的操作日志，解析该操作日志得到源操作信息，根据该表的配置信息将该源操作信息映射成目标操作信息，将目标操作信息写入目标服务器，以使得目标服务器根据该目标操作信息与源服务器进行实时数据同步；即本发明实施例中，目标服务器与源服务器之间可以基于实时的操作日志进行数据同步，因而可以实现数据的实时同步，满足了对数据有实时查询需求的系统的要求；另外，将日志的拉取与解析、信息的映射等功能整合在一台设备上实现，节省了设备资源，简化了系统配置。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明实施例提供的数据处理方法的一个流程示意图。

图2是本发明实施例提供的数据处理方法的另一流程示意图。

图3是本发明实施例提供的数据处理方法的又一流程示意图。

图4是本发明实施例提供的数据处理装置的一个结构示意图。

图5是本发明实施例提供的数据处理系统的一个结构示意图。

图6是本发明实施例提供的电子设备的一个结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

图1为本发明实施例提供的数据处理方法的一个流程示意图，该方法可以由本发明实施例提供的数据处理装置来执行，该装置可采用软件和/或硬件的方式实现。在一个具体的实施例中，该装置可以集成在服务器中，以下实施例将以该装置集成在服务器中为例进行说明。

具体实现中，服务器可以是用于将源服务器中的数据或数据变更同步到目标服务器的同步服务器，其中，源服务器可以是开放源代码的关系型数据库MySQL对应的服务器(即MySQL服务器)，目标服务器可以是用于分布式全文检索的分析引擎Elastic Search对应的服务器(即Elastic Search服务器，简称ES服务器)、远程字典服务Redis数据库对应的服务器(即Redis服务器)、开源数据库HBase对应的服务器(即HBase服务器)等，此处不做具体限定。具体在本发明实施例中，同步服务器中可以搭建Canal框架，Canal可以基于MySQL数据库增量日志解析，提供增量数据订阅和消费，可以将Canal理解为一个用来同步增量数据的工具。

请参考图1，本发明实施例提供的数据处理方法具体可以包括如下步骤：

步骤101，从源服务器获取数据库中表的操作日志，解析该操作日志得到源操作信息。

具体地，该操作日志可以是二进制日志binary log，二进制日志也可叫做变更日志update log，二进制日志是MySQL中非常重要的日志，主要用于记录数据库中表的变更情况，可以通过在配置文件中添加log-bin选项来开启二进制日志。具体实现中，可以订阅源服务器内数据库中的表并监听表操作，当源服务器内数据库中表有更新时，源服务器会按照设置的二进制日志格式，将更新写入到二进制日志文件中，然后创建log dump线程通知其slave节点有更新，当监听到该更新时，同步服务器可以从源服务器获取表的操作日志。具体获取该操作日志的方法可以如下：

(1)将源服务器作为主节点，模拟成源服务器的从节点向源服务器发送日志获取请求。

比如，源服务器为MySQL服务器，则可以将源服务器作为MySQL master节点(主节点)，模拟MySQL slave的交互协议，将自身伪装成MySQL slave节点(从节点)，向源服务器发送dump请求，以请求获取表的操作日志。

(2)接收源服务器返回的操作日志。

具体地，MySQL mater收到dump请求之后，可以获取二进制日志文件的存储位置，根据该存储位置从二进制日志文件中读取二进制日志，并将读取的二进制日志推送给同步服务器，同步服务器接收该二进制日志。

同步服务器接收到的该二进制日志原始为字节byte流格式，同步服务器可以将该二进制日志由字节流格式解析成数组entry格式，从而得到源操作信息，源操作信息中可以包括数据库中表的列名、二进制日志文件名、数据变更类型、变更数据等。

步骤102，根据该表的配置信息将源操作信息映射成目标操作信息。

具体地，源操作信息可以包括两种类型：数据操作语言(Data ManipulationLanguage，DML)类型和数据定义语言(Data Definition Language，DDL)类型。其中，DML类型信息用于变更表中的数据，即DML类型信息的操作对象为记录，DML类型信息包括的主要操作语句可以如下：

Insert语句，比如向表中插入一条记录。

Delete语句：比如删除表中的一条或多条记录，也可以删除表中的所有记录，但是，它的操作对象仍是记录。

Update语句：用于修改已存在表中的记录的内容。

DDL类型的信息用于变更表的结构，即DML类型信息的操作对象为表，DDL类型信息包括的主要操作语句可以如下：

Create语句：比如用于创建表。

Drop语句：比如可以删除表、索引、触发程序、条件约束以及表的权限等。

Alter语句：比如修改表定义及属性。

具体实现中，同步服务器可以先确定该源操作信息的类型，如果该源操作信息为DML类型，则表示该信息涉及表内数据的变更，需要操作目标服务器，则可以根据该表的配置信息将该源操作信息映射成目标操作信息；如果该源操作信息为DDL类型，则表示该信息不涉及表内数据的变更，只涉及表结构的变更，不需要操作目标服务器，则可以打印该源操作信息，比如可以将该源操作通过邮件的形式发送至指定的设备进行日志打印，以使得用户根据打印的日志处理表结构的变更。

当源操作信息为DML类型时，需要操作目标服务器，由于源服务器的数据库中表内字段的命名、格式等会与目标服务器中数据的命名、格式等不同，如果直接将源操作信息写入目标服务器，会不便于数据查看和操作，因而需要将该源操作信息映射成目标操作信息。

具体地，在将该源操作信息映射成目标操作信息之前，可以先获取该表的配置信息，根据该表的配置信息将该源操作信息映射成目标操作信息，表的配置信息可以通过如下两种方式获取：

第一种方式：从配置服务器获取表的配置信息。比如，可以预先在配置服务器中设置每个表的配置信息，每个表的配置信息可以是需要在目标服务器中展示的该表的模板字段，模板字段中可以包括表头、表数据格式等字段，则在得到某个表的源操作信息之后，可以从配置服务器获取该表的配置信息。

第二种方式：从业务实现逻辑中获取表的配置信息。比如，可以预先在业务实现逻辑中绑定各个表的配置信息，则在得到某个表的源操作信息之后，可以从业务实现逻辑中获取该表的配置信息。

第一种配置及获取方式，将同步的实现逻辑和业务的实现逻辑解耦，对业务系统入侵较小，在新表接入时，在配置服务器中设置新表的配置信息即可，对业务实现逻辑的改动量较小，更加轻量化、灵活度高、适配性更好，具体实现中，可以优先选择第一种配置及获取方式。

示例地，所获取的表的配置信息可以为Json格式的配置信息，在获取Json格式的表的配置信息之后，可以将表的配置信息由Json格式转换成Java Bean格式，利用格式转换之后的表的配置信息将源操作信息映射成目标操作信息，以方便数据查阅和操作。

步骤103，将目标操作信息写入目标服务器，以使得目标服务器根据目标操作信息与源服务器进行实时数据同步。

比如，将目标操作信息写入目标服务器之后，目标服务器可以基于该目标操作信息将发生在源服务器中的事件在本地重新执行一遍，例如可以根据目标操作信息在对应表中新增记录、删除记录、修改记录等，以实现目标服务器与源服务器的实时数据同步。通过这种方式，将源服务器中的数据实时同步到了目标服务器，满足了目标服务器下游终端的实时查询需求。

本发明实施例中，在执行步骤101自动进行数据同步之前，还可以通过人工的方式进行同步对齐，比如，可以先将当前时刻之前产生的历史数据采用人工的方式从源服务器同步至目标服务器，同步完成之后，启用本发明实施例的同步服务器进行变更数据自动同步，以提高数据同步的可靠性。

另外，本发明实施例的同步服务器可以有多个，多个同步服务器可以统一注册(比如根据网际互连协议IP地址和端口号port)在ZooKeeper服务器上，形成同步服务器集群，当某个同步服务器出现故障时，可以通过查询ZooKeeper服务器启用其他的同步服务器，以提高同步系统的可靠性。

上述技术方案，可以从源服务器获取数据库中表的操作日志，解析该操作日志得到源操作信息，根据该表的配置信息将该源操作信息映射成目标操作信息，将目标操作信息写入目标服务器，以使得目标服务器根据该目标操作信息与源服务器进行实时数据同步；即本发明实施例中，目标服务器与源服务器之间可以基于实时的操作日志进行数据同步，因而可以实现数据的实时同步，满足了对数据有实时查询需求的系统的要求；另外，将日志的拉取与解析、信息的映射等功能整合在一台设备上实现，节省了设备资源，简化了系统配置。

下面以源服务器为MySQL服务器、目标服务器为ES服务器为例，说明本发明实施例提供的数据处理方法，如图2所示，该数据处理方法仍可用于同步服务器，同步服务器中可以搭建Canal框架，该数据处理方法可包括如下步骤：

步骤201，将MySQL服务器作为主节点，模拟成MySQL服务器的从节点向MySQL服务器发送日志获取请求。

具体地，在执行步骤201自动进行数据同步之前，还可以通过人工的方式进行同步对齐，例如，可以先将当前时刻之前产生的历史数据采用人工的方式从MySQL服务器同步至ES服务器，同步完成之后，启用本发明实施例的同步服务器进行变更数据自动同步，以提高数据处理的可靠性。

比如，同步服务器中可以设置Canal服务端模块和Canal客户端模块，将MySQL服务器作为MySQL master节点(主节点)，由Canal服务端模块模拟MySQL slave的交互协议，将自身伪装成MySQL slave节点(从节点)，向MySQL服务器发送dump请求，以请求获取表的操作日志，该操作日志可以是二进制日志binary log，主要用于记录MySQL数据库中表的变更情况。

步骤202，接收MySQL服务器返回的数据库中表的操作日志。

具体地，MySQL mater收到dump请求之后，可以获取二进制日志文件的存储位置，根据该存储位置从二进制日志文件中读取二进制日志，并将读取的二进制日志推送给MySQL slave节点(即Canal服务端模块)，Canal服务端模块接收该二进制日志。

步骤203，解析该操作日志得到源操作信息。

同步服务器接收到的该二进制日志原始为字节byte流格式，同步服务器可以将该二进制日志由字节流格式解析成数组entry格式，从而得到源操作信息，源操作信息中可以包括数据库中表的列名、二进制日志文件名、数据变更类型、变更数据等。

步骤204，确定源操作信息是否为DML类型，若为DML类型，则执行步骤205，否则，执行步骤208。

具体地，Canal服务端模块可以将解析得到的各个表的源操作信息分发到各个表对应的缓存流中，由Canal客户端模块从对应的缓存流中获取各个表的源操作信息，Canal客户端模块可以确定源操作信息的类型，源操作信息的类型包括DML类型和DDL类型。

其中，DML类型信息用于变更表中的数据，即DML类型信息的操作对象为记录，如果该源操作信息为DML类型，则表示该信息涉及表内数据的变更，需要操作ES服务器；DDL类型的信息用于变更表的结构，即DML类型的信息的操作对象为表，如果该源操作信息为DDL类型，则表示该信息不涉及表内数据的变更，只涉及表结构的变更，不需要操作ES服务器。

步骤205，从配置服务器获取Json格式的该表的配置信息，并将该表的配置信息从Json格式转换成Java Bean格式。

比如，可以预先在配置服务器中设置每个表的配置信息，每个表的配置信息可以是需要在目标服务器中展示该表的模板字段，模板字段中可以包括表头、表数据格式等字段，则在得到某个表的源操作信息之后，可以从配置服务器获取该表的配置信息。所获取的表的配置信息可以为Json格式的配置信息，在获取Json格式的表的配置信息之后，可以将表的配置信息由Json格式转换成Java Bean格式，利用格式转换之后的表的配置信息将源操作信息映射成目标操作信息，以方便数据查阅和操作。

步骤206，根据该表的配置信息将该源操作信息映射成目标操作信息。

由于MySQL服务器的数据库中表内字段的命名、格式等会与ES服务器中数据的命名、格式等不同，如果直接将源操作信息写入ES服务器，会不便于数据查看和操作，因而需要将该源操作信息映射成目标操作信息。

比如，MySQL服务器的数据库中表内字段的命名是以下划线做分割的，例如某交易单号字段命名为transaction_no，则需要按照表的配置信息将其映射成符合目标服务器的命名要求的名称，比如映射成transactionNo。

步骤207，将目标操作信息写入ES服务器，以使得ES服务器根据目标操作信息与MySQL服务器进行实时数据同步。

比如，将目标操作信息写入ES服务器之后，ES服务器可以基于该目标操作信息将发生在MySQL服务器中的事件在本地重新执行一遍，例如可以根据目标操作信息在对应表中新增记录、删除记录、修改记录等，以实现ES服务器与MySQL服务器的实时数据同步，同步至ES服务器中的数据可满足下游终端的实时查询需求。

步骤208，打印源操作信息。

比如，可以将该源操作通过邮件的形式发送至指定的设备进行日志打印，以使得用户根据打印的日志处理表结构的变更。

上述技术方案，可以从源服务器获取数据库中表的操作日志，解析该操作日志得到源操作信息，根据该表的配置信息将该源操作信息映射成目标操作信息，将目标操作信息写入目标服务器，以使得目标服务器根据该目标操作信息与源服务器进行实时数据同步；即本发明实施例中，目标服务器与源服务器之间可以基于实时的操作日志进行数据同步，因而可以实现数据的实时同步，满足了对数据有实时查询需求的系统的要求；另外，将日志的拉取与解析、信息的映射等功能整合在一台设备上实现，节省了设备资源，简化了系统配置。

进一步地，为了提高数据同步的可靠性，还可以在实时同步数据的同时，定时进行数据同步，即如图3所示，本发明实施例的数据处理方法还可以包括以下步骤：

步骤301，将MySQL服务器中存储的数据和ES服务器中存储的数据进行对比，得到差异数据。

比如，可以定时将MySQL服务器中存储的数据和ES服务器中存储的数据进行对比，得到差异数据。例如，可以在每天的用户请求量少的时间段(比如凌晨)，将MySQL服务器存储的数据和ES服务器中存储的数据进行对比，得到差异数据。

步骤302，根据差异数据生成定时同步数据。

比如，当MySQL服务器存储的数据和ES服务器中存储的数据不同时，可以以MySQL服务器中的数据为准，根据该差异数据生成定时同步数据。

步骤303，将定时同步数据写入ES服务器，以使得ES服务器根据定时同步数据与MySQL服务器进行定时数据同步。

通过上述技术方案，将实时同步方案和定时同步方案相结合，保证目标服务器与源服务器中存储的数据相同，进一步提高了数据同步的可靠性。

图4是本发明是实施例提供的数据处理装置的一个结构图，该装置适用于执行本发明实施例提供的数据处理方法。如图4所示，该装置具体可以包括：

获取模块401，用于从源服务器获取数据库中表的操作日志，解析所述操作日志得到源操作信息；

映射模块402，用于根据所述表的配置信息将所述源操作信息映射成目标操作信息；

同步模块403，用于将所述目标操作信息写入目标服务器，以使得所述目标服务器根据所述目标操作信息与所述源服务器进行实时数据同步。

一实施例中，所述获取模块401从源服务器获取数据库中表的操作日志，包括：

将所述源服务器作为主节点，模拟成所述源服务器的从节点向所述源服务器发送日志获取请求；

接收所述源服务器返回的所述操作日志。

一实施例中，所述映射模块402还用于：

确定所述源操作信息的类型；

当所述源操作信息的类型为数据操作语言DML类型时，执行根据所述表的配置信息将所述源操作信息映射成目标操作信息的步骤。

一实施例中，所述映射模块402具体用于：

从配置服务器获取Json格式的所述表的配置信息，并将所述表的配置信息从所述Json格式转换成Java Bean格式；

根据所述Java Bean格式的所述表的配置信息将所述源操作信息映射成所述目标操作信息。

一实施例中，所述同步模块403还用于：

生成定时同步数据；

将所述定时同步数据写入所述目标服务器，以使得所述目标服务器根据所述定时同步数据与所述源服务器进行定时数据同步。

一实施例中，所述同步模块403生成定时同步数据，包括：

将所述源服务器中存储的数据和所述目标服务器中存储的数据进行对比，得到差异数据；

根据所述差异数据生成所述定时同步数据。

本领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述功能模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本发明实施例的装置，可以从源服务器获取数据库中表的操作日志，解析该操作日志得到源操作信息，根据该表的配置信息将该源操作信息映射成目标操作信息，将目标操作信息写入目标服务器，以使得目标服务器根据该目标操作信息与源服务器进行实时数据同步；即本发明实施例中，目标服务器与源服务器之间可以基于实时的操作日志进行数据同步，因而可以实现数据的实时同步，满足了对数据有实时查询需求的系统的要求；另外，将日志的拉取与解析、信息的映射等功能整合在一台设备上实现，节省了设备资源，简化了系统配置。

本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一实施例提供的数据处理方法。

本发明实施例还提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一实施例提供的数据处理方法。

图5示出了可以应用本发明实施例的数据处理方法或数据处理装置的示例性系统架构。

如图5所示，系统架构可以包括源服务器501、目标服务器502以及用于执行如本发明实施例任一所述的数据处理方法的电子设备503，其中，源服务器501可以是MySQL服务器，目标服务器502可以是ES服务器、Redis服务器、HBase服务器等，电子设备503可以是用于将源服务器501的数据或数据变更同步到目标服务器502的同步服务器。

在进行数据同步时，电子设备503可以从源服务器501获取数据库中表的操作日志，解析该操作日志得到源操作信息，根据该表的配置信息将源操作信息映射成目标操作信息，将目标操作信息写入目标服务器502，以使得目标服务器502根据该目标操作信息与源服务器501进行实时数据同步。

另外，系统架构中还可以包括配置服务器，配置服务器用于为电子设备503提供该表的配置信息。

需要说明的是，本发明实施例所提供的数据处理方法一般由电子设备503执行，相应地，数据处理装置一般设置于电子设备503中。

下面参考图6，其示出了适于用来实现本发明实施例的电子设备的计算机系统700的结构示意图。图6示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，计算机系统700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有系统700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块和/或单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块和/或单元也可以设置在处理器中，例如，可以描述为：一种处理器包括获取模块、映射模块和同步模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：从源服务器获取数据库中表的操作日志，解析所述操作日志得到源操作信息；根据所述表的配置信息将所述源操作信息映射成目标操作信息；将所述目标操作信息写入目标服务器，以使得所述目标服务器根据所述目标操作信息与所述源服务器进行实时数据同步。

根据本发明实施例的技术方案，可以从源服务器获取数据库中表的操作日志，解析该操作日志得到源操作信息，根据该表的配置信息将该源操作信息映射成目标操作信息，将目标操作信息写入目标服务器，以使得目标服务器根据该目标操作信息与源服务器进行实时数据同步；即本发明实施例中，目标服务器与源服务器之间可以基于实时的操作日志进行数据同步，因而可以实现数据的实时同步，满足了对数据有实时查询需求的系统的要求；另外，将日志的拉取与解析、信息的映射等功能整合在一台设备上实现，节省了设备资源，简化了系统配置。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (11)

1.一种数据处理方法，其特征在于，包括：

从源服务器获取数据库中表的操作日志，解析所述操作日志得到源操作信息；

根据所述表的配置信息将所述源操作信息映射成目标操作信息；

将所述目标操作信息写入目标服务器，以使得所述目标服务器根据所述目标操作信息与所述源服务器进行实时数据同步。

2.根据权利要求1所述的数据处理方法，其特征在于，所述从源服务器获取数据库中表的操作日志，包括：

将所述源服务器作为主节点，模拟成所述源服务器的从节点向所述源服务器发送日志获取请求；

接收所述源服务器返回的所述操作日志。

3.根据权利要求1所述的数据处理方法，其特征在于，在根据所述表的配置信息将所述源操作信息映射成目标操作信息之前，还包括：

确定所述源操作信息的类型；

当所述源操作信息的类型为数据操作语言DML类型时，执行根据所述表的配置信息将所述源操作信息映射成目标操作信息的步骤。

4.根据权利要求1所述的数据处理方法，其特征在于，所述根据所述表的配置信息将所述源操作信息映射成目标操作信息，包括：

从配置服务器获取Json格式的所述表的配置信息，并将所述表的配置信息从所述Json格式转换成Java Bean格式；

根据所述Java Bean格式的所述表的配置信息将所述源操作信息映射成所述目标操作信息。

5.根据权利要求1所述的数据处理方法，其特征在于，所述方法还包括：

生成定时同步数据；

将所述定时同步数据写入所述目标服务器，以使得所述目标服务器根据所述定时同步数据与所述源服务器进行定时数据同步。

6.根据权利要求5所述的数据处理方法，其特征在于，所述生成定时同步数据，包括：

在预设时刻将所述源服务器中存储的数据和所述目标服务器中存储的数据进行对比，得到差异数据；

根据所述差异数据生成所述定时同步数据。

7.根据权利要求1所述的数据处理方法，其特征在于，所述源服务器包括MySQL服务器，所述目标服务器包括Elastic Search服务器。

8.一种数据处理装置，其特征在于，包括：

获取模块，用于从源服务器获取数据库中表的操作日志，解析所述操作日志得到源操作信息；

映射模块，用于根据所述表的配置信息将所述源操作信息映射成目标操作信息；

同步模块，用于将所述目标操作信息写入目标服务器，以使得所述目标服务器根据所述目标操作信息与所述源服务器进行实时数据同步。

9.一种电子设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7中任一所述的数据处理方法。

10.一种数据处理系统，其特征在于，包括源服务器、目标服务器以及用于执行如权利要求1至7中任一所述的数据处理方法的电子设备。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任一所述的数据处理方法。

Images