CN111752939A - 用于多个系统的数据处理方法、装置、计算机系统、介质 - Google Patents

Abstract

本公开提供一种用于多个系统的数据处理方法，每个所述系统对应的数据是分库分表存储的，所述方法包括：监听所述多个系统中的至少一个系统是否发生数据操作，所述数据操作包括变更所述至少一个系统对应的数据；在所述至少一个系统发生数据操作的情况下，获取所述数据操作针对的数据所属系统的系统标识、所属数据库的库标识、所属数据表的表标识以及所属主键的主键标识；基于所述系统标识、库标识、表标识和主键标识获取相应变更数据；基于所述系统标识确定与所述系统标识对应的搜索引擎，并将所述变更数据同步到所述搜索引擎中。

Description

用于多个系统的数据处理方法、装置、计算机系统、介质

技术领域

本公开涉及计算机技术领域，更具体地，涉及一种用于多个系统的数据处理方法、一种用于多个系统的数据处理装置、一种计算机系统、以及一种计算机可读存储介质。

背景技术

在互联网应用中，为了应对高访问量、高并发的数据访问场景，通常通过系统拆分、数据库拆分、业务数据表拆分等手段将数据进行分表分库存储。在数据拆分之后，为了实现多数据源(即分表分库存储)的检索，通常需要将系统对应的数据存储在搜索引擎中。在分表中的数据变更时，需要将变更数据同步到搜索引擎中。但是每个系统各自开发相应的同步程序，使得同步程序的通用性差，复用度低。因此，如何提高不同系统中数据同步的便捷性，以及降低系统的数据同步的开发成本成为目前亟需解决的问题。

在实现本公开构思的过程中，发明人发现现有技术中至少存在如下问题，现有技术中在将不同系统中的变更数据同步到搜索引擎中时，每个系统各自开发相应的同步程序，使得同步程序的通用性差，复用度低。

发明内容

有鉴于此，本公开提供了一种优化的用于多个系统的数据处理方法和用于多个系统的数据处理装置。

本公开的一个方面提供了一种用于多个系统的数据处理方法，每个所述系统对应的数据是分库分表存储的，所述方法包括：监听所述多个系统中的至少一个系统是否发生数据操作，所述数据操作包括变更所述至少一个系统对应的数据，在所述至少一个系统发生数据操作的情况下，获取所述数据操作针对的数据所属系统的系统标识、所属数据库的库标识、所属数据表的表标识以及所属主键的主键标识，基于所述系统标识、库标识、表标识和主键标识获取相应变更数据，基于所述系统标识确定与所述系统标识对应的搜索引擎，并将所述变更数据同步到所述搜索引擎中。

根据本公开的实施例，上述监听所述多个系统中的至少一个系统是否发生数据操作，包括：监听所述多个系统中的至少一个系统的多个数据库的数据库日志是否更新。

根据本公开的实施例，上述基于所述系统标识、库标识、表标识和主键标识获取相应变更数据，包括：根据第一配置表，确定与所述系统标识和所述库标识对应的链接信息，基于所述链接信息与相应数据库建立连接，基于所述表标识和主键标识从建立连接的数据库中获取相应变更数据。

根据本公开的实施例，上述基于所述系统标识确定与所述系统标识对应的搜索引擎，并将所述变更数据同步到所述搜索引擎中，包括：根据第二配置表，确定与所述系统标识对应的搜索引擎的配置信息，基于所述配置信息与相应搜索引擎建立连接，将所述变更数据同步到建立连接的搜索引擎中。

根据本公开的实施例，上述方法还包括：以队列格式依次存储每次数据操作对应的系统标识、库标识、表标识和主键标识。所述基于所述系统标识、库标识、表标识和主键标识获取相应变更数据，包括：从所述队列提取一组系统标识、库标识、表标识和主键标识，基于所述系统标识、库标识、表标识和主键标识获取相应变更数据。

本公开的另一个方面提供了一种用于多个系统的数据处理装置，每个所述系统对应的数据是分库分表存储的，所述装置包括：监听模块、第一获取模块、第二获取模块、同步模块。其中，监听模块监听所述多个系统中的至少一个系统是否发生数据操作，所述数据操作包括变更所述至少一个系统对应的数据，第一获取模块在所述至少一个系统发生数据操作的情况下，获取所述数据操作针对的数据所属系统的系统标识、所属数据库的库标识、所属数据表的表标识以及所属主键的主键标识，第二获取模块基于所述系统标识、库标识、表标识和主键标识获取相应变更数据，同步模块基于所述系统标识确定与所述系统标识对应的搜索引擎，并将所述变更数据同步到所述搜索引擎中。

根据本公开的实施例，上述监听所述多个系统中的至少一个系统是否发生数据操作，包括：监听所述多个系统中的至少一个系统的多个数据库的数据库日志是否更新。

根据本公开的实施例，上述第二获取模块包括第一确定子模块、第一建立连接子模块、获取子模块。其中，第一确定子模块根据第一配置表，确定与所述系统标识和所述库标识对应的链接信息，第一建立连接子模块基于所述链接信息与相应数据库建立连接，获取子模块基于所述表标识和主键标识从建立连接的数据库中获取相应变更数据。

根据本公开的实施例，上述同步模块包括第二确定子模块、第二建立连接子模块、同步子模块。其中，第二确定子模块根据第二配置表，确定与所述系统标识对应的搜索引擎的配置信息，第二建立连接子模块基于所述配置信息与相应搜索引擎建立连接，同步子模块将所述变更数据同步到建立连接的搜索引擎中。

根据本公开的实施例，上述装置还包括：存储模块，以队列格式依次存储每次数据操作对应的系统标识、库标识、表标识和主键标识。所述基于所述系统标识、库标识、表标识和主键标识获取相应变更数据，包括：从所述队列提取一组系统标识、库标识、表标识和主键标识，基于所述系统标识、库标识、表标识和主键标识获取相应变更数据。

本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。

本公开的另一方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。

根据本公开的实施例，可以至少部分地解决现有技术中在将系统中的变更数据同步到搜索引擎中时，每个系统各自开发相应的同步程序，使得同步程序的通用性差，复用度低的问题，并因此可以实现提高不同系统中数据同步的便捷性，以及降低系统的数据同步的开发成本的技术效果。

附图说明

通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：

图1示意性示出了根据本公开实施例的用于多个系统的数据处理方法和用于多个系统的数据处理系统的系统架构；

图2示意性示出了根据本公开实施例的用于多个系统的数据处理方法和用于多个系统的数据处理系统的应用场景；

图3示意性示出了根据本公开实施例的用于多个系统的数据处理方法的流程图；

图4示意性示出了根据本公开实施例的获取变更数据的流程图；

图5示意性示出了根据本公开实施例的同步变更数据的流程图；

图6示意性示出了根据本公开另一实施例的用于多个系统的数据处理方法的流程图；

图7示意性示出了根据本公开实施例的用于多个系统的数据处理装置的框图；

图8示意性示出了根据本公开实施例的第二获取模块的框图；

图9示意性示出了根据本公开实施例的同步模块的框图；

图10示意性示出了根据本公开另一实施例的用于多个系统的数据处理装置的框图；以及

图11示意性示出了根据本公开实施例的适于用于多个系统的数据处理的计算机系统的方框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。

本公开的实施例提供了一种用于多个系统的数据处理方法，每个系统对应的数据是分库分表存储的，该方法包括：监听多个系统中的至少一个系统是否发生数据操作，数据操作包括变更至少一个系统对应的数据，在至少一个系统发生数据操作的情况下，获取数据操作针对的数据所属系统的系统标识、所属数据库的库标识、所属数据表的表标识以及所属主键的主键标识，基于系统标识、库标识、表标识和主键标识获取相应变更数据，基于系统标识确定与系统标识对应的搜索引擎，并将变更数据同步到搜索引擎中。

图1示意性示出了根据本公开实施例的用于多个系统的数据处理方法和用于多个系统的数据处理系统的系统架构。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。

需要说明的是，本公开实施例所提供的用于多个系统的数据处理方法一般可以由服务器105执行。相应地，本公开实施例所提供的用于多个系统的数据处理装置一般可以设置于服务器105中。本公开实施例所提供的用于多个系统的数据处理方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的用于多个系统的数据处理装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。

例如，本公开实施例获取的数据操作针对的数据所属系统的系统标识、所属数据库的库标识、所属数据表的表标识以及所属主键的主键标识可以存储在终端设备101、102、103中，通过终端设备101、102、103将数据操作针对的数据所属系统的系统标识、所属数据库的库标识、所属数据表的表标识以及所属主键的主键标识发送至服务器105中，服务器105可以基于系统标识、库标识、表标识和主键标识获取相应变更数据，并基于系统标识确定与系统标识对应的搜索引擎，并将变更数据同步到搜索引擎中。或者，终端设备101、102、103也可以直接基于系统标识、库标识、表标识和主键标识获取相应变更数据，并基于系统标识确定与系统标识对应的搜索引擎，并将变更数据同步到搜索引擎中。另外，获取的数据操作针对的数据所属系统的系统标识、所属数据库的库标识、所属数据表的表标识以及所属主键的主键标识还可以直接存储在服务器105中，由服务器105直接基于系统标识、库标识、表标识和主键标识获取相应变更数据，并基于系统标识确定与系统标识对应的搜索引擎，并将变更数据同步到搜索引擎中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

图2示意性示出了根据本公开实施例的用于多个系统的数据处理方法和用于多个系统的数据处理系统的应用场景。需要注意的是，图2所示仅为可以应用本公开实施例的场景的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

如图2所示，以订单系统为例，该应用场景200例如可以包括多个订单系统，例如包括A订单系统210、B订单系统220。

其中，每个订单系统例如包括用于存储数据的多个数据库，并且每个订单系统例如包括将数据写入多个数据库的入库路由单元。例如，A订单系统210包括数据库212、数据库213等，由A订单系统210的A订单入库路由单元211将数据写入数据库212或数据库213中。B订单系统220包括数据库222、数据库223等，由B订单系统220的B订单入库路由单元221将数据写入数据库222或数据库223中。其中，每个数据库还可以包括多个数据表，每个数据表用于存储所属数据库的数据。

根据本公开实施例，该应用场景200例如还包括监听模块230、同步模块240以及多个搜索引擎(多个搜索引擎例如包括与A订单系统210对应的A搜索引擎250、与B订单系统220对应的B搜索引擎260)。其中，监听模块230例如用于监听A订单系统210和B订单系统220中的多个数据库是否有数据变更，数据变更例如包括数据的新增、删除、修改等等。在监听模块230监听到A订单系统210或者B订单系统220中发生数据变更时，由同步模块240从发生数据变更的数据库中获取变更数据，并将变更数据同步到相应的搜索引擎中。例如，当监听模块230监听到A订单系统210中的数据库212发生数据变更时，由同步模块240从数据库212中获取变更数据，并将变更数据同步到A搜索引擎250中。

根据本公开实施例，搜索引擎例如可以包括ElasticSearch(ES搜索引擎)或者Solr搜索引擎等等。

本公开实施例可以通过一个同步模块将不同系统的变更数据同步到相应的搜索引擎中，提高了不同系统中数据同步的便捷性，降低了多个系统的数据同步的开发成本。

图3示意性示出了根据本公开实施例的用于多个系统的数据处理方法的流程图。

如图3所示，该方法包括操作S310～S340。

在操作S310，监听多个系统中的至少一个系统是否发生数据操作，数据操作包括变更至少一个系统对应的数据。

根据本公开实施例，以多个订单系统为例，每个订单系统例如可以包括多个用于存储数据的数据库，每个数据库可以包括多个数据表。其中，系统中发生数据操作例如可以是相应数据库中发生数据的新增、删除、修改等。

在本公开实施例中，监听至少一个系统是否发生数据操作例如包括：监听多个系统中的至少一个系统的多个数据库的数据库日志是否更新。

根据本公开实施例，当数据库发生数据变更时，数据变更所属的数据库中的数据库日志会发生更新。因此，可以通过监听订单系统中的数据库的数据库日志是否更新来确定订单系统是否发生数据操作。例如，通过监听数据库的二进制日志(Binlog日志)是否更新来确定相应系统是否发生数据操作。

对于一个订单系统来说，一个订单系统例如包括多个数据库，该多个数据库例如包括一个主数据库和多个从数据库。此时，可以同时监听主数据库和多个从数据库的数据库日志是否更新。

或者，在一个订单系统中的多个数据库满足主从复制机制时，通过监听从数据库的数据库日志是否更新来确定所属系统是否发生数据操作。具体地，对于一个系统来说，主从复制机制例如可以是，将主数据中发生数据更新的数据库日志写入从数据库中，此时从数据库发生数据更新，使得从数据库的数据库日志更新，并且从数据库中所更新的数据库日志中包括主数据库发生更新的数据库日志。因此，监听系统中多个数据库的数据库日志是否更新可以由监听该系统的从数据库的数据库日志是否更新来实现。

在操作S320，在至少一个系统发生数据操作的情况下，获取数据操作针对的数据所属系统的系统标识、所属数据库的库标识、所属数据表的表标识以及所属主键的主键标识。

根据本公开实施例，例如在系统的多个数据库的数据库日志存在更新的情况下，表明该系统发生了数据操作。并且，数据库日志中包含了发生数据操作的相关信息，例如，该相关信息包括数据操作所属系统的系统标识、所属数据库的库标识、所属数据表的表标识以及所属主键的主键标识等等。此时，可以从存在更新的数据库的数据库日志中获取数据操作的相关信息。

在操作S330，基于系统标识、库标识、表标识和主键标识获取相应变更数据。

根据本公开实施例，在数据库的数据库日志发生更新时，表明数据库所属系统发生了数据操作。具体地，数据操作一般是针对相应系统中的相应数据库，而一个数据库中例如包括多个数据表，数据操作还针对数据库中的相应数据表，并且一个数据表例如包括多个主键，操作数据还针对数据表中的相应主键。因此，一条数据操作所针对的系统标识、库标识、表标识和主键标识可以从数据库日志中获取，并基于系统标识、库标识、表标识和主键标识从多个系统中检索该数据操作针对的系统、数据库、数据表、主键，并获取该数据操作所形成的更新数据。

在操作S340，基于系统标识确定与系统标识对应的搜索引擎，并将变更数据同步到搜索引擎中。

根据本公开实施例，一个系统例如对应一个搜索引擎，系统与该系统对应的搜索引擎具有对应关系。当系统中发生数据操作的情况下，需要将该系统的变更数据同步到与该系统对应的搜索引擎中。具体地，系统的系统标识与该系统对应的搜索引擎具有对应关系，当系统发生数据操作时，基于系统标识确定对应的搜索引擎，并将该系统的变更数据同步到对应的搜索引擎中。

本公开实施例可以同时监听不同系统是否发生数据操作，并在相应系统发生数据操作的情况下，将该系统中的变更数据同步到与该系统对应的搜索引擎中，提高了不同系统中数据同步的便捷性，降低了多个系统的数据同步的开发成本。

图4示意性示出了根据本公开实施例的获取变更数据的流程图。

如图4所示，操作S330包括操作S331～S333。

在操作S331，根据第一配置表，确定与系统标识和库标识对应的链接信息。

根据本公开实施例，在确定了发生数据操作所针对的系统、数据库、数据表、主键之后，需要与发生数据操作的数据库建立连接。其中，第一配置表中包括不同系统的系统标识、数据库的库标识，以及相应的链接信息。首先确定发生数据操作的数据库以及数据库所属的系统，并基于发生数据操作的系统标识和库标识确定链接信息。其中，基于链接信息可以与发生数据操作的数据库建立连接。例如表1所示，链接信息例如包括数据库的IP、端口、数据库库名、用户名、密码等等。

表1

主键	系统标识	数据库IP	端口	库名	用户名	密码
							1	a_order_system	127.0.0.1	1000	a_db1	user1	111111
2	a_order_system	127.0.0.2	1000	a_db2	user2	222222
							3	b_order_system	127.0.0.1	1000	b_db1	user1	111111
4	b_order_system	127.0.0.2	1000	b_db2	user2	222222

在操作S332，基于链接信息与相应数据库建立连接。

根据本公开实施例，在获取链接信息之后，可以基于该链接信息与发生数据操作的数据库建立连接，以从该数据库中读取变更数据。

在操作S333，基于表标识和主键标识从建立连接的数据库中获取相应变更数据。

根据本公开实施例，由于发生数据操作的数据库可能存在多个数据表，并且每个数据表一般包括多个主键，一条变更数据一般为一个数据表中的一个主键所对应的数据。因此，在与发生数据操作的数据库建立连接后，可以基于数据表的表标识找到数据库中变更数据所在的数据表，并基于主键标识找到变更数据所在的数据表中的主键，以基于该主键获取相应的变更数据。

图5示意性示出了根据本公开实施例的同步变更数据的流程图。

如图5所示，操作S340包括操作S341～S343。

在操作S341，根据第二配置表，确定与系统标识对应的搜索引擎的配置信息。

根据本公开实施例，在获取到变更数据之后，需要将变更数据同步到与该变更数据所在的系统对应的搜索引擎中。因此，需要与该对应的搜索引擎建立连接，以便将该变更数据同步到所建立连接的搜索引擎中。其中，第二配置表例如包括系统标识以及与系统标识对应的搜索引擎的配置信息，基于该配置信息能够与相应的搜索引擎建立连接。如表2所示，该配置信息例如可以包括搜索引擎的集群名、搜索引擎的链接地址、搜索引擎的IP以及端口、搜索引擎的名称、搜索引擎的索引类型等等。

表2

在操作S342，基于配置信息与相应搜索引擎建立连接。

根据本公开实施例，在获取配置信息之后，可以基于该配置信息与发生数据操作的系统对应的搜索引擎建立连接，以将系统中的变更数据同步到对应的搜索引擎中。

在操作S343，将变更数据同步到建立连接的搜索引擎中。

在本公开实施例中，在与相应的搜索引擎建立连接后，将所获取的变更数据同步到所建立连接的搜索引擎中。具体的，一条存储在系统数据表中的变更数据，包括多个数据表字段以及每个字段对应的值。搜索引擎中也包括多个字段，在将数据表中的变更数据同步到搜索引擎中时，需要将数据表中的每个字段对应的值同步到搜索引擎对应的字段位置，因此，需要数据表中的每个字段与搜索引擎的字段相互对应。

但是，在实际应用中，数据表中的每个字段与搜索引擎的对应字段可能不完全一致，因此，通过将数据表中的每个字段与搜索引擎的对应字段建立映射，形成映射表。在将数据表中的变更数据同步到搜索引擎中时，可以从映射表中确定与数据表中的字段对应的搜索引擎的字段，并将数据表中的字段对应的值同步到搜索引擎对应的字段位置。

图6示意性示出了根据本公开另一实施例的用于多个系统的数据处理方法的流程图。

如图6所示，该方法包括操作S310～S340以及操作S610。其中，操作S310～S340与上参考图3中描述的操作相同或类似，在此不再赘述。

在操作S610，以队列格式依次存储每次数据操作对应的系统标识、库标识、表标识和主键标识。

根据本公开实施例，系统每次发生数据操作时，发生数据操作的系统中对应的数据库日志发生改变，该数据库日志中包括数据操作的系统标识、库标识、表标识和主键标识。不论监听到哪个系统发生数据操作，都将每次的数据操作对应的系统标识、库标识、表标识和主键标识以组的形式存储至队列中。

具体地，可以将数据操作产生的数据库日志组装成队列信息，并将队列信息发送到队列中，该数据库日志中包括数据操作的系统标识、库标识、表标识和主键标识。

其中，操作S330包括从队列提取一组系统标识、库标识、表标识和主键标识，基于系统标识、库标识、表标识和主键标识获取相应变更数据。

在需要获取变更数据时，从队列中提取一组系统标识、库标识、表标识和主键标识。例如从队列中提取包括数据库日志的队列消息，并从该数据库日志中获取一组系统标识、库标识、表标识和主键标识(还可以包括操作类型，例如包括数据的新增、删除、修改等等)，并基于所提取的系统标识、库标识、表标识、主键标识、操作类型获取变更数据。

本公开实施例可以同时监听不同系统是否发生数据操作，并在相应系统发生数据操作的情况下，将该系统中的变更数据同步到与该系统对应的搜索引擎中，不同系统的数据同步功能的通用性更强。即，通过本方案实现提高了不同系统中数据同步的便捷性，降低了多个系统的数据同步的开发成本，并且能够降低数据同步的延时，提升用户的体验。

图7示意性示出了根据本公开实施例的用于多个系统的数据处理装置的框图。

如图7所示，用于多个系统的数据处理装置700包括监听模块710、第一获取模块720、第二获取模块730以及同步模块740。

监听模块710可以用于监听多个系统中的至少一个系统是否发生数据操作，数据操作包括变更至少一个系统对应的数据。

根据本公开实施例，监听多个系统中的至少一个系统是否发生数据操作，包括：监听多个系统中的至少一个系统的多个数据库的数据库日志是否更新。

根据本公开实施例，监听模块710例如可以执行上文参考图3描述的操作S310，在此不再赘述。

第一获取模块720可以用于在至少一个系统发生数据操作的情况下，获取数据操作针对的数据所属系统的系统标识、所属数据库的库标识、所属数据表的表标识以及所属主键的主键标识。根据本公开实施例，第一获取模块720例如可以执行上文参考图3描述的操作S320，在此不再赘述。

第二获取模块730可以用于基于系统标识、库标识、表标识和主键标识获取相应变更数据。根据本公开实施例，第二获取模块730例如可以执行上文参考图3描述的操作S330，在此不再赘述。

同步模块740可以用于基于系统标识确定与系统标识对应的搜索引擎，并将变更数据同步到搜索引擎中。根据本公开实施例，同步模块740例如可以执行上文参考图3描述的操作S340，在此不再赘述。

图8示意性示出了根据本公开实施例的第二获取模块的框图。

如图8所示，第二获取模块730包括第一确定子模块731、第一建立连接子模块732以及获取子模块733。

第一确定子模块731可以用于根据第一配置表，确定与系统标识和库标识对应的链接信息。根据本公开实施例，第一确定子模块731例如可以执行上文参考图4描述的操作S331，在此不再赘述。

第一建立连接子模块732可以用于基于链接信息与相应数据库建立连接。根据本公开实施例，第一建立连接子模块732例如可以执行上文参考图4描述的操作S332，在此不再赘述。

获取子模块733可以用于基于表标识和主键标识从建立连接的数据库中获取相应变更数据。根据本公开实施例，获取子模块733例如可以执行上文参考图4描述的操作S333，在此不再赘述。

图9示意性示出了根据本公开实施例的同步模块的框图。

如图9所示，同步模块740包括第二确定子模块741、第二建立连接子模块742以及同步子模块743。

第二确定子模块741可以用于根据第二配置表，确定与系统标识对应的搜索引擎的配置信息。根据本公开实施例，第二确定子模块741例如可以执行上文参考图5描述的操作S341，在此不再赘述。

第二建立连接子模块742可以用于基于配置信息与相应搜索引擎建立连接。根据本公开实施例，第二建立连接子模块742例如可以执行上文参考图5描述的操作S342，在此不再赘述。

同步子模块743可以用于将变更数据同步到建立连接的搜索引擎中。根据本公开实施例，同步子模块743例如可以执行上文参考图5描述的操作S343，在此不再赘述。

图10示意性示出了根据本公开另一实施例的用于多个系统的数据处理装置的框图。

如图10所示，用于多个系统的数据处理装置1000包括监听模块710、第一获取模块720、第二获取模块730、同步模块740以及存储模块1010。其中，监听模块710、第一获取模块720、第二获取模块730以及同步模块740与上参考图7描述的模块相同或类似，在此不再赘述。

存储模块1010可以用于以队列格式依次存储每次数据操作对应的系统标识、库标识、表标识和主键标识。根据本公开实施例，存储模块1010例如可以执行上文参考图6描述的操作S610，在此不再赘述。

根据本公开实施例，第二获取模块730还可以用于从队列提取一组系统标识、库标识、表标识和主键标识，基于系统标识、库标识、表标识和主键标识获取相应变更数据。

根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

例如，监听模块710、第一获取模块720、第二获取模块730、第一确定子模块731、第一建立连接子模块732、获取子模块733、同步模块740、第二确定子模块741、第二建立连接子模块742、同步子模块743以及存储模块1010中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，监听模块710、第一获取模块720、第二获取模块730、第一确定子模块731、第一建立连接子模块732、获取子模块733、同步模块740、第二确定子模块741、第二建立连接子模块742、同步子模块743以及存储模块1010中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，监听模块710、第一获取模块720、第二获取模块730、第一确定子模块731、第一建立连接子模块732、获取子模块733、同步模块740、第二确定子模块741、第二建立连接子模块742、同步子模块743以及存储模块1010中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图11示意性示出了根据本公开实施例的适于用于多个系统的数据处理的计算机系统的方框图。图11示出的计算机系统仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图11所示，根据本公开实施例的计算机系统1100包括处理器1101，其可以根据存储在只读存储器(ROM)1102中的程序或者从存储部分1108加载到随机访问存储器(RAM)1103中的程序而执行各种适当的动作和处理。处理器1101例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器1101还可以包括用于缓存用途的板载存储器。处理器1101可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

在RAM 1103中，存储有系统1100操作所需的各种程序和数据。处理器1101、ROM1102以及RAM 1103通过总线1104彼此相连。处理器1101通过执行ROM 1102和/或RAM 1103中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 1102和RAM 1103以外的一个或多个存储器中。处理器1101也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。

根据本公开的实施例，系统1100还可以包括输入/输出(I/O)接口1105，输入/输出(I/O)接口1105也连接至总线1104。系统1100还可以包括连接至I/O接口1105的以下部件中的一项或多项：包括键盘、鼠标等的输入部分1106；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1107；包括硬盘等的存储部分1108；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1109。通信部分1109经由诸如因特网的网络执行通信处理。驱动器1110也根据需要连接至I/O接口1105。可拆卸介质1116，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1110上，以便于从其上读出的计算机程序根据需要被安装入存储部分1108。

根据本公开的实施例，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1109从网络上被下载和安装，和/或从可拆卸介质1111被安装。在该计算机程序被处理器1101执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读存储介质可以是计算机非易失性的计算机可读存储介质，例如可以可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 1102和/或RAM 1103和/或ROM 1102和RAM 1103以外的一个或多个存储器。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (12)

1.一种用于多个系统的数据处理方法，每个所述系统对应的数据是分库分表存储的，所述方法包括：

监听所述多个系统中的至少一个系统是否发生数据操作，所述数据操作包括变更所述至少一个系统对应的数据；

在所述至少一个系统发生数据操作的情况下，获取所述数据操作针对的数据所属系统的系统标识、所属数据库的库标识、所属数据表的表标识以及所属主键的主键标识；

基于所述系统标识、库标识、表标识和主键标识获取相应变更数据；

基于所述系统标识确定与所述系统标识对应的搜索引擎，并将所述变更数据同步到所述搜索引擎中。

2.根据权利要求1所述的方法，其中，所述监听所述多个系统中的至少一个系统是否发生数据操作，包括：

监听所述多个系统中的至少一个系统的多个数据库的数据库日志是否更新。

3.根据权利要求1所述的方法，其中，所述基于所述系统标识、库标识、表标识和主键标识获取相应变更数据，包括：

根据第一配置表，确定与所述系统标识和所述库标识对应的链接信息；

基于所述链接信息与相应数据库建立连接；

基于所述表标识和主键标识从建立连接的数据库中获取相应变更数据。

4.根据权利要求1所述的方法，其中，所述基于所述系统标识确定与所述系统标识对应的搜索引擎，并将所述变更数据同步到所述搜索引擎中，包括：

根据第二配置表，确定与所述系统标识对应的搜索引擎的配置信息；

基于所述配置信息与相应搜索引擎建立连接；

将所述变更数据同步到建立连接的搜索引擎中。

5.根据权利要求1所述的方法，其中：

所述方法还包括：

以队列格式依次存储每次数据操作对应的系统标识、库标识、表标识和主键标识；

所述基于所述系统标识、库标识、表标识和主键标识获取相应变更数据，包括：

从所述队列提取一组系统标识、库标识、表标识和主键标识，基于所述系统标识、库标识、表标识和主键标识获取相应变更数据。

6.一种用于多个系统的数据处理装置，每个所述系统对应的数据是分库分表存储的，所述装置包括：

监听模块，监听所述多个系统中的至少一个系统是否发生数据操作，所述数据操作包括变更所述至少一个系统对应的数据；

第一获取模块，在所述至少一个系统发生数据操作的情况下，获取所述数据操作针对的数据所属系统的系统标识、所属数据库的库标识、所属数据表的表标识以及所属主键的主键标识；

第二获取模块，基于所述系统标识、库标识、表标识和主键标识获取相应变更数据；

同步模块，基于所述系统标识确定与所述系统标识对应的搜索引擎，并将所述变更数据同步到所述搜索引擎中。

7.根据权利要求6所述的装置，其中，所述监听所述多个系统中的至少一个系统是否发生数据操作，包括：

监听所述多个系统中的至少一个系统的多个数据库的数据库日志是否更新。

8.根据权利要求6所述的装置，其中，所述第二获取模块包括：

第一确定子模块，根据第一配置表，确定与所述系统标识和所述库标识对应的链接信息；

第一建立连接子模块，基于所述链接信息与相应数据库建立连接；

获取子模块，基于所述表标识和主键标识从建立连接的数据库中获取相应变更数据。

9.根据权利要求6所述的装置，其中，所述同步模块包括：

第二确定子模块，根据第二配置表，确定与所述系统标识对应的搜索引擎的配置信息；

第二建立连接子模块，基于所述配置信息与相应搜索引擎建立连接；

同步子模块，将所述变更数据同步到建立连接的搜索引擎中。

10.根据权利要求6所述的装置，其中：

所述装置还包括：

存储模块，以队列格式依次存储每次数据操作对应的系统标识、库标识、表标识和主键标识；

所述基于所述系统标识、库标识、表标识和主键标识获取相应变更数据，包括：

从所述队列提取一组系统标识、库标识、表标识和主键标识，基于所述系统标识、库标识、表标识和主键标识获取相应变更数据。

11.一种计算机系统，包括：

一个或多个存储器，存储有可执行指令；以及

一个或多个处理器，执行所述可执行指令，以实现根据权利要求1～5中任一项所述的方法。

12.一种计算机可读存储介质，其上存储有可执行指令，所述指令在被处理器执行时实现根据权利要求1～5中任一项所述的方法。

Images