CN110866009A - 一种实时并发同步服务的方法及系统 - Google Patents

Abstract

本发明的技术方案包括一种实时并发同步服务的方法及系统，用于实现：监控本地库变化状态；当本地库变化时，按照指定规则将一定数量的变化的本地库进行组合，得到一个配置文件，重复本步骤直到所以变化的本地库组合完成，得到一定数量的配置文件；创建同步进程，单个进程对应一定数量的本地库的同步；同步进程按照指定的路由规则，将组合的配置文件发送到对应的同步服务器。本发明的有益效果为：根据具体的同步库的数量灵活配置，降低服务部署、数据管理、同步管理、同步监控等问题的难度以及增加上手度，具有分布式、低耦合、易扩展、可监控、高可用等优点。

Description

一种实时并发同步服务的方法及系统

技术领域

本发明涉及一种实时并发同步服务的方法及系统，属于计算机技术领域。

背景技术

Elasticsearch是一个分布式可扩展的实时搜索和分析引擎，实现分布式实时文件存储，并将每一个字段都编入索引，使其可以被搜索。因此众多业务数据选择导入Elasticsearch集群，以方便高效全面的数据检索。目前业务数据采用mongodb数据库，也就是需要将mongodb数据实时同步至Elasticsearch服务集群中

数据同步的时候，遇到一个问题，单库单表或者库表比较少的情况下，同步比较容易实现。但实际业务有三千多个库，六千多个表需要同步，甚至随着业务发展会更多。那么服务部署、数据管理、同步管理、同步监控等等问题就显得十分困难。再采用单进程同步数据的方式，无疑是十分繁琐的过程，甚至是不可行的。

发明内容

为解决上述问题，本发明的目的在于提供一种实时并发同步服务的方法，其特征在于，包括以下步骤：监控本地库变化状态，其中本地库变化状态包括库和/或表格的新建或删除；当本地库变化时，按照指定规则将一定数量的变化的本地库进行组合，得到一个配置文件，重复本步骤直到所以变化的本地库组合完成，得到一定数量的配置文件，其中一定数量可自定义；创建同步进程，单个进程对应一定数量的本地库的同步，其中一定数量可自定义；同步进程按照指定的路由规则，将组合的配置文件发送到对应的同步服务器。

本发明解决其问题所采用的技术方案一方面是：一种实时并发同步服务的方法，其特征在于，包括以下步骤：S100、监控本地库变化状态，其中本地库变化状态包括库和/或表格的新建或删除；S200、当本地库变化时，按照指定规则将一定数量的变化的本地库进行组合，得到一个配置文件，重复本步骤直到所以变化的本地库组合完成，得到一定数量的配置文件，其中一定数量可自定义；S300、创建同步进程，单个进程对应一定数量的本地库的同步，其中一定数量可自定义；S400、同步进程按照指定的路由规则，将组合的配置文件发送到对应的同步服务器。

进一步的，所述S100还包括：S101、在一定周期内扫描所有的本地库，获取本地库变化状态，其中一定周期可自定义。

进一步的，所述S200还包括：S201、将变化的本地库进行遍历，并执行ID取模；S202、将一定数量的本地库进行聚合得到单一的配置文件，其中一定数量可自定义；S203、反复执行S202直到所以变化的本地库都已执行聚合。

进一步的，所述本地库为MongoDB数据库；所述同步服务器为ElasticSearch搜索服务器。

进一步的，所述S400还包括：S410、路由根据配置文件分配对应同步服务器；S420、路由进行各个同步服务器进程的拉起，每个进程对应一个配置文件中指定数量库表的同步数据，其中指定数量可自定义。

进一步的，所述S410还包括：S411、将所有同步服务器按照性能高低进行排序；S412、根据分配规则将同步服务器与路由进行分配，其中分配规则为高性能的同步服务器分配路由数量大于低性能同步服务器分配的路由数量。

进一步的，还包括：S500、同步服务器根据配置文件内容获取对应的本地数据库信息并按照时间节点进行保存，作为历史文档；S600、根据业务需要调用对应时间节点的历史文档下发到对应本地数据库进行回滚。

本发明解决其问题所采用的技术方案另一方面是：一种实时并发同步服务的系统，其特征在于，包括：监控模块，用于监控本地库变化状态，其中本地库变化状态包括库和/或表格的新建或删除；聚合模块，用于当本地库变化时，按照指定规则将一定数量的变化的本地库进行组合，得到配置文件；进程管理模块，用于创建同步进程，单个进程对应一定数量的本地库的同步，其中一定数量可自定义；同步模块，用于调用同步进程按照指定的路由规则，将组合的配置文件发送到对应的同步服务器。

进一步的，所述监控模块还包括：扫描单元，用于在一定周期内扫描所有的本地库，获取本地库变化状态；设置单元，用于设置扫描周期。

进一步的，所述聚合模块还包括取模单元，用于对本地库执行ID取模；

所述同步模块还包括分配单元，用于根据配置文件分配对应同步服务器。

本发明的有益效果是：根据具体的同步库的数量灵活配置，降低服务部署、数据管理、同步管理、同步监控等问题的难度以及增加上手度，具有分布式、低耦合、易扩展、可监控、高可用等优点。

附图说明

图1是根据本发明优选实施例的方法流程示意图；

图2是根据本发明优选实施例的系统结构示意图；

图3是本发明的架构示意图；

图4是本发明的细化架构示意图；

图5是本发明的聚合配置示意图；

图6是本发明的配置下发示意图；

图7是本发明的同步进程示意图；

图8是本发明的进程以及配置文件代码示意图。

具体实施方式

以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。

需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。此外，本公开中所使用的上、下、左、右等描述仅仅是相对于附图中本公开各组成部分的相互位置关系来说的。在本公开中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本文所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本文说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种元件，但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如，在不脱离本公开范围的情况下，第一元件也可以被称为第二元件，类似地，第二元件也可以被称为第一元件。本文所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例，并且除非另外要求，否则不会对本发明的范围施加限制。

参照图1，是根据本发明优选实施例的方法流程示意图,

包括以下步骤：

S100、监控本地库变化状态，其中本地库变化状态包括库和/或表格的新建或删除；

S200、当本地库变化时，按照指定规则将一定数量的变化的本地库进行组合，得到一个配置文件，重复本步骤直到所以变化的本地库组合完成，得到一定数量的配置文件，其中一定数量可自定义；

S300、创建同步进程，单个进程对应一定数量的本地库的同步，其中一定数量可自定义；

S400、同步进程按照指定的路由规则，将组合的配置文件发送到对应的同步服务器。

进一步的，所述S100还包括：S101、在一定周期内扫描所有的本地库，获取本地库变化状态，其中一定周期可自定义。

进一步的，所述S200还包括：S201、将变化的本地库进行遍历，并执行ID取模；S202、将一定数量的本地库进行聚合得到单一的配置文件，其中一定数量可自定义；S203、反复执行S202直到所以变化的本地库都已执行聚合。

进一步的，所述本地库为MongoDB数据库；所述同步服务器为ElasticSearch搜索服务器。

进一步的，所述S400还包括：S410、路由根据配置文件分配对应同步服务器；S420、路由进行各个同步服务器进程的拉起，每个进程对应一个配置文件中指定数量库表的同步数据，其中指定数量可自定义。

进一步的，所述S410还包括：S411、将所有同步服务器按照性能高低进行排序；S412、根据分配规则将同步服务器与路由进行分配，其中分配规则为高性能的同步服务器分配路由数量大于低性能同步服务器分配的路由数量。

进一步的，还包括：S500、同步服务器根据配置文件内容获取对应的本地数据库信息并按照时间节点进行保存，作为历史文档；S600、根据业务需要调用对应时间节点的历史文档下发到对应本地数据库进行回滚。

参照图2，是根据本发明优选实施例的系统结构示意图，

包括：监控模块，用于监控本地库变化状态，其中本地库变化状态包括库和/或表格的新建或删除；聚合模块，用于当本地库变化时，按照指定规则将一定数量的变化的本地库进行组合，得到配置文件；进程管理模块，用于创建同步进程，单个进程对应一定数量的本地库的同步，其中一定数量可自定义；同步模块，用于调用同步进程按照指定的路由规则，将组合的配置文件发送到对应的同步服务器。

进一步的，所述监控模块还包括：扫描单元，用于在一定周期内扫描所有的本地库，获取本地库变化状态；设置单元，用于设置扫描周期。

进一步的，所述聚合模块还包括取模单元，用于对本地库执行ID取模；

所述同步模块还包括分配单元，用于根据配置文件分配对应同步服务器。

实现mongodb多库多表同步es服务集群

实现同步的分布式

可配置、可管理、可监控、低耦合、易扩展

一句话，既要实现同步功能，又要做到分布式。

这里从大的方面来说，就分为三大模块，数据、中控与搜索。数据即mongodb中的业务数据。中控则为各类配置与路由管理的服务。搜索则为es集群。三者之间的关系大致如图3所示，按照这三个模块的划分，整体架构如图4所示。

其中最重要的模块为中控服务，其主要功能如下：

1、判断数据库库表的变化：当有新库新表创建是，自动创建同步进程，实现新库新表的实时同步

2、管理配置：库表同步配置、同步服务路由配置、监控报活

举个简单的例子：

一个监控app的服务，注册的app有三千多个，需要实时将每个app的上报信息同步至es服务，即同步三千多个库的指定表至es集群。假设每个进程同步十个库，name则需要300个进程，而这三百个进程，是要均衡分布在10台机器上。即路由至单台同步机器上的进程数为30个进程，单机监控同步300张表，并将同步信息上报监控服务。

现在appkey1、appkey2、appkey3......appkeyN N个库需要进行同步，具体的步骤如下：

1、聚合配置：

参照图5是本发明的聚合配置示意图，中控服务会定期扫描所有的appkey，并将appkey按照指定规则(ID取模或者其它)进行组合成一个配置文件。这样做的好处是，同步进程按照配置文件进程同步即可，不用关心具体的属于哪个app，即同步任务和业务是完全分开的，没有任何耦合性。

通过这一步，就将N个app按照一定的规则分割到不同的配置文件中，实现app的分组，也就达到同步进程的分组，且组与组之间是完全隔离的，互不影响。即便有一个组出现异常，不会影响其他组数据的同步，做到了高可用。

2、配置下发：

参照图6是本发明的配置下发示意图，中控服务会将聚合的app同步文件，按照指定的路由规则，下发至各个同步server。这里的同步server是可配置的，既可以配置在配置文件中，也可以放在缓存中，如本系统采用redis来实现各个server的添加与摘除。这一步实现了配置文件到server的推送，每个server可以有几个配置文件，每个配置文件都会被用来启动一个同步进程，所以这一步是同步数据的前提，即同步配置下发。

3、同步进程：

参照图7是本发明的同步进程示意图，中控服务下发启动命令，即根据配置文件的下发路由，进行各个同步server进程的拉起。每个进程负责一个配置文件中N个库表的同步数据。这样，就实现了全部同步server的各个进程的启动与终止。

拉起的进程如图8中的8a所示，每个自动生成的配置文件如图8中的8b所示。

从配置中，可以看出，一个配置表中有很多库表，这些都是路由到同一台同步server，并且由同一个同步进程进行同步的库表。这里可以灵活配置，比如性能高的server可以路由多一些，差的机器则可以少分担一些，从而做到负载均衡

实现这个服务的主要技术如下：

python:代码语言,用来书写逻辑；

mongo-connector:开源同步工具；

Mongodb：业务数据库；

Elasticsearch：搜索引擎。

应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。

进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。

计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。

以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims (10)

1.一种实时并发同步服务的方法，其特征在于，包括以下步骤：

S100、监控本地库变化状态，其中本地库变化状态包括库和/或表格的新建或删除；

S200、当本地库变化时，按照指定规则将一定数量的变化的本地库进行组合，得到一个配置文件，重复本步骤直到所以变化的本地库组合完成，得到一定数量的配置文件，其中一定数量可自定义；

S300、创建同步进程，单个进程对应一定数量的本地库的同步，其中一定数量可自定义；

S400、同步进程按照指定的路由规则，将组合的配置文件发送到对应的同步服务器。

2.根据权利要求1所述的实时并发同步服务的方法，其特征在于，所述S100还包括：

S101、在一定周期内扫描所有的本地库，获取本地库变化状态，其中一定周期可自定义。

3.根据权利要求1所述的实时并发同步服务的方法，其特征在于，所述S200还包括：

S201、将变化的本地库进行遍历，并执行ID取模；

S202、将一定数量的本地库进行聚合得到单一的配置文件，其中一定数量可自定义；

S203、反复执行S202直到所以变化的本地库都已执行聚合。

4.根据权利要求1所述的实时并发同步服务的方法，其特征在于：

所述本地库为MongoDB数据库；

所述同步服务器为ElasticSearch搜索服务器。

5.根据权利要求1所述的实时并发同步服务的方法，其特征在于，所述S400还包括：

S410、路由根据配置文件分配对应同步服务器；

S420、路由进行各个同步服务器进程的拉起，每个进程对应一个配置文件中指定数量库表的同步数据，其中指定数量可自定义。

6.根据权利要求5所述的实时并发同步服务的方法，其特征在于，所述S410还包括：

S411、将所有同步服务器按照性能高低进行排序；

S412、根据分配规则将同步服务器与路由进行分配，其中分配规则为高性能的同步服务器分配路由数量大于低性能同步服务器分配的路由数量。

7.根据权利要求1所述的实时并发同步服务的方法，其特征在于，还包括：

S500、同步服务器根据配置文件内容获取对应的本地数据库信息并按照时间节点进行保存，作为历史文档；

S600、根据业务需要调用对应时间节点的历史文档下发到对应本地数据库进行回滚。

8.一种实时并发同步服务的系统，其特征在于，包括：

监控模块，用于监控本地库变化状态，其中本地库变化状态包括库和/或表格的新建或删除；

聚合模块，用于当本地库变化时，按照指定规则将一定数量的变化的本地库进行组合，得到配置文件；

进程管理模块，用于创建同步进程，单个进程对应一定数量的本地库的同步，其中一定数量可自定义；

同步模块，用于调用同步进程按照指定的路由规则，将组合的配置文件发送到对应的同步服务器。

9.根据权利要求8所述的实时并发同步服务的系统，其特征在于，所述监控模块还包括：

扫描单元，用于在一定周期内扫描所有的本地库，获取本地库变化状态；

设置单元，用于设置扫描周期。

10.根据权利要求8所述的实时并发同步服务的系统，其特征在于：

所述聚合模块还包括取模单元，用于对本地库执行ID取模；

所述同步模块还包括分配单元，用于根据配置文件分配对应同步服务器。

Images