CN111831755B - 一种跨数据库数据同步方法、系统、介质及设备 - Google Patents

Abstract

本发明涉及一种跨数据库数据同步方法、系统、介质及设备。方法包括：根据用户信息从预设的配置表中获取与所述用户信息匹配的查表配置信息；根据所述查表配置信息查询比对源库和目标库对应的数据表，当比对结果显示存在差异数据时，将差异数据存入预设的接口表中；根据所述接口表中的差异数据进行源库和目标库的数据同步。本发明实施例以用户为基础单元，在配置表中配置与用户信息匹配的查表配置信息，当输入用户信息时，可获取相应的查表配置信息，进而根据查表配置信息查询所涉及的数据库，并且差异数据通过接口表实现数据同步。本发明实施例简化了跨数据库同步数据的流程步骤，降低出错率，减少运维人员工作量的投入，提高工作效率。

Description

一种跨数据库数据同步方法、系统、介质及设备

技术领域

本发明涉及数据库技术领域，尤其涉及一种跨数据库数据同步方法、系统、介质及设备。

背景技术

许多行业需要实现跨数据库的数据同步。例如，目前电信企业使用NGBOSS系统实现了CRM系统与BOSS系统的业务和数据解耦。因此在CRM受理业务后，需要将对应的数据增量同步到BOSS系统，实现BOSS侧的免费资费赠送，月租扣除等计费动作。例如：用户到营业厅要进行开户操作，营业员在CRM系统办理开户业务并选择全球通某套餐，预存一定话费，此业务数据需要先在CRM数据库中进行落地，然后再同步到BOSS库中实现计费。

在实际处理用户投诉和运维系统的过程中，如果要通过后台直接处理数据，则需要同时处理两个库的数据，还有计费对应的内存库。例如：营业员由于操作失误给用户订购了一个A套餐，此问题需要后台处理数据把A套餐调整为B套餐，需要经过如图1的处理流程。

CRM维护人员编写CRM脚本文件发送到CRM库处理相应数据，同时通知BOSS维护人员，并将编写的CRM脚本文件发送给BOSS维护人员，BOSS维护人员根据CRM脚本文件编写BOSS脚本文件和内存库脚本文件分别发送给BOSS库和内存库，进而修改相应的数据，实现数据同步。

上述处理方法处理即使一个很简单的问题，也需要两个系统的维护人员写两次到三次脚本文件，分别在三个数据库执行才能到达目的。上述处理方式维护人员人力投入大，操作繁琐，出错率高，成本消耗高。

发明内容

本发明所要解决的技术问题是针对现有技术存在的问题，提供一种跨数据库数据同步方法、系统、介质及设备。

为解决上述技术问题，本发明实施例提供一种跨数据库数据同步方法，包括：根据用户信息从预设的配置表中获取与所述用户信息匹配的查表配置信息；根据所述查表配置信息查询比对源库和目标库对应的数据表，当比对结果显示存在差异数据时，将差异数据存入预设的接口表中；根据所述接口表中的差异数据进行源库和目标库的数据同步。

为解决上述技术问题，本发明实施例还提供一种跨数据库数据同步系统，包括：

配置信息获取模块，用于根据用户信息从预设的配置表中获取与所述用户信息匹配的查表配置信息；

数据查询比对模块，用于根据所述查表配置信息查询比对源库和目标库对应的数据表，当比对结果显示存在差异数据时，将差异数据存入预设的接口表中；

数据分析同步模块，用于根据所述接口表中的差异数据进行源库和目标库的数据同步。

为解决上述技术问题，本发明实施例还提供一种计算机可读存储介质，包括指令，当所述指令在计算机上运行时，使所述计算机执行上述技术方案所述的跨数据库数据同步方法。

为解决上述技术问题，本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在所述存储器上的并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述技术方案所述的跨数据库数据同步方法。

本发明的有益效果是：以用户为基础单元，在配置表中配置与用户信息匹配的查表配置信息，当输入用户信息时，可获取相应的查表配置信息，进而根据查表配置信息查询所涉及的数据库，并且差异数据通过接口表实现数据同步。本发明实施例解决了现有技术中跨数据库数据同步需要多次写脚本，多次执行数据库的繁琐操作，简化了跨数据库同步数据的流程步骤，降低了出错率，减少了运维人员工作量的投入，提高了工作效率。

本发明附加的方面及其的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明实践了解到。

附图说明

图1为现有技术中运维流程示意图；

图2为本发明一实施例提供的跨数据库数据同步方法流程图；

图3为本发明另一实施例提供的跨数据库数据同步方法流程图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

图2为本发明一实施例提供的跨数据库数据同步方法流程图，如图2所示，该方法包括：

S110，根据用户信息从预设的配置表中获取与所述用户信息匹配的查表配置信息；

S120，根据所述查表配置信息查询比对源库和目标库对应的数据表，当比对结果显示存在差异数据时，将差异数据存入预设的接口表中；

S30，根据所述接口表中的差异数据进行源库和目标库的数据同步。

上述实施例提供的跨数据库数据同步方法，以用户为基础单元，在配置表中配置与用户信息匹配的查表配置信息，当输入用户信息时，可获取相应的查表配置信息，进而根据查表配置信息查询所涉及的数据库，并且差异数据通过接口表实现数据同步。解决了现有技术中跨数据库数据同步需要多次写脚本，多次执行数据库的繁琐操作，简化了跨数据库同步数据的流程步骤，降低出错率，减少运维人员工作量的投入，提高工作效率。

上述实施例中，可通过前端界面预先对配置表进行配置。配置时，可根据需要设置配置表的配置索引信息。查表配置信息可以包括：比对表名、比对主键、比对字段以及源库查询语句和目标库查询语句。用户信息可以为用户电话号码、用户身份证号、用户银行卡号或用户订单号。

上述实施例应用于电信领域时，用户信息可以为用户号码，此时配置表索引信息就是运营商系统中手机号码的唯一标识，通过用户ID可以查询用户很多的实例数据，例如订购表select*frompd_userprc_info_xxwhere id_no＝#id_no，例如，账期表select*fromur_billday_info where id_no＝#id_no，再例如参加活动记录表select*frommk_actrecord_info where id_no#id_no，所谓遍历涉及有所有表的差异，就是把这个用户ID_NO相关的实例表数据全都进行了查询，也就是说通过这个工具同步以后，这个ID_NO(手机号码)两个库之前的差异数据就可以全部解决了。

如果用户信息是用户订单号，那就是根据用户订单号查询相关表，例如订单表select*from or_orderline_info where order_id＝”，预订单表select*from or_preorderline_info等订单相关表的差异数据全部同步，此订单系统关联的差异数据也都能解决。

所以当用户信息不是电话号码时，配置表索引信息就不是用户ID了，而是变更为其他主键信息。

可选地，所述根据用户信息从预设的配置表中获取与所述用户信息匹配的查表配置信息，包括：接收用户信息，根据所述用户信息获取对应的配置表索引信息，从配置表中查询与所述配置表索引信息匹配的查表配置信息；其中，所述查表配置信息包括比对表名、比对主键、比对字段以及源库查询语句和目标库查询语句。

上述实施例中，在进行数据同步之前，将用户信息与配置表索引信息匹配存储，当输入用户信息时，可获得匹配的配置表索引信息，再根据配置表索引信息即可获取相应的查表配置信息。且查表配置信息配置了比对表名、比对主键、比对字段以及源库查询语句和目标库查询语句等信息，也就是说，根据查表配置信息可以对用户信息对应的源库和目标库中相应的数据库待比对的主键和字段进行对比。简化了跨数据库同步比对的流程步骤，降低了出错率，减少了运维人员工作量的投入，提高了工作效率。

可选地，所述根据所述查表配置信息查询源库和目标库对应的数据表，当查询结果显示存在差异数据时，将差异数据存入预设的接口表中，包括：根据所述配置信息对源库和目标库中需要比对的数据表的主键和字段进行逐一比对，当比对结果显示存在差异数据时，将比对结果按照预设格式输出到前端界面；当前端界面反馈同步触发信息时，将差异数据存入预设的接口表中。

上述实施例中，查表配置信息不仅配置了比对表名、比对主键和比对字段，还配置了源库查询语句和目标库查询语句，因此，可以根据查表配置信息直接对源库和目标库进行查询，当比对结果显示存在差异数据时，将差异数据存入预设的接口表中，通过接口表实现数据同步。

上述实施例中，当比对结果显示存在差异数据时，比对结果包括：源库比目标库数据多，源库和目标库数据有差异以及目标库比源库数据多；

当所述比对结果为源库比目标库数据多时，按照“I##表##主键##其他所有字段”格式将所述比对结果输出到前端界面；

当所述比对结果为源库和目标库数据有差异时，按照“X##表##主键##其他所有字段”格式将所述比对结果输出到前端界面；

当所述比对结果为目标库比源库数据多时，按照“D##表##主键”格式将所述比对结果输出到前端界面。

具体地，根据每种类型进行解析并形成xml样例报文格式如下：

其中，预设格式“I##表##主键##其他所有字段”中的“I”代表新增，预设格式“X##表##主键##其他所有字段”中的“X”代表修改，预设格式“D##表##主键”中的“D”代表删除。

上述实施例中，将比对结果按照预设格式输出到前端界面，方便运维人员查看差异明细，为是否最终同步数据提供依据。

可选地，所述根据所述接口表中的差异数据进行源库和目标库的数据同步，包括：通过常驻进程循环处理所述接口表中的差异数据，形成xml同步报文，将所述xml同步报文发送给所述目标库；所述目标库对所述xml同步报文进行解析落地，根据所述xml同步报文获取同步数据，将所述同步数据同步到相应数据表中。该实施例中，将差异数据存入接口表，通过常驻进程循环处理所述接口表中的差异数据，拼接xml同步报文。形成xml报文后，即可复用已有应用程序，即复用已有的将差异数据记入数据工单来同步接口表，应用集成平台搬运搬运同步报文以及目标库解析入库等应用程序。

上述实施例中，前端界面可以包括查询SQL配置、查询数据库表、查询数据展现和数据分析及同步项。在查询数据展现时，可以在前端界面展示用户资料相关表，用预设颜色表示源库和目标库有差异的数据表。在进行数据分析及同步时，可通过前端界面点击“查看同步报文”，从而查看数据差异的展现形式；还可以点击前端界面的“同步”按钮，触发数据同步，后台进程进行差异解析及搬运，同步到目标库。

图3为本发明另一实施例提供的跨数据库数据同步方法流程图。该实施例中，用户信息为用户号码。如图3所示，该方法包括：输入用户号码，根据用户号码查询配置表索引信息，该实施例中，配置表索引信息可以为用户ID；根据用户ID查询配置表，获取查表配置信息，查表配置信息包括比对表名、比对主键、比对字段以及源库查询语句和目标库查询语句等；根据源库SQL语句查询源库数据表，根据目标库SQL语句查询目标库数据表；根据查询结果进行逐条比对，将比对结果展示到前端页面；当无差异数据时，则结束进程；当存在差异数据时，将差异数据按照预设格式打入接口表，并生成同步报文，应用集成平台将同步报文搬运到目标库，目标库解析落地完成，完成差异同步。

上述实施例中，以用户为基本单元，通过用户ID(运营商BOSS系统唯一标识)遍历所有涉及到所有表的差异，逐一展示到前台页面，点击差异同步，系统会自动把差异数据从源库同步到目标库，简化了跨数据库同步数据的流程步骤，减少了运维人员工作量的投入，提高了工作效率。

本发明实施例还提供一种跨数据库数据同步系统，包括：配置信息获取模块、数据查询比对模块和数据分析同步模块。

配置信息获取模块用于根据用户信息从预设的配置表中获取与所述用户信息匹配的查表配置信息；数据查询比对模块用于根据所述查表配置信息查询比对源库和目标库对应的数据表，当比对结果显示存在差异数据时，将差异数据存入预设的接口表中；数据分析同步模块用于根据所述接口表中的差异数据进行源库和目标库的数据同步。

上述实施例提供的跨数据库数据同步系统，以用户为基础单元，在配置表中配置与用户信息匹配的查表配置信息，当输入用户信息时，可获取相应的查表配置信息，进而根据查表配置信息查询所涉及的数据库，并且差异数据通过接口表实现数据同步。本发明实施例解决了现有技术中跨数据库数据同步需要多次写脚本，多次执行数据库的繁琐操作，简化了跨数据库同步数据的流程步骤，降低出错率，减少了运维人员工作量的投入，提高了工作效率。

为解决上述技术问题，本发明实施例还提供一种计算机可读存储介质，包括指令，当所述指令在计算机上运行时，使所述计算机执行上述实施例提供的跨数据库数据同步方法。

为解决上述技术问题，本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在所述存储器上的并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述实施例提供的跨数据库数据同步方法。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种跨数据库数据同步方法，其特征在于，包括如下步骤：

根据用户信息从预设的配置表中获取与所述用户信息匹配的查表配置信息；

所述根据用户信息从预设的配置表中获取与所述用户信息匹配的查表配置信息，包括：

接收用户信息，根据所述用户信息获取对应的配置表索引信息，从配置表中查询与所述配置表索引信息匹配的查表配置信息；其中，所述查表配置信息包括比对表名、比对主键、比对字段以及源库查询语句和目标库查询语句；

根据所述查表配置信息查询比对源库和目标库对应的数据表，当比对结果显示存在差异数据时，将差异数据存入预设的接口表中；

根据所述接口表中的差异数据进行源库和目标库的数据同步。

2.根据权利要求1所述的方法，其特征在于，所述根据所述查表配置信息查询源库和目标库对应的数据表，当比对结果显示存在差异数据时，将差异数据存入预设的接口表中，包括：

根据所述查表配置信息对源库和目标库中需要比对的数据表的主键和字段进行逐一比对，当比对结果显示存在差异数据时，将比对结果按照预设格式输出到前端界面；

当前端界面反馈同步触发信息时，将差异数据存入预设的接口表中。

3.根据权利要求2所述的方法，其特征在于，所述根据所述接口表中的差异数据进行源库和目标库的数据同步，包括：

通过常驻进程循环处理所述接口表中的差异数据，形成xml同步报文，将所述xml同步报文发送给所述目标库；

所述目标库对所述xml同步报文进行解析落地，根据所述xml同步报文获取同步数据，将所述同步数据同步到相应数据表中。

4.根据权利要求2所述的方法，其特征在于，当比对结果显示存在差异数据时，所述比对结果包括：源库比目标库数据多，源库和目标库数据有差异以及目标库比源库数据多；

当所述比对结果为源库比目标库数据多时，按照“I##表##主键##其他所有字段”格式将所述比对结果输出到前端界面；

当所述比对结果为源库和目标库数据有差异时，按照“X##表##主键##其他所有字段”格式将所述比对结果输出到前端界面；

当所述比对结果为目标库比源库数据多时，按照“D##表##主键”格式将所述比对结果输出到前端界面。

5.根据权利要求1至4任一项所述的方法，其特征在于，还包括预先通过前端界面对所述配置表进行配置。

6.根据权利要求1至4任一项所述的方法，其特征在于，所述用户信息为用户电话号码、用户身份证号、用户银行卡号或用户订单号。

7.一种跨数据库数据同步系统，其特征在于，包括：

配置信息获取模块，用于根据用户信息从预设的配置表中获取与所述用户信息匹配的查表配置信息；

所述根据用户信息从预设的配置表中获取与所述用户信息匹配的查表配置信息，包括：

接收用户信息，根据所述用户信息获取对应的配置表索引信息，从配置表中查询与所述配置表索引信息匹配的查表配置信息；其中，所述查表配置信息包括比对表名、比对主键、比对字段以及源库查询语句和目标库查询语句；

数据查询比对模块，用于根据所述查表配置信息查询比对源库和目标库对应的数据表，当比对结果显示存在差异数据时，将差异数据存入预设的接口表中；

数据分析同步模块，用于根据所述接口表中的差异数据进行源库和目标库的数据同步。

8.一种计算机可读存储介质，包括指令，其特征在于，当所述指令在计算机上运行时，使所述计算机执行根据权利要求1-6任一项所述的跨数据库数据同步方法。

9.一种计算机设备，包括存储器、处理器及存储在所述存储器上的并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6任一项所述的跨数据库数据同步方法。