CN110334098A - 一种基于脚本的数据库合并方法及系统 - Google Patents

Abstract

本发明公开了一种基于脚本的数据库合并方法，涉及计算机软件技术领域，本发明采用脚本方式配置合并规则，简化了数据库合并的复杂度，能够快速应对表结构的变化，有效减少开发和维护的工作量，降低维护成本，使配置合并易维护易扩展。本发明还公开了一种基于脚本的数据库合并系统。

Description

一种基于脚本的数据库合并方法及系统

技术领域

本发明涉及计算机软件技术领域，具体涉及一种基于脚本的数据库合并方法及系统。

背景技术

网管的配置数据库中包含了要求全局唯一的数据，比如资源ID，管理员用户名等，两份配置数据库合并在一起会冲突，不能简单的进行数据库拼接，原始数据库需要按照一定的逻辑处理之后才能进行合并。网管版本开发过程中，数据库中数据表会增加或者表结构会发生变化，现有的维护模式需要根据数据表增加或结构变化，实时更新数据库合并工具，维护成本高。

发明内容

针对现有技术中存在的缺陷，本发明的目的在于提供一种基于脚本的数据库合并方法及系统，降低数据库合并工具的维护成本。

为达到以上目的，本发明采取的技术方案是：一种基于脚本的数据库合并方法，包括以下步骤：

采用脚本定义数据合并规则；

根据定义的合并规则完成数据合并。

在上述方案的基础上，所述数据合并规则包括指定合并数据库规则、指定合并数据表规则和字段处理规则；字段处理规则包括字段检查规则、资源ID规则、资源ID引用规则和静态文本规则。

在上述方案的基础上，所述根据定义的合并规则完成数据合并，具体包括以下步骤：

S201、解析所述数据合并规则文件；

S202、判断合并规则语法是否正确；若是，进入步骤S203，若否，结束；

S203、获取指定合并数据库规则中的数据库名称；

S204、获取指定合并数据表规则中的数据表名称；

S205、读取指定合并数据表规则中合并数据库名称、数据表名称对应的源数据表数据，并加载到内存；

S206、逐行读取源数据表数据，并遍历字段处理规则；

S207、根据字段处理规则修改内存中的字段数据；

S208、将修改后的字段数据写入目标数据表；

S209、判断指定指定合并数据表规则中的数据表名称对应的所有源数据表数据全部读取完成，若是，进入步骤S210，若否，返回步骤S203继续读取下一个数据表名称对应的源数据表数据；

S210、判断指定合并数据库规则中的数据库名称对应的所有源数据表数据全部读取完成，若是，结束；若否，返回步骤S202继续读取下一个数据库名称对应的源数据表数据。

在上述方案的基础上，字段检查规则为：合并前对数据字段进行全局唯一检查，如果数据字段不唯一，终止合并或对数据字段追加随机字符串。

在上述方案的基础上，资源ID规则为：定义字段名称、字段索引和ID起始值，根据字段名称和字段索引定位字段数据并设置为当前值，以ID起始值开始分配新的资源ID值，将当前值与新的资源ID值的映射关系写入缓存。

在上述方案的基础上，资源ID引用规则为：定义字段名称、字段索引和查找资源ID映射的关键字，根据字段名称和字段索引定位字段数据并设置为当前值，根据查找资源ID映射的关键字从缓存中获取当前值映射的新的资源ID，将当前值的资源ID修改为新的资源ID。

在上述方案的基础上，静态文本规则为：定义字段名称、字段索引和静态文本值，根据字段名称和字段索引定位字段数据并设置为当前值，将当前值修改为静态文本值。

本发明还提供一种基于脚本的数据库合并系统，包括：

规则定义模块，其用于：采用脚本定义数据合并规则；

数据合并模块，其用于：根据定义的合并规则完成数据合并。

在上述方案的基础上，所述数据合并规则包括指定合并数据库规则、指定合并数据表规则和字段处理规则；字段处理规则包括字段检查规则、资源ID规则、资源ID引用规则和静态文本规则。

在上述方案的基础上，所述数据合并模块根据定义的合并规则完成数据合并，具体包括以下步骤：

解析所述数据合并规则文件，

根据指定合并数据库规则中的数据库名称以及指定合并数据表规则中的数据表名称，读取对应的源数据表数据，并加载到内存；

对源数据表数据进行数据合并，进行数据合并的方法为：逐行读取源数据表数据，遍历字段处理规则，根据字段处理规则修改内存中的字段数据，将修改后的字段数据写入目标数据表；

按上述数据合并方法完成指定合并数据库规则以及指定合并数据表规则对应的所有源数据表数据的数据合并。

与现有技术相比，本发明的优点在于：

本发明采用脚本方式配置合并规则，简化了数据库合并的复杂度，能够快速应对表结构的变化，有效减少开发和维护的工作量，降低维护成本，使配置合并易维护易扩展。

附图说明

图1为本发明实施例的脚本语法配置的合并规则示例；

图2为本发明实施例的数据合并处理流程。

具体实施方式

以下结合附图对本发明的实施例作进一步详细说明。

本发明实施例提供一种基于脚本的数据库合并方法，包括以下步骤：

采用脚本定义数据合并规则；

根据定义的合并规则完成数据合并。

所述数据合并规则包括指定合并数据库规则、指定合并数据表规则和字段处理规则；字段处理规则包括字段检查规则、资源ID规则、资源ID引用规则和静态文本规则。参见图1所示，合并规则具体内容如下：

1、指定合并数据库规则(下文称database规则)

指定要合并的数据库，定义database规则示例如下：

<database name＝"integratecfgdb"></database>

其中name字段表示数据库名称。

2、指定合并数据表规则(下文称table规则)

指定要合并的数据表，定义table规则示例如下：

<table name＝"t_managerpartitio55ninfo"action＝"modify"></table>

其中name字段表示数据表名称，action字段表示数据表的合并规则，取值为“modify”表示数据修改后合并，取值为“drop”表示不合并；table节点是database节点的子节点。

3、字段检查规则

针对合并前对数据字段进行全局唯一检查，如果不唯一则终止合并的情况，定义字段检查规则示例如下：

<check name＝"cipaddress"index＝"16"method＝"constraint"/>

其中name表示字段名称，index表示字段索引，method取值为"constraint"表示全局唯一检查，如果不唯一终止合并；check节点是table节点的子节点。

针对合并前对数据字段进行全局唯一检查，如果不唯一则追加随机16进制表示的字符串的情况，定义字段检查规则示例如下：

<check name＝"cusername"index＝"2"method＝"append_rand"/>

其中name表示字段名称，index表示字段索引，method取值为"append_rand"表示全局唯一检查，如果不唯一追加随机16进制表示的字符串；check节点是table节点的子节点。

4、资源ID规则

针对资源ID重新分配的情况，定义资源ID示例如下：

<id name＝"cobjectid"index＝"1"value＝"13172736"id_map＝""/>

其中name表示字段名称，index表示字段索引，value表示ID的起始值，每次分配自增长1，并使用新的资源ID替换原始的资源ID。由于资源ID可能会被其他表的字段引用，所以默认情况下使用“数据库名.数据表名.字段名”的规则生成关键字，并以这个关键字建立原始的ID与新分配的ID的映射关系。如果id_map取值不为空，则以指定的值作为关键字建立原始的ID与新分配的ID的映射关系；id节点是table节点的子节点。

5、资源ID引用规则

由于资源ID重新进行了分配，引用这些资源的字段，其值需要随之变化，需要转换为新的资源ID，定义资源ID引用规则示例如下：

<ref name＝"cnodeid"index＝"1"ref_map＝"integratecfgdb.t_nedevice.cobjectid"/>

其中name表示字段名称，index表示字段索引，ref_map表示查找资源ID映射的关键字，根据原始的资源ID获取新生成的资源ID并替换；ref节点是table节点的子节点。

6、静态文本规则

针对需要忽略原始值，使用静态文本替换的字段，定义静态文本规则示例如下：

<static name＝"cmanagerno"index＝"13"value＝"1507393536"/>

其中name表示字段名称，index表示字段索引，value表示静态文本值；静态文本(static)节点是table节点的子节点。

针对原数据表中不需要处理，直接合并的字段，默认的规则是直接复制并合并到目标数据表中，不需要配置规则。

参见图2所示，根据定义的合并规则完成数据合并，具体包括以下步骤：

步骤S201：软件处理逻辑开始，打开使用所述的脚本语法定义的规则文件并解析；

步骤S202：判断合并规则语法是否正确，如果语法正确，则执行步态S203，否则合并流程结束；

步骤S203：获取database规则；

步骤S204：获取table规则；

步骤S205：根据database规则中的database名称和table规则中的table名称，读取源数据表数据，并加载到内存；

步骤S206：获取字段处理规则；

步骤S207：逐行读取源数据表数据，并遍历字段处理规则，按规则修改内存中的字段数据。字段检查规则的处理逻辑为根据字段名称和字段索引定位字段数据并设置为当前值，字段处理方法为constraint时仅做唯一校验，与缓存数据进行对比，如果缓存数据中未找到相同的数据，则校验通过，并将当前值写入缓存数据中，反之如果当前值在缓存中已经存在，处理方法为constraint时丢弃当前行的数据并记录调试日志，处理方法为append_rand时为当前值追加以16进制表示32位随机数的字符串；资源标识规则的处理逻辑为根据字段名称和字段索引定位字段数据并设置为当前值，以起始值开始分配新的资源ID值，每次分配递增1，并将当前值与新的资源ID值的映射关系根据写入缓存，同时将当前值修改为新的资源ID；资源标识引用规则的处理逻辑为根据字段名称和字段索引定位字段数据并设置为当前值，从缓存中获取当前值映射的新的资源ID，并将当前值修改为新的资源ID；静态文本规则的处理逻辑为为根据字段名称和字段索引定位字段数据并设置为当前值，直接将当前值修改为规则中定义的静态文本；其他没有处理规则的字段，数值不做修改。

步骤S208：将修改后的数据写入目标数据表；

步骤S209：判断table规则是否读取完成，如果读取完成执行步骤S210，否则返回步骤S203；

步骤S210：判断database规则是否读取完成，如果读取完成则合并流程结束，否则返回步骤S202。

本发明实施例该提供一种基于脚本的数据库合并系统，包括：

规则定义模块，其用于：采用脚本定义数据合并规则；

数据合并模块，其用于：根据定义的合并规则完成数据合并。

优选的，所述数据合并规则包括指定合并数据库规则、指定合并数据表规则和字段处理规则；字段处理规则包括字段检查规则、资源ID规则、资源ID引用规则和静态文本规则。

优选的，所述数据合并模块根据定义的合并规则完成数据合并，具体包括以下步骤：

解析所述数据合并规则文件，

根据指定合并数据库规则中的数据库名称以及指定合并数据表规则中的数据表名称，读取对应的源数据表数据，并加载到内存；

对源数据表数据进行数据合并，进行数据合并的方法为：逐行读取源数据表数据，遍历字段处理规则，根据字段处理规则修改内存中的字段数据，将修改后的字段数据写入目标数据表；

按上述数据合并方法完成指定合并数据库规则以及指定合并数据表规则对应的所有源数据表数据的数据合并。

基于同一发明构思，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现基于脚本的数据库合并方法的所有方法步骤或部分方法步骤。

本发明实现上述基于脚本的数据库合并方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

基于同一发明构思，本申请实施例还提供一种电子设备，包括存储器和处理器，存储器上储存有在处理器上运行的计算机程序，处理器执行计算机程序时实现基于脚本的数据库合并方法中的所有方法步骤或部分方法步骤。

所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Proc essor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。

存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现计算机装置的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、视频数据等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、服务器或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、服务器和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于脚本的数据库合并方法，其特征在于，包括以下步骤：

采用脚本定义数据合并规则；

根据定义的合并规则完成数据合并。

2.如权利要求1所述的方法，其特征在于，所述数据合并规则包括指定合并数据库规则、指定合并数据表规则和字段处理规则；字段处理规则包括字段检查规则、资源ID规则、资源ID引用规则和静态文本规则。

3.如权利要求2所述的方法，其特征在于，所述根据定义的合并规则完成数据合并，具体包括以下步骤：

S201、解析所述数据合并规则文件；

S202、判断合并规则语法是否正确；若是，进入步骤S203，若否，结束；

S203、获取指定合并数据库规则中的数据库名称；

S204、获取指定合并数据表规则中的数据表名称；

S205、读取指定合并数据表规则中合并数据库名称、数据表名称对应的源数据表数据，并加载到内存；

S206、逐行读取源数据表数据，并遍历字段处理规则；

S207、根据字段处理规则修改内存中的字段数据；

S208、将修改后的字段数据写入目标数据表；

S209、判断指定指定合并数据表规则中的数据表名称对应的所有源数据表数据全部读取完成，若是，进入步骤S210，若否，返回步骤S203继续读取下一个数据表名称对应的源数据表数据；

S210、判断指定合并数据库规则中的数据库名称对应的所有源数据表数据全部读取完成，若是，结束；若否，返回步骤S202继续读取下一个数据库名称对应的源数据表数据。

4.如权利要求2所述的方法，其特征在于，字段检查规则为：合并前对数据字段进行全局唯一检查，如果数据字段不唯一，终止合并或对数据字段追加随机字符串。

5.如权利要求2所述的方法，其特征在于，资源ID规则为：定义字段名称、字段索引和ID起始值，根据字段名称和字段索引定位字段数据并设置为当前值，以ID起始值开始分配新的资源ID值，将当前值与新的资源ID值的映射关系写入缓存。

6.如权利要求2所述的方法，其特征在于，资源ID引用规则为：定义字段名称、字段索引和查找资源ID映射的关键字，根据字段名称和字段索引定位字段数据并设置为当前值，根据查找资源ID映射的关键字从缓存中获取当前值映射的新的资源ID，将当前值的资源ID修改为新的资源ID。

7.如权利要求2所述的方法，其特征在于，静态文本规则为：定义字段名称、字段索引和静态文本值，根据字段名称和字段索引定位字段数据并设置为当前值，将当前值修改为静态文本值。

8.一种基于脚本的数据库合并系统，其特征在于，包括：

规则定义模块，其用于：采用脚本定义数据合并规则；

数据合并模块，其用于：根据定义的合并规则完成数据合并。

9.如权利要求8所述的系统，其特征在于，所述数据合并规则包括指定合并数据库规则、指定合并数据表规则和字段处理规则；字段处理规则包括字段检查规则、资源ID规则、资源ID引用规则和静态文本规则。

10.如权利要求8所述的系统，其特征在于，所述数据合并模块根据定义的合并规则完成数据合并，具体包括以下步骤：

解析所述数据合并规则文件，

根据指定合并数据库规则中的数据库名称以及指定合并数据表规则中的数据表名称，读取对应的源数据表数据，并加载到内存；

对源数据表数据进行数据合并，进行数据合并的方法为：逐行读取源数据表数据，遍历字段处理规则，根据字段处理规则修改内存中的字段数据，将修改后的字段数据写入目标数据表；

按上述数据合并方法完成指定合并数据库规则以及指定合并数据表规则对应的所有源数据表数据的数据合并。