CN106446151A - 一种基于国产cpu和数据库的数据迁移及增量更新方法 - Google Patents

Abstract

本发明公开了一种基于国产CPU和数据库的数据迁移及增量更新方法，包括管理平台、若干数据库，其实现过程为：在管理平台上，通过XML文件描述生成通用数据库描述文件，目标数据库获取该数据库描述文件便可部署、迁移数据、增量更新。该一种基于国产CPU和数据库的数据迁移及增量更新方法与现有技术相比，针对不同的国产数据库只需要维护一套数据库文件，减少Web应用系统的数据库文件维护的工作量，目标数据库只需获取数据库描述文件便可部署数据，实用性强。

Description

一种基于国产CPU和数据库的数据迁移及增量更新方法

技术领域

本发明涉及计算机技术领域，具体地说是一种实用性强、基于国产CPU和数据库的数据迁移及增量更新方法。

背景技术

在国家的大力扶持下，具有自主知识产权的全国产软硬件有了较快的发展，尤其是近年来我国涌现了众多具有自主知识产权的基础软硬件产品。龙芯、飞腾等具有自主知识产权的高端通用芯片蓬勃发展，技术水平达到了同类产品的世界先进水平。

同时，国产基础软件产品的发展也欣欣向荣，神通数据库、金仓数据库、达梦数据库、东方通中间件、金蝶中间件、中创中间件、中标麒麟操作系统、普华操作系统、深度操作系统、中标Office办公软件、WPS Office办公软件等国产基础软件产品不断涌现出来。这些基础软硬件产品在性能、易用性等方面达到或接近世界先进水平。

随着国产基础软硬件的蓬勃的发展，给国产基础软硬件的推广和使用带来了前所未有的机遇。目前越来的越多项目采用国产的基础软硬件，这就要求面向全国产领域的Web应用系统必须适配各种软硬件产品,像数据库领域Web应用系统就必须同时适配神通数据库，达梦数据库，金仓数据库等多种国产数据库。但是国产基础软硬件虽有了较大的发展，有些产品性能已经达到或接近国际先进水平，但和国际顶尖水平还是具有较大差距，像国产数据库领域，各种国产数据库仍然存在很大的差异性。由于这种差异性的存在，很难维护一套能适配多种国产数据库的数据sql文件，这就要求Web应用系统针对每种国产数据库维护一套数据sql文件，而且目前不同国产厂商的数据库间仍没有成熟的通用的简易的数据库迁移方法，这就给Web应用系统从不同的数据库之间迁移时带来非常大的困难。

针对以上情况，本发明提出了一种基于XML文件描述的，面向国产CPU、操作系统和数据库的数据部署、迁移及增量更新方法。

发明内容

本发明的技术任务是针对以上不足之处，提供一种实用性强、基于国产CPU和数据库的数据迁移及增量更新方法。

一种基于国产CPU和数据库的数据迁移及增量更新方法，包括管理平台、若干数据库，其实现过程为：

在管理平台上，通过XML文件描述包括数据库的表、视图、索引的信息，数据库的表包含表结构、数据、主外键信息，生成通用数据库描述文件，目标数据库获取该数据库描述文件便可部署、迁移数据；在数据库XML描述文件对包括数据库的表、视图、索引信息描述中，添加包括添加、删除、修改的数据描述更新类型，及对应的需求编号，该需求编号包括TD号，通过这种方式支持基于需求编号的数据库增量更新XML描述文件自动生成，实现数据库的增量更新。

使用XML文件描述数据库的信息，并且在XML文件中使用统一的数据类型描述，针对不同的数据库，分别产生一个描述数据类型映射关系的XML文件；针对需要部署的目标数据库，通过解析XML描述文件自动生成相应的sql语句，并在目标数据库上批量执行，完成目标数据库的部署。

在对目标数据库进行数据部署时，在管理平台输入目标数据库IP、端口号、操作用户及密码以及数据库类型、编码格式，选择本次部署的数据库XML描述文件的索引文件执行部署，即可根据索引文件自动解析所有的数据库XML描述文件，完成本次目标数据库的部署，并生成本次部署的日志信息。

在多种数据库之间进行数据迁移时，首先在管理平台输入待迁移数据库的数据库IP、端口号、操作用户及密码以及数据库类型、编码格式信息建立数据库连接，选择本次需要迁移的包括模式、表、视图的相关信息，并输入迁移数据库的数据库IP、端口号、操作用户及密码以及数据库类型、编码格式信息，执行迁移，管理平台自动分析待迁移数据库需要迁移的相关数据，生成相应的迁移sql,并自动解析为对应的数据库XML描述文件，并将解析生成的数据库XML描述文件，自动在迁移数据库上实现部署，完成迁移，并记录本次数据库迁移的所有操作日志信息。

当对数据库进行增量更新时，首先在管理平台输入需要更新的需求编号，然后分析SVN服务器维护的Web应用数据库库XML描述文件，导出与本次增量更新需求编号相关的XML文件信息，生成对应的数据库增量更新XML描述文件，通过该XML描述文件，即可实现对数据库的增量更新。

上述对数据库进行增量更新的具体过程为：

在对目标数据库进行增量更新时，先生成本次增量更新所需的数据库描述文件，然后输入本次增量更新所涉及的需求编号并连接开发人员维护数据库描述文件的SVN地址，管理平台自动对维护的数据库描述文件进行分析，下载所需要的数据库描述文件内容，根据所涉及需求编号，自动生成本次增量更新所涉及的数据库增量更新XML文件；

生成数据库增量更新XML文件后，连接目标数据库，选择需要数据库增量更新XML文件的索引文件，即可完成对目标国产数据库的增量更新。

本发明的一种基于国产CPU和数据库的数据迁移及增量更新方法，具有以下优点：

本发明提供的一种基于国产CPU和数据库的数据迁移及增量更新方法，通过XML文件描述数据库的表、视图、索引等信息，屏蔽不同数据库间差异，生成通用数据库描述文件，针对不同的国产数据库只需要维护一套数据库文件，减少Web应用系统的数据库文件维护的工作量，目标数据库只需获取数据库描述文件便可部署数据；方法支持从不同的国产数据库导出数据库描述文件，实现不同国产数据库之间的数据迁移；为解决Web应用系统开发过程中数据库的增量更新问题，该方法支持在数据库XML描述文件对表、视图、索引等信息描述中，添加了数据描述更新类型及对应的需求编号，通过这种方式支持基于需求编号的数据库增量更新XML描述文件自动生成，实现数据库的增量更新，实用性强，适用范围广泛，易于推广。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

本发明提供一种一种基于国产CPU和数据库的数据迁移及增量更新方法。针对目前国产环境Web应用系统需要部署神通、达梦、金仓等多种国产数据库，而且不同国产厂商的数据库间没有成熟的通用的简易的数据库迁移方法的背景，该方法通过XML文件描述数据库的表（包含表结构、数据、主外键等）、视图、索引等信息，屏蔽不同数据库间差异，生成通用数据库描述文件，针对不同的国产数据库只需要维护一套数据库文件，减少Web应用系统的数据库文件维护的工作量，目标数据库只需获取数据库描述文件便可部署数据。该方法支持从不同的国产数据库导出数据库描述文件，实现不同国产数据库之间的数据迁移。为解决Web应用系统开发过程中数据库的增量更新问题，该方法支持在数据库XML描述文件对表、视图、索引等信息描述中，添加了数据描述更新类型（如添加、删除、修改等），及对应的需求编号（如TD号），通过这种方式支持基于需求编号的数据库增量更新XML描述文件自动生成，实现数据库的增量更新。

该方法的实现基于管理平台、若干数据库，其实现过程为：

在管理平台，使用XML文件描述数据库的表（包含表结构、数据、主外键等）、视图、索引等信息，并且在XML文件中使用统一的数据类型描述，屏蔽不同的数据库的差异性，针对不同的数据库，分别产生一个描述数据类型映射关系的XML文件。针对需要部署的目标数据库，该方法实现了通过解析XML描述文件自动生成相应的sql语句，并在目标数据库上批量执行，完成目标数据库的部署。面向全国产环境的Web应用系统只需要维护一套基于的数据库XML描述文件，以及需要部署的不同国产数据库的数据类型映射关系XML文件，即可实现多种国产数据库的部署。

本专利所涉及方法实现了自动分析待导出或者迁移的国产数据库的表（包含表结构、数据、主外键等）、视图、索引等信息，生成相应的导出sql，并结合该数据库的数据类型映射关系XML文件，自动解析相应sql语句，生成相应的数据库XML描述文件。该方法通过基于XML文件的国产数据库导出以及部署方法，可以实现多种国产数据库之前的自动迁移。

Web应用系统在迭代开发和升级过程中，需要对已经部署的数据库进行不断的增量更新，这就要求Web应用系统针对每次数据库的更新，人工生成该次更新所需要的更新sql或者数据XML描述文件，带来非常大的工作量。针对这一情况，本专利所涉及方法通过在XML描述文件的各种类型数据的描述，添加数据更新操作类型（添加、删除、更新）及应用对应更新操作的需求编号（如TD号）。通过添加的数据更新操作类型及对应的需求编号，本专利所述方法实现了基于数据更新需求编号的单次更新XML数据文件自动生成。每次对数据库的增量更新，只需要输入需要更新的需求号，本专利所述方法自动分析SVN服务器维护的Web应用数据库库XML描述文件，自动导出与本次增量更新需求编号相关的XML文件信息，生成对应的数据库增量更新XML描述文件，通过该XML描述文件，即可实现对数据库的增量更新。

具体的，本发明的方法步骤如下：

一、XML描述文件生成及更新维护。

本专利所涉及方法通过分析各种国产数据库的数据类型等的共通性及差异性，生成了统一的数据类型描述及每种国产数据库的数据类型映射关系XML描述文件。

由于Web应用系统所涉及的数据库数据量非常大，通过人工生成通用XML描述文件工作量非常大，本专利所涉及方法实现了从Web应用系统的开发基准库中自动导出数据库XML描述文件，作为开发维护的基准数据库XML描述文件。

在Web应用系统迭代开发过程中，需要对开发基准库进行增量更新时，需要对维护的XML描述文件进行相应修改，并在对应更改的数据上更新对应的数据操作更新类型及对应的需求编号（如TD号）。

二、基于通用XML描述文件的目标国产数据库部署。

本专利所涉及方法在对目标数据数据部署时，只需要输入目标数据库IP、端口号、操作用户及密码以及数据库类型、编码格式，选择本次部署的数据库XML描述文件的索引文件执行部署，管理平台即可根据索引文件自动解析所有的数据库XML描述文件，完成本次国产数据库的部署，并生成本次部署的日志信息。

三、多种国产数据库之间的数据迁移。

本专利所涉及方法支持多种国产数据库之间的数据迁移，在进行数据迁移时，只需要输入待迁移数据库的数据库IP、端口号、操作用户及密码以及数据库类型、编码格式信息建立数据库连接，选择本次需要迁移的模式、表、视图等相关信息，并输入迁移数据库的数据库IP、端口号、操作用户及密码以及数据库类型、编码格式信息，执行迁移。管理平台会自动分析待迁移数据库需要迁移的相关数据，生成相应的迁移sql,并自动解析为对应的数据库XML描述文件，并将解析生成的数据库XML描述文件，自动在迁移数据库上实现部署，完成迁移，并记录本次数据库迁移的所有操作日志信息。

四、基于通用xml描述文件的目标国产数据库增量更新。

本专利所涉及方法支持对已部署国产数据库的增量更新，并在XML文件对数据库数据的描述中添加数据操作更新类型及对应的需求编号（如TD号），实现基于需求编号的增量更新XML文件自动生成。

本专利所涉及方法在对目标国产数据库进行增量更新时，需先生成本次增量更新所需的数据库描述文件。只需要输入本次增量更新所涉及的需求编号并连接开发人员维护数据库描述文件的SVN地址，管理平台会自动对维护的数据库描述文件进行分析，自动下载所需要的数据库描述文件内容，根据所涉及需求编号，自动生成本次增量更新所涉及的数据库增量更新XML文件。

生成数据库增量更新XML文件后，只需要使用本专利所涉及方法，连接目标国产数据库，选择需要数据库增量更新XML文件的索引文件，即可完成对目标国产数据库的增量更新。

通过上述步骤，本专利所述方法使用XML文件描述数据库文件，描述数据库的表（包含表结构、数据、主外键等）、视图、索引等信息，并且在XML文件中使用统一的数据类型描述，针对每种国产数据库建立数据类型关系映射XML文件，屏蔽不同的数据库的差异性，针对多种国产数据库，Web应用系统只需要维护一套XML描述文件。

本专利所述方法通过在XML文件对数据库的表（包含表结构、数据、主外键等）、视图、索引等信息描述中，添加数据操作更新类型（添加、删除、修改）以及对应的需求编号(如TD号)，支持通过单次增量涉及的需求编号（TD号），自动从SVN服务器维护的Web应用系统数据库XML描述文件中，自动解析导出本地增量更新需要的数据库增量更新XML文件。

本专利所述方法针对特定的国产数据库，通过解析XML描述文件，结合数据类型关系映射XML文件，自动解析生成sql语句，并在目标数据库上批量执行，实现针对特定国产数据库的快速部署及增量更新。

本专利所述方法支持通过对国产数据库的表（包含表结构、数据、主外键等）、视图、索引等信息进行分析，自动生成相应的sql，并结合数据类型关系映射XML文件自动解析为XML描述文件

本专利所述方法通过基于XML文件的国产数据库的数据自动导出及部署实现了多种国产数据库之间简单方便的数据迁移。

上述具体实施方式仅是本发明的具体个案，本发明的专利保护范围包括但不限于上述具体实施方式，任何符合本发明的一种基于国产CPU和数据库的数据迁移及增量更新方法的权利要求书的且任何所述技术领域的普通技术人员对其所做的适当变化或替换，皆应落入本发明的专利保护范围。

Claims (6)

1.一种基于国产CPU和数据库的数据迁移及增量更新方法，其特征在于，包括管理平台、若干数据库，其实现过程为：在管理平台上，通过XML文件描述包括数据库的表、视图、索引的信息，数据库的表包含表结构、数据、主外键信息，生成通用数据库描述文件，目标数据库获取该数据库描述文件便可部署、迁移数据；在数据库XML描述文件对包括数据库的表、视图、索引信息描述中，添加包括添加、删除、修改的数据描述更新类型，及对应的需求编号，该需求编号包括TD号，通过这种方式支持基于需求编号的数据库增量更新XML描述文件自动生成，实现数据库的增量更新。

2.根据权利要求1所述的一种基于国产CPU和数据库的数据迁移及增量更新方法，其特征在于，使用XML文件描述数据库的信息，并且在XML文件中使用统一的数据类型描述，针对不同的数据库，分别产生一个描述数据类型映射关系的XML文件；针对需要部署的目标数据库，通过解析XML描述文件自动生成相应的sql语句，并在目标数据库上批量执行，完成目标数据库的部署。

3.根据权利要求2所述的一种基于国产CPU和数据库的数据迁移及增量更新方法，其特征在于，在对目标数据库进行数据部署时，在管理平台输入目标数据库IP、端口号、操作用户及密码以及数据库类型、编码格式，选择本次部署的数据库XML描述文件的索引文件执行部署，即可根据索引文件自动解析所有的数据库XML描述文件，完成本次目标数据库的部署，并生成本次部署的日志信息。

4.根据权利要求1所述的一种基于国产CPU和数据库的数据迁移及增量更新方法，其特征在于，在多种数据库之间进行数据迁移时，首先在管理平台输入待迁移数据库的数据库IP、端口号、操作用户及密码以及数据库类型、编码格式信息建立数据库连接，选择本次需要迁移的包括模式、表、视图的相关信息，并输入迁移数据库的数据库IP、端口号、操作用户及密码以及数据库类型、编码格式信息，执行迁移，管理平台自动分析待迁移数据库需要迁移的相关数据，生成相应的迁移sql,并自动解析为对应的数据库XML描述文件，并将解析生成的数据库XML描述文件，自动在迁移数据库上实现部署，完成迁移，并记录本次数据库迁移的所有操作日志信息。

5.根据权利要求1所述的一种基于国产CPU和数据库的数据迁移及增量更新方法，其特征在于，当对数据库进行增量更新时，首先在管理平台输入需要更新的需求编号，然后分析SVN服务器维护的Web应用数据库库XML描述文件，导出与本次增量更新需求编号相关的XML文件信息，生成对应的数据库增量更新XML描述文件，通过该XML描述文件，即可实现对数据库的增量更新。

6.根据权利要求5所述的一种基于国产CPU和数据库的数据迁移及增量更新方法，其特征在于，上述对数据库进行增量更新的具体过程为：

在对目标数据库进行增量更新时，先生成本次增量更新所需的数据库描述文件，然后输入本次增量更新所涉及的需求编号并连接开发人员维护数据库描述文件的SVN地址，管理平台自动对维护的数据库描述文件进行分析，下载所需要的数据库描述文件内容，根据所涉及需求编号，自动生成本次增量更新所涉及的数据库增量更新XML文件；

生成数据库增量更新XML文件后，连接目标数据库，选择需要数据库增量更新XML文件的索引文件，即可完成对目标国产数据库的增量更新。