CN101789021A - 一种通用可配置的数据库数据迁移方法 - Google Patents

Abstract

本发明提供一种通用可配置的数据库数据迁移方法，是将源数据库中数据导出为基于XML的数据转储文件，使用已定义的源数据库连接信息自动连接到源数据库，然后解析表结构配置文件获取表结构信息，通过获取的表结构信息构造数据导出所需的sql，进而根据sql查询数据并将查询出的数据组织为基于XML的数据转储文件规定的格式，最后写出为文件；将基于XML的数据转储文件导入目的数据库，使用已定义的目的数据库连接信息自动连接到目的数据库，然后解析从源数据库中导出的基于XML的数据转储文件，获得表结构信息及表中存储的数据，进一步在目的数据库中创建表，最后构造数据导入所需的sql并执行这些sql将数据导入到目的数据库中；使用本发明的方法，仅需完成不同数据库的连接信息、表结构信息的配置，即可由该装置完成不同数据库间数据的迁移工作，提高了工作效率，同时保证了数据的正确性。

Description

一种通用可配置的数据库数据迁移方法

技术领域

本发明涉及一种数据库数据迁移技术领域，具体地说是一种一种通用可配置的数据库数据迁移方法。

背景技术

随着信息技术的发展，数据库技术的应用越来越广泛，目前主流的数据库主要有oracle、sqlserver、sybase、informix等，数据库的多样性带来了数据在不同数据库之间的迁移，而且这种迁移随着信息技术的发展也变得越来越频繁。

由于各中类型的数据其数据存储方式各有不同且其存储格式不公开，因此在进行数据迁移时，各类数据库产品往往只能通过私有的工具在本类数据库产品中的进行迁移，而对于不同类型数据库之间的数据迁移各类型的数据库均不提供相应的支持。

以往，工程师在不同数据库间进行数据迁移时没有相应的工具，只能通过手工重新建表，并且通过手动将源数据库中的数据维护到目的数据库中。

这种迁移方式存在以下几个缺点：

1)不同类型数据库之间的数据描述没有通用的格式定义，缺少一种中性的数据存储格式。

2)手动迁移极容易出现一些差错，因此数据迁移后的准确性较难保证。

3)手动迁移数据费时费力，尤其是数据表较多且表中的数据行数数量级较大时更是如此。

发明内容

本发明的目的是提供一种一种通用可配置的数据库数据迁移方法。

本发明的目的是按以下方式实现的，包括以下内容：

基于XML的数据库连接信息配置文件格式定义，以下简称为DB_INFO.XML，该格式定义了连接数据所必须的信息，包括数据库驱动类、数据库连接所需的url、数据库用户名、数据库密码，定义格式如下：

<dbInfo id＝″1″driverClassName＝″oracle.jdbc.driver.OracleDriver″url＝″jdbc:oracle:thin:@127.0.0.1:1521:omc″username＝″user″password＝″passwd″/>

基于XML的表结构信息配置文件格式定义，以下简称为TABLIE_INFO.xml，该格式定义了数据表的表名、表中各列的列名及数据类型，定义格式如下：

<table name＝″userinfo″>

    <column name＝″id″type＝″integer″/>

    <column name＝″name″type＝″varchar(32)″/>

    <column name＝″birthday″type＝″datetime″/>

</table>

基于XML的数据转储文件文件格式定义，以下简称为TABLE_DATA.xml，该格式定义了表名、列名以及表中的数据在XML中的存储结构，定义格式如下：

<table name＝″userinfo″>

   <columns>

      <column name＝″id″/>

      <column name＝″name″/>

      <column name＝″birthday″/>

</columns>

<values>

<value>

<v>1</v>

<v>wuyg</v>

<v>1982-09-24</v>

</value>

<value>

<v>2</v>

<v>wuxy</v>

<v>1980-12-26</v>

</value>

</values>

</table>

将源数据库中数据导出为基于XML的数据转储文件的方法还包括，使用已定义的源数据库连接信息自动连接到源数据库，然后解析表结构配置文件获取表结构信息，通过获取的表结构信息构造数据导出所需的sql，进而根据sql查询数据并将查询出的数据组织为基于XML的数据转储文件规定的格式，最后写出为文件；

将基于XML的数据转储文件导入目的数据库的方法还包括，使用已定义的目的数据库连接信息自动连接到目的数据库，然后解析从源数据库中导出的基于XML的数据转储文件，获得表结构信息及表中存储的数据，进一步在目的数据库中创建表，最后构造数据导入所需的sql并执行这些sql将数据导入到目的数据库中；

具体迁移步骤如下：

1)将源数据库中数据导出为基于XML的数据转储文件

(1)解析数据库信息配置文件DB_INFO.xml并根据源数据ID获取源数据库连接所需信息；

(2)解析数据表信息配置文件TABLE_INFO.xml，获取数据表信息并向数据转储文件TABLE_DATA.xml中写出表信息，包括表名和列名信息；

(3)连接源数据库，根据表结构信息构造数据导出所需的sql并执行该sql进行数据查询；

(4)对于查询得出的数据逐条构造为TABLE_DATA中value所需的格式并写出到TABLE_DATA.xml中；

(5)关闭源数据库连接；

2)将基于XML的数据转储文件导入目的数据库；

(1)解析数据库信息配置文件DB_INFO.xml并根据目的数据ID获取目的数据库连接所需信息；

(2)解析从源数据库中导出的数据转储文件TABLE_DATA.xml中的表结构信息，包括表名和列名信息；

(3)连接目的数据库，根据表结构信息构造建表所需的sql语句并执行该语句完成表的创建；

(4)解析从源数据库中导出的数据转储文件TABLE_DATA.xml中的数据，结合表结构信息构造数据导入所需的sql语句，执行这些sql语句完成数据入库；

(5)关闭目的数据库连接。

本发明的优异效果说明

通过本发明的方法，可以将不同类型数据库之间的数据迁移工作简化。通过配置实现数据库及表结构描述，该装置能够自动将数据从源数据库中导出为基于XML的数据转储文件并且能够将导出的数据自动导入到目的数据库中。优点还包括以下几个方面：

1)不同类型数据库之间的数据描述实现了通用的格式定义，搭建了不同类型数据库之间数据转储的平台。

2)通过该装置自动完成源数据库的导出和目的数据库的导入，有效地保证了数据迁移的准确性。

3)降低了人力成本，大大提高了工作效率。

具体实施方式

具体迁移步骤如下：

基于XML的数据库连接信息配置文件格式定义，以下简称为DB_INFO.XML。该格式定义了连接数据所必须的信息，包括数据库驱动类、数据库连接所需的url、数据库用户名、数据库密码。如：

<dbInfo id＝″1″driverClassName＝″oracle.jdbc.driver.OracleDriver″url＝″jdbc:oracle:thin:@127.0.0.1:1521:omc″username＝″user″password＝″passwd″/>

基于XML的表结构信息配置文件格式定义，以下简称为TABLIE INFO.xml。该格式定义了数据表的表名、表中各列的列名及数据类型。如：

<table name＝″userinfo″>

   <column name＝″id″type＝″integer″/>

   <column name＝″name″type＝″varchar(32)″/>

   <column name＝″birthday″type＝″datetime″/>

</table>

基于XML的数据转储文件文件格式定义，以下简称为TABLE_DATA.xml。该格式定义了表名、列名以及表中的数据在XML中的存储结构。如：

<table name＝″userinfo″>

   <columns>

      <column name＝″id″/>

      <column name＝″name″/>

      <column name＝″birthday″/>

   </columns>

   <values>

      <value>

         <v>1</v>

         <v>wuyg</v>

         <v>1982-09-24</v>

   </value>

   <value>

      <v>2</v>

      <v>wuxy</v>

      <v>1980-12-26</v>

   </value>

   </values>

</table>

将源数据库中数据导出为基于XML的数据转储文件，首先使用已定义的源数据库连接信息自动连接到源数据库，然后解析表结构配置文件获取表结构信息，通过获取的表结构信息构造数据导出所需的sql，进而根据sql查询数据并将查询出的数据组织为基于XML的数据转储文件规定的格式，最后写出为文件。

将基于XML的数据转储文件导入目的数据库，首先使用已定义的目的数据库连接信息自动连接到目的数据库，然后解析从源数据库中导出的基于XML的数据转储文件，获得表结构信息及表中存储的数据，进一步在目的数据库中创建表，最后构造数据导入所需的sql并执行这些sql将数据导入到目的数据库中。

通过该方法及装置，可以将不同类型数据库之间的数据迁移工作简化。通过配置实现数据库及表结构描述，该装置能够自动将数据从源数据库中导出为基于XML的数据转储文件并且能够将导出的数据自动导入到目的数据库中。

实施例

在本方案中有以下两个关键点：将源数据库中数据导出为基于XML的数据转储文件，将基于XML的数据转储文件导入目的数据库。

将源数据库中数据导出为基于XML的数据转储文件

第一步：解析数据库信息配置文件DB_INFO.xml并根据源数据ID获取源数据库连接所需信息。

第二步：解析数据表信息配置文件TABLE_INFO.xml，获取数据表信息并向数据转储文件TABLE_DATA.xml中写出表信息，包括表名和列名信息。

第三步：连接源数据库，根据表结构信息构造数据导出所需的sql并执行该sql进行数据查询。

第四步：对于查询得出的数据逐条构造为TABLE_DATA中value所需的格式并写出到TABLE_DATA.xml中。

第五步：关闭源数据库连接。

●将基于XML的数据转储文件导入目的数据库

第一步：解析数据库信息配置文件DB_INFO.xml并根据目的数据ID获取目的数据库连接所需信息。

第二步：解析从源数据库中导出的数据转储文件TABLE_DATA.xml中的表结构信息，包括表名和列名信息。

第三步：连接目的数据库，根据表结构信息构造建表所需的sql语句并执行该语句完成表的创建。

第四步：解析从源数据库中导出的数据转储文件TABLE_DATA.xml中的数据，结合表结构信息构造数据导入所需的sql语句，执行这些sql语句完成数据入库。

第五步：关闭目的数据库连接。

1.关键代码

public void doSubJob()

   {       try

       {

           //step1:写临时文件头，组织sql语句

          fileWriter.write(XmlUtil.convertParentHead(″class name＝\″″+table2file.getNeType()+″\″″))；

          fileWriter.write(table2file.getColumnsXml())；

          //step2:查询数据

          String sql＝table2file.getSelectSql()；

          stmt＝conn.createStatement()；

          log.info(dbId+″_″+table2file.getNeType()+″sql:″+sql)；

          rst＝stmt.executeQuery(sql)；

          //step3:将数据逐行写入文件

          writeEachLine()；

          //step4:写文件尾

          fileWriter.write(XmlUtil.convertParentTail(″class″))；

      }catch(Exception ex)

      {

          log.error(ex.getMessage()，ex)；

      }finally

      {

          try

          {

             //step4:释放资源，注意Connection不能释放

             if(stmt！＝null)

             {

               stmt.close()；

             }

             if(rst！＝null)

             {

               rst.close()；

             }

             if(util！＝null)

             {

                util.destory()；

             }

          }catch(Exception ex)

          {

              log.error(ex.getMessage()，ex)；

          }

      }

  }。

使用本发明的方法，仅需完成不同数据库的连接信息、表结构信息的配置，即可完成不同数据库间数据的迁移工作，提高了工作效率，同时保证了数据的正确性。

Claims (1)

1.一种通用可配置的数据库数据迁移方法，其特征在于包括以下内容：

基于XML的数据库连接信息配置文件格式定义，以下简称为DB_INFO.XML，该格式定义了连接数据所必须的信息，包括数据库驱动类、数据库连接所需的url、数据库用户名、数据库密码，定义格式如下：

<dbInfo id＝″1″driverClassName＝″oracle.jdbc.driver.OracleDriver″url＝″jdbc:oracle:thin:@127.0.0.1:1521:omc″username＝″user″password＝″passwd″/>

基于XML的表结构信息配置文件格式定义，以下简称为TABLIE_INFO.xml，该格式定义了数据表的表名、表中各列的列名及数据类型，定义格式如下：

<table name＝″userinfo″>

    <column name＝″id″type＝″integer″/>

    <column name＝″name″type＝″varchar(32)″/>

    <column name＝″birthday″type＝″datetime″/>

</table>

基于XML的数据转储文件文件格式定义，以下简称为TABLE_DATA.xml，该格式定义了表名、列名以及表中的数据在XML中的存储结构，定义格式如下：

<table name＝″userinfo″>

   <columns>

      <column name＝″id″/>

      <column name＝″name″/>

      <column name＝″birthday″/>

   </columns>

   <values>

      <value>

         <v>1</v>

         <v>wuyg</v>

         <v>1982-09-24</v>

      </value>

      <value>

         <v>2</v>

         <v>wuxy</v>

         <v>1980-12-26</v>

      </value>

   </values>

</table>

将源数据库中数据导出为基于XML的数据转储文件，使用已定义的源数据库连接信息自动连接到源数据库，然后解析表结构配置文件获取表结构信息，通过获取的表结构信息构造数据导出所需的sql，进而根据sql查询数据并将查询出的数据组织为基于XML的数据转储文件规定的格式，最后写出为文件；

将基于XML的数据转储文件导入目的数据库，使用已定义的目的数据库连接信息自动连接到目的数据库，然后解析从源数据库中导出的基于XML的数据转储文件，获得表结构信息及表中存储的数据，进一步在目的数据库中创建表，最后构造数据导入所需的sql并执行这些sql将数据导入到目的数据库中；

具体迁移步骤如下：

1)将源数据库中数据导出为基于XML的数据转储文件

(1)解析数据库信息配置文件DB_INFO.xml并根据源数据ID获取源数据库连接所需信息；

(2)解析数据表信息配置文件TABLE_INFO.xml，获取数据表信息并向数据转储文件TABLE_DATA.xml中写出表信息，包括表名和列名信息；

(3)连接源数据库，根据表结构信息构造数据导出所需的sql并执行该sql进行数据查询；

(4)对于查询得出的数据逐条构造为TABLE_DATA中value所需的格式并写出到TABLE_DATA.xml中；

(5)关闭源数据库连接；

2)将基于XML的数据转储文件导入目的数据库；

(1)解析数据库信息配置文件DB_INFO.xml并根据目的数据ID获取目的数据库连接所需信息；

(2)解析从源数据库中导出的数据转储文件TABLE_DATA.xml中的表结构信息，包括表名和列名信息；

(3)连接目的数据库，根据表结构信息构造建表所需的sql语句并执行该语句完成表的创建；

(4)解析从源数据库中导出的数据转储文件TABLE_DATA.xml中的数据，结合表结构信息构造数据导入所需的sql语句，执行这些sql语句完成数据入库；

(5)关闭目的数据库连接。