CN105740411A - 一种基于SOA和WebService的数据迁移方法 - Google Patents

Abstract

本发明公开了一种基于SOA和WebService的数据迁移方法，包括WEB服务的建立、服务操作的实现；本方法实施数据迁移时，调用源数据库WEB服务，按照数据结构从源数据库逐个提取数据，在验证数据的一致性之后将数据填入接口的源数据结构中，然后调用目标数据库的WEB服务操作，将源数据结构转化为目标数据结构，并插入或更新到目标数据库;本发明适用于多平台异构数据的动态迁移，通过封装业务逻辑、隔离数据，采用在线迁移、增量迁移的方式，可以保证异构数据的平稳安全动态迁移、提高数据迁移效率、节省数据迁移成本、满足不中断业务的数据迁移需求。

Description

一种基于SOA和WebService的数据迁移方法

技术领域

本发明属于计算机技术领域，尤其涉及一种基于SOA和WebService的数据迁移方法。

背景技术

在计算机领域，随着原有信息系统的更新，如低版本数据库向高版本数据库的转换、不同数据库之间的转换以及系统硬件升级等，经常面临数据迁移的问题。由于数据库系统的发展，在众多应用平台中源数据库和目标数据库往往具有不同的数据模型、体系结构，或者属于同一类型但来自不同厂家，如目前常用的关系数据库的SQLServer和Oracle等，这就要求尽可能保证异构数据库之间的无损、等价移植；同时，目标数据库和源数据库系统往往部署在不同的服务器上，硬件环境也不相同；此外，由于生产应用服务的需求，部分系统在进行数据迁移时不能停止源数据库系统现有的日常事务，因此需要实现动态平稳迁移。在迁移的过程中，要有一定的验证条件，能够保证同一数据不会在数据库中重复出现。以上这些需求使数据迁移过程更加复杂，对数据迁移提出了更高的要求。

发明内容

鉴于以上问题，本发明提供了一种新的数据迁移方法，采用SOA架构，以统一的方式实现部署在不同服务器上的多个异构数据库之间的动态数据迁移，可以满足实际需要，提高了工作效率、减少人力操作成本。

一种基于SOA和WebService的数据迁移方法，使用SOA和WebService的方式，构建服务接口，组建服务，以WEB服务的方式对数据进行动态、增量迁移，数据迁移过程如图1，具体包括如下步骤：

步骤1：使用SOA的方式，制作实现对源数据库的提取、验证的WEB接口，实现对主数据库的数据结构转换及验证、主数据库创建更新、插入操作的WEB接口；

步骤2：对步骤1制作的WEB接口进行组装，为源数据库和目标数据库建立WEB服务；

步骤3：对WEB服务进行部署；将要部署的文件复制到目标目录；并新建网站指向目标目录；配置Web.config网络配置文件文件，修改其中的对应的数据库名及密码；修改WEB服务地址；

步骤4：用户使用WebService方式调用源数据库的WEB服务；

步骤4.1：使用步骤1创建的数据提取接口按照数据结构从源数据库逐个提取数据；

步骤4.2：使用步骤1创建的数据验证接口，对步骤4.1提取的数据进行数据验证；

步骤4.3：将步骤4.1提取的数据经过步骤4.2的数据验证后填入接口的源数据结构中；

步骤5：用户使用WebService方式调用目标数据库的WEB服务操作；

步骤5.1：使用步骤1创建的数据结构转换接口，将步骤4.3获得的源数据结构转化为目标数据结构，实现异构数据的平稳转化；

步骤5.2：使用步骤1创建的数据验证接口，对转化后的数据进行判断操作，判断该数据是否已经存在，如果已经存在，则利用步骤1中主数据库创建的更新接口进行更新操作，如果不存在则利用步骤1中主数据库创建的插入接口进行插入操作，在更新时，判断是否有空的字段，如果有空字段，则这些字段不更新。

优选的，所述的步骤5.1中，将源数据结构转化为目标数据结构时包含数据清洗的过程，数据清洗主要是针对源数据库中，对出现二义性、重复、不完整、违反业务或逻辑规则问题的数据进行的清洗操作。

与现有技术相比，本发明具有以下特点：

（1）在线数据迁移：在迁移过程中，业务不会中断，可以持续进行，将对业务的影响控制在最低水平；

（2）增量式迁移：已迁移的数据不会重复入库，仅仅对业务系统产生的增量数据进行动态迁移；

（3）无数据丢失风险：能够在数据迁移完成后检验数据移动的情况，通过特有的校验算法来验证数据的一致性，保证数据的完整性、正确性、有效性；

（4）数据完整性：在进行数据迁移时调用WEB服务，传给WEB服务的都是一个个完整的数据对象，WEB服务对数据对象进一步分析验证，从而保证数据对象完整正确；

（5）统一架构及可重用性：WEB服务提供的SOA架构，可以保证整个系统的统一架构。WEB服务中的接口规范及数据规范为后续其它系统接入提供了一个便捷途径，WEB服务可重用，一些WEB服务不仅仅是用于数据迁移，而更多地可以提供给其它系统的改造，用于多个系统的同步数据，可以扩展为数据总线（DATABUS）。

附图说明

图1为本发明数据迁移过程说明图；

图2为硬件及服务架构图；

图3是本发明实施例的具体数据迁移步骤说明图；

图4是本发明实施例幢房唯一性识别流程示意图；

图5是本发明实施例数据字典更新流程示意图。

具体实施方式

下面结合具体实例的描述对发明进行阐述，但并不用于限定本发明。

一种基于SOA（面向服务的架构）和WebService（网络服务）的数据迁移方法，使用SOA和Webservice的方式，构建服务接口，组建服务，以WEB（网络）服务的方式对数据进行动态、增量迁移，具体包括如下步骤：

步骤1：使用SOA的方式，制作实现对源数据库的提取、验证的WEB接口，实现对主数据库的数据结构转换及验证、主数据库创建更新、插入操作的WEB接口；

步骤2：对步骤1制作的WEB接口进行组装，为源数据库和目标数据库建立WEB服务；

步骤3：对web服务进行部署；将要部署的文件复制到目标目录；并新建网站指向目标目录；配置Web.config（网络配置文件）文件，修改其中的对应的数据库名及密码，修改WEB服务地址；

步骤4：用户使用WebService方式调用源数据库的WEB服务；

步骤4.1：使用步骤1创建的数据提取接口按照数据结构从源数据库逐个提取数据；

步骤4.2：使用步骤1创建的数据验证接口，对步骤4.1提取的数据进行数据验证；

步骤4.3：将步骤4.1提取的数据经过步骤4.2的数据验证后填入接口的源数据结构中；

步骤5：用户使用WebService方式调用目标数据库的WEB服务操作；

步骤5.1：使用步骤1创建的数据结构转换接口，将步骤4.3获得的源数据结构转化为目标数据结构，实现异构数据的平稳转化；

所述的步骤5.1中，将源数据结构转化为目标数据结构时包含数据清洗的过程，数据清洗主要是针对源数据库中，对出现二义性、重复、不完整、违反业务或逻辑规则问题的数据进行的清洗操作。

步骤5.2：使用步骤1创建的数据验证接口，对转化后的数据进行判断操作，判断该数据是否已经存在，如果已经存在，则利用步骤1中主数据库创建的更新接口进行更新操作，如果不存在则利用步骤1中主数据库创建的插入接口进行插入操作，在更新时，判断是否有空的字段，如果有空字段，则这些字段不更新。

如图1，本发明实例方案主要针对房屋管理平台不同数据库之间的迁移。房屋管理涉及业务众多，包括合同备案、商品房登记、物业管理、住房保障等，各业务系统有自己的数据库。为了打通各业务数据库之间的数据隔阂、减少数据冗余、提高工作效率等，对现有管理平台进行升级，建立主数据库。在主数据库建立后，需要把以前各个业务系统的数据迁移到升级后的主数据库中。各个业务系统所采用的数据库类型、数据模型、数据结构各不相同；同时分布在不同的服务器上，硬件环境也不相同；并且各业务系统目前都在使用中，处在不断更新中。因此，迁移该新旧系统的数据需要解决异构、连续等问题。本发明实例以房屋管理平台系统之间的数据迁移为例，采用了基于SOA和WebService的数据迁移方法，开发了一套新的数据迁移程序，智能高效的处理了不同系统之间的异构性、以及迁移数据的连续性等问题，提高了数据迁移效率，保证了数据迁移质量，降低了用户操作成本。

如图2，本发明实施案例涉及的硬件运行环境包括多个平台。图中以合同备案系统、登记系统、楼盘表与中心数据库之间的数据迁移为例进行说明，具体实施流程如图3。

步骤1：

使用SOA的方式，对源数据库和主数据库（目标数据库）制作WEB接口，设计并实现相应的WEB接口，数据抽取、转换是根据新旧系统数据库的映射关系进行的：

1.1幢转换操作（TransferBuild）：该操作实现把源数据库中楼盘表的数据结构转换成主数据库的楼盘表数据结构，并插入或更新到主数据库中。该操作输入为源数据栋的结构，输出为中心数据幢的结构。具体数据迁移流程见图1。由于幢的数据结构包含了自然幢、逻辑幢、层、户等，因此该操作可以转换楼盘的基本信息。按照正常意义上来说，进行数据结构转换不应该是放在主数据库WEB服务这个层次，而应该在源数据库WEB服务上进行，或中间专门进行数据转换的服务上。本发明简化了这些转换，并且主键ID设计为自增的整型，必须要在数据库服务器上生成主键ID才能保证唯一性，因此不得不在这个WEB服务上实现该操作。

1.2幢房唯一性验证操作：获得幢房相关信息后，首先要确认数据是否已经存在于数据库中，如果已经存在，就进行更新操作，如果不存在就进行插入操作。判断数据是否存在首先是找原始主键是否存在，再次找名称相同的存在。在更新时，如果发现有些字段为空的，则这些字段都不要更新，否则有可能把已经有值的字段又更新为空了。具体流程如图4所示。

1.3：数据字典更新操作：取得源数据对应的数据字典字段数据后，要在对应的数据字典表中找到对应源系统的字典项。其基本原则是有标识的根据标识找，没有标识的根据名称查找。找到后，得到标准代码，再根据标准代码找到系统标识为0的（标准代码）项，取得标准代码和名称，最后把当前的标识和标准代码标识和名称都填入相应的字典字段。具体流程如图5所示。

步骤2：

2.1：硬件及服务架构如图2所示，据此对接口进行组装，建立主数据库WEB服务（服务名为ManageRealEstateService），连接主数据库。

2.2：源数据有三个数据库，分别是合同备案系统、登记系统、楼盘表，可以做成三个服务，每个服务连接一个系统的数据库。但是为了简便，在此实施例中我们将三个系统建立成一个服务，同时连接三个系统数据库，服务名为ManageSourceRealEstateService。ManageSourceRealEstateService连接合同备案系统（HTBA）、登记系统（whfcegs_sj）和楼盘表数据库（LPB）。

步骤3：

进行WEB服务部署，包括安装WindowsServer2008（Windows服务器操作系统）及以上版本，安装.NetFramework4.0及4.5（微软的.net操作框架），安装IIS7.0（互联网信息服务），同时必需选择ASP.NET（动态服务器页面）功能；安装完成后将要部署的文件（bin,service1.asmx,Web.config均为文件名）复制到目标目录，也就是数据源数据库所在的服务器的文件夹下（C:\inetpub\wwwroot）。新建网站指向目标目录，在我的电脑->管理->服务和应用程序->internet信息服务->网站中找到目标目录。

配置完成后，打开IE，输入服务地址，查看服务部署是否成功；

修改web.config中的数据库名和密码，修改WEB服务的地址。

步骤4：

调用源数据库的WEB服务，按照数据结构从源数据库逐个提取数据，验证数据的一致性。

步骤5：

调用目标数据库的WEB服务操作，将获得的源数据结构转化为目标数据结构，对转化后的数据进行判断操，将转化后的数据插入或更新到目标数据库中。

通过以上实施方案的描述，本领域技术人员可以清楚地了解上述实施例方案需要借助网络服务平台、硬件平台和软件来共同实现。本发明的技术方案本质上或者说对现有技术做出的贡献部分可以以软件的形式表现出来，该计算机软件产品存储在一个存储介质中，移植到任何终端设备（计算机、服务器、或网络设备），通过若干命令便可以执行本发明实施例所述的方法。

以上描述仅为本发明的优选实例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所做的等效结构或流程变换，或直接或间接运用在其他相关的技术领域，均同理落入本发明专利保护范围内。

Claims (2)

1.一种基于SOA和WebService的数据迁移方法，其特征在于：使用SOA和WebService的方式，构建服务接口，组建服务，以WEB服务的方式对数据进行动态、增量迁移，具体包括如下步骤：

步骤1：使用SOA的方式，制作实现对源数据库的提取、验证的WEB接口，实现对主数据库的数据结构转换及验证、主数据库创建更新、插入操作的WEB接口；

步骤2：对步骤1制作的WEB接口进行组装，为源数据库和目标数据库建立WEB服务；

步骤3：对WEB服务进行部署；将要部署的文件复制到目标目录；并新建网站指向目标目录；配置Web.config网络配置文件，修改其中的对应的数据库名及密码；修改WEB服务地址；

步骤4：用户使用WebService方式调用源数据库的WEB服务；所述的步骤4包括以下步骤；

步骤4.1：使用步骤1创建的数据提取接口按照数据结构从源数据库逐个提取数据；

步骤4.2：使用步骤1创建的数据验证接口，对步骤4.1提取的数据进行数据验证；

步骤4.3：将步骤4.1提取的数据经过步骤4.2的数据验证后填入接口的源数据结构中；

步骤5：用户使用WebService方式调用目标数据库的WEB服务操作；所述的步骤5包括以下步骤；

步骤5.1：使用步骤1创建的数据结构转换接口，将步骤4.3获得的源数据结构转化为目标数据结构，实现异构数据的平稳转化；

步骤5.2：使用步骤1创建的数据验证接口，对转化后的数据进行判断操作，判断该数据是否已经存在，如果已经存在，则利用步骤1中主数据库创建的更新接口进行更新操作，如果不存在则利用步骤1中主数据库创建的插入接口进行插入操作，在更新时，判断是否有空的字段，如果有空字段，则这些字段不更新。

2.根据权利要求1所述的基于SOA和WebService的数据迁移方法，其特征在于：所述的步骤5.1中，将源数据结构转化为目标数据结构时包含数据清洗的过程，数据清洗主要是针对源数据库中，对出现二义性、重复、不完整、违反业务或逻辑规则问题的数据进行的清洗操作。