CN102135963A - 数据迁移的方法和系统 - Google Patents

Abstract

本发明公开了一种数据迁移的方法和系统，旨在解决现有的数据迁移操作复杂，效率低下，成本高昂，对海量数据迁移几乎难以实现的缺陷。该方法包括以下的步骤：读取需要迁移的磁带中的源数据；检测源数据磁带格式；识别出磁带格式后，根据该磁带格式结构，对数据进行转换和处理，提取其中的有效数据；检测数据文件格式，所述文件格式是指数据还原到磁盘上的存储格式；识别出数据文件格式后，对其中的记录和字段进行转换和处理，同时根据转换策略，在记录和字段之间添加标签，生成中间文件，再将生成的中间文件打包输出到目标存储单元中。本发明用于将超过一定时间期限的磁带源数据迁移到新的目标存储单元上的场合。

Description

数据迁移的方法和系统

技术领域

本发明涉及计算机系统数据处理领域，具体而言，是一种磁带数据迁移的方法和系统。

背景技术

在金融、保险等诸多行业的计算机应用系统中，存在大量备份输出到磁带、磁盘、光盘或本领域已知的任何存储单元(下面简称为磁带)上的历史数据，这些历史数据作为企事业单位珍贵的信息资料和数字资产，需要长期保存和利用。但是，一方面由于磁带有一定生命周期，随着保存时间的增加，磁带会逐渐老化，超过一定期限后，磁带上的数据存在损坏或丢失的风险；另一方面，随着计算机硬件和软件技术的发展和升级，原有的备份系统和平台(如数据库系统、业务系统等)逐渐的退出应用或被新的系统取代，而在原系统下备份的数据则需要经过转换处理才能在新的系统环境下使用。因此，需要定期将超过一定时间期限的原磁带数据迁移到新的目标存储单元上，在迁移的操作中，根据应用场景还需要对数据的编码进行转换和处理，以保证数据在新的环境下能正确的保存、读取和使用。

现有的磁带数据迁移方式是：首先在源数据备份平台和系统环境中，将磁带数据还原读取到计算机的磁盘存储单元中，然后利用原平台的数据恢复命令再对磁盘存储单元中的数据转换和处理成所需的格式后，再输出到新的目标存储单元上。该方式虽然能够完成数据的迁移，但也存在着一个致命的缺陷：由于各种磁带上保存的数据时间跨度大，每个时间段所用的软、硬件平台版本都有所区别，因此数据所涉及的软、硬件平台种类繁多，而随着系统的升级更新，原有的设备和环境已被替换或淘汰，为了迁移在这些平台环境下备份的原磁带数据，需要投入和耗费大量的人力和设备资源创建一个与原备份数据相同的平台环境，然后才能将其中备份的数据迁移到新的目标存储单元上，这种方式不仅操作相当复杂，而且效率极其低下，成本十分高昂，因此，对于海量数据迁移来说几乎难以实现和完成。

发明内容

本发明的目的在于针对现有磁带和其他存储单元中的数据迁移过程依赖于源数据特定的平台和环境，因此使迁移工序复杂、效率低下、成本高昂的问题，而提供一种新的数据迁移方法和系统，以简化迁移工序，提高迁移效率，大大降低迁移的成本，使海量数据迁移变得简单易行。

为了实现上述的目的，本发明提出了一种新的数据迁移的方法和系统。本发明的核心是源数据的迁移不需要依赖特定的平台和应用系统，而是通过对磁带格式和文件格式的自动检测和解码，提供一个通用的数据迁移平台，在这个平台下，可对所有已知格式的磁带数据进行迁移。

上述的数据迁移系统包括一个或多个数据读取模块，一个格式特征库，一个格式检测模块，一个数据转换模块，一个或多个打包输出模块。数据读取模块用于读取需要迁移的源数据。格式特征库是用于存储磁带格式和文件格式特征匹配规则，每种格式对应一条或多条匹配规则，这些规则能够唯一识别对应格式的数据；格式检测模块是用于检测数据的磁带格式和文件格式，当收到检测请求时，系统根据格式特征库中的匹配规则，对输入数据进行格式匹配，输出匹配结果；数据转换模块是根据格式检测结果，对指定格式的数据解码和转换。生成中间文件；数据打包输出模块是将中间文件打包输出到目标存储单元中。

数据读取模块从原存储单元读取源数据，该源数据输入到格式检测模块中，当格式检测模块收到检测请求时，系统根据格式特征库中的匹配规则，对输入数据进行格式匹配，输出匹配结果；该结果输入到数据转换模块中，在数据转换模块中对指定格式的数据解码和转换，生成中间文件；该中间文件输入到数据打包输出模块中，打包后存储到目标存储单元中，完成数据的迁移。

基于上述迁移系统，本发明提出了一种数据迁移方法，本方法包括以下的步骤：

1、读取需要迁移的原磁带中的数据。

2、检测源数据磁带格式，所述磁带格式是指数据在磁带上的存储格式，其中至少包含一个或若干个数据块，可能还包含若干个用于描述磁带格式和数据信息的标签。识别出磁带格式后，根据该磁带格式结构，对数据进行转换和处理，提取其中的有效数据。

3、检测数据文件格式，所述文件格式是指数据还原到磁盘上的存储格式，常见的文件格式是结构化的数据集，在结构化的文件结构中，一个文件包含若干条记录，每条记录包含若干字段。识别出数据文件格式后，对其中的记录和字段进行转换和处理，同时根据转换策略，在记录和字段之间添加标签(Tag)，生成中间文件。

4、将步骤3中生成的中间文件打包输出到目标存储单元中。

本发明的有益效果是，与现有技术相比较，本发明中采用了自动识别数据的磁带格式、文件格式，并对其进行解码和转换，生成中间文件，然后再打包输出。使得数据迁移过程不依赖于特定的备份平台和应用系统，可以在一个平台上对其它所有平台的数据进行迁移，实现了跨平台的数据迁移，降低了迁移过程的复杂度，提高了迁移效率，降低了迁移成本，是海量数据迁移的优选方法。

为了使本发明更加清晰和便于理解，下面通过附图和实施例对其做进一步详细说明。

附图说明

图1为本发明的实施例之系统示意方框图。

图2为本发明所述数据迁移方法的流程图；

图3为图2中的磁带格式解码流程图；

图4为图2中的文件格式解码流程图。

具体实施方式

参看图1。本发明的数据迁移系统包括一个或多个数据读取模块20，对于磁带数据迁移，常用的读取模块为与磁带型号兼容的磁带驱动器；一个格式特征库30，格式特征库是用于存储磁带格式和文件格式特征匹配规则，每种格式对应一条或多条匹配规则，这些规则能够唯一识别对应格式的数据；一个格式检测模块40，格式检测模块是用于检测数据的磁带格式和文件格式；一个数据转换模块50，数据转换模块是根据格式检测结果，对指定格式的数据解码和转换，生成中间文件；一个或多个打包输出模块60，数据打包输出模块是将中间文件打包输出到目标存储单元中。数据读取模块20从原存储单元10中读取需要迁移的源数据，源数据可以包括文件、文件系统、程序、多媒体文件、数据库、数据集、逻辑目录和逻辑卷等。该源数据输入到格式检测模块40中，当格式检测模块40收到检测请求时，系统根据格式特征库30中的匹配规则，对输入数据进行格式匹配，输出匹配结果；该结果输入到数据转换模块50中，在数据转换模块50中对指定格式的数据解码和转换，生成中间文件；该中间文件输入到数据打包输出模块60中，打包后存储到目标存储单元70中，完成数据的迁移。

参照图2所示，本发明所述数据迁移方法包括以下的步骤：

步骤101，读取原磁带数据，将需要迁移的数据从原磁带转移到计算机内存单元中，在一个具体的实施方案中，该项操作可由磁带驱动器或其它可存取磁带数据的设备完成。计算机读出的数据中，包含了磁带格式和文件格式等附加信息，将这种带磁带格式的数据称之为原始磁带数据。

步骤102，磁带格式解码，首先对原始磁带数据进行磁带格式检测和识别，然后根据识别结果，按照磁带格式的结构，对原始磁带数据进行解码和转换，过滤其中的磁带格式的附加信息，生成文件数据。

步骤103，文件格式解码，首先对文件数据进行文件格式检测和识别，然后根据识别结果，按照文件格式的结构，对文件数据进行解码和转换，生成中间文件。

步骤104，数据打包输出，按照预定的打包输出策略，将中间文件重新组织输出到目标存储单元，所述输出策略可以选择下列其中的一种或两种的组合：

1、根据文件中数据内容的分类进行打包，同属于一个应用系统的文件数据内容存在一定的相关性，例如数据库系统中的同一个表或相同记录结构的数据，将这些相关的数据打包到同一存储单元有利于数据的查找。

2、根据文件中数据创建时间进行打包，将相同时间段创建的数据打包到同一存储单元。

参照附图3，前述的步骤102，磁带格式解码包括下面的步骤：

步骤201，接收磁带格式解码请求，在具体的实施方案中，该请求可以在读取到一个数据块时触发，也可以在读取完整个磁带数据时产生；

步骤202，检查是否需要检测磁带格式，如果在之前的步骤中已经执行过磁带格式检测，则直接跳到步骤206，否则进入下一步；

步骤203，加载格式特征库，取出所有的磁带格式的匹配规则；

步骤204，磁带格式匹配，根据匹配规则定义，对请求数据进行匹配；

步骤205，判断匹配是否成功，即根据匹配结果，如果匹配成功，则进入下一步，否则结束解码；

步骤206，磁带格式解码，即根据磁带格式检测的结果，按照该磁带格式所定义的数据存储结构进行相应的解码。

步骤207，输出解码后的文件数据，即将磁带格式解码结果输出到文件数据中。

参照附图4，前述的步骤103，文件格式解码包括下面的步骤：

步骤301，接收文件格式解码请求，在具体的实施方案中，该请求在磁带格式解码后产生；

步骤302，检查是否需要检测文件格式，如果在之前的步骤中已经执行过文件格式检测，则直接跳到步骤306，否则进入下一步；

步骤303，加载格式特征库，取出所有的文件格式的匹配规则；

步骤304，文件格式匹配，根据匹配规则定义，对请求的文件数据进行匹配；

步骤305，判断匹配是否成功，即根据匹配结果，如果匹配成功，则进入下一步，否则结束解码；

步骤306，文件格式解码，即根据文件格式检测的结果，按照该文件格式所定义的数据存储结构进行相应的解码。

步骤307，输出解码后的数据，即将文件格式解码结果输出到中间数据中。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种数据迁移的系统，其特征是包括：

一个或多个数据读取模块，数据读取模块用于读取需要迁移的源数据；

一个格式特征库，格式特征库是用于存储磁带格式和文件格式特征匹配规则，每种格式对应一条或多条匹配规则，这些规则能够唯一识别对应格式的数据；

一个格式检测模块，格式检测模块是用于检测数据的磁带格式和文件格式，当收到检测请求时，系统根据格式特征库中的匹配规则，对输入数据进行格式匹配，输出匹配结果；

一个数据转换模块，数据转换模块是根据格式检测结果，对指定格式的数据解码和转换。生成中间文件；

一个或多个打包输出模块，数据打包输出模块是将中间文件打包输出到目标存储单元中；

数据读取模块从原存储单元读取源数据，该源数据输入到格式检测模块中，当格式检测模块收到检测请求时，系统根据格式特征库中的匹配规则，对输入数据进行格式匹配，输出匹配结果；该结果输入到数据转换模块中，在数据转换模块中对指定格式的数据解码和转换，生成中间文件；该中间文件输入到数据打包输出模块中，打包后存储到目标存储单元中，完成数据的迁移。

2.一种数据迁移的方法，其特征是包括以下的步骤：

步骤(101)，读取原磁带中的数据，将需要迁移的数据从原磁带或其它存储单元转移到计算机内存单元中，计算机读出的数据中包含了磁带格式和文件格式等附加信息，将这种带磁带格式的数据统称之为原始磁带数据；

步骤(102)，磁带格式解码，首先对原始磁带数据进行磁带格式检测和识别，然后根据识别结果，按照磁带格式的结构，对原始磁带数据进行解码和转换，过滤其中的磁带格式的附加信息，生成文件数据；

步骤(103)，文件格式解码，首先对文件数据进行文件格式检测和识别，然后根据识别结果，按照文件格式的结构，对文件数据进行解码和转换，生成中间文件；

步骤(104)，数据打包输出，按照预定的打包输出策略，将中间文件重新组织输出到目标存储单元。

3.根据权利要求2所述的数据迁移的方法，其特征是所说的步骤(102)，磁带格式解码包括下面的步骤：

步骤(201)，接收磁带格式解码请求，该请求可以在读取到一个数据块时触发，也可以在读取完整个磁带数据时产生；

步骤(202)，检查是否需要检测磁带格式，如果在之前的步骤中已经执行过磁带格式检测，则直接跳到步骤(206)，否则进入下一步；

步骤(203)，加载格式特征库，取出所有的磁带格式的匹配规则；

步骤(204)，磁带格式匹配，根据匹配规则定义，对请求数据进行匹配；

步骤(205)，判断匹配是否成功，即根据匹配结果，如果匹配成功，则进入下一步，否则结束解码；

步骤(206)，磁带格式解码，即根据磁带格式检测的结果，按照该磁带格式所定义的数据存储结构进行相应的解码；

步骤(207)，输出解码后的文件数据，即将磁带格式解码结果输出到文件数据中。

4.根据权利要求2或3所述的数据迁移的方法，其特征是所说的步骤(103)，文件格式解码包括下面的步骤：

步骤(301)，接收文件格式解码请求，该请求在磁带格式解码后产生；

步骤(302)，检查是否需要检测文件格式，如果在之前的步骤中已经执行过文件格式检测，则直接跳到步骤306，否则进入下一步；

步骤(303)，加载格式特征库，取出所有的文件格式的匹配规则；

步骤(304)，文件格式匹配，根据匹配规则定义，对请求的文件数据进行匹配；

步骤(305)，判断匹配是否成功，即根据匹配结果，如果匹配成功，则进入下一步，否则结束解码；

步骤(306)，文件格式解码，即根据文件格式检测的结果，按照该文件格式所定义的数据存储结构进行相应的解码；

步骤(307)，输出解码后的数据，即将文件格式解码结果输出到中间数据中。

5.根据权利要求4所述的数据迁移的方法，其特征是所说的步骤(104)，数据打包输出，按照预定的打包输出策略，将中间文件重新组织输出到目标存储单元，所述的输出策略可以选择下列其中的一种或两种的组合：

(1)根据文件中数据内容的分类进行打包，同属于一个应用系统的文件数据内容存在一定的相关性，例如数据库系统中的同一个表或相同记录结构的数据，将这些相关的数据打包到同一存储单元有利于数据的查找；

(2)根据文件中数据创建时间进行打包，将相同时间段创建的数据打包到同一存储单元。

Images