CN107315814A - 一种kdb数据库数据迁移后数据一致性验证方法及系统 - Google Patents

Abstract

本申请公开了一种KDB数据库迁移后数据一致性验证方法，包括：在将迁移前KDB数据库中的数据从源端迁移至目标端前，建立源端数据核对表，并获取所述迁移前KDB数据库中数据的行数，然后将该行数存储至所述源端数据核对表中；建立目标端数据核对表；在数据迁移后，获取迁移后KDB数据库中的数据的行数，并将该行数存储至所述目标端数据核对表中；判断所述目标端数据核对表中存储的行数与所述源端数据核对表中存储的行数是否一致，如果是，则判定迁移前后的数据相一致。通过本申请所提供的方法，数据一致性验证过程不需要源端以及目标端以外第三方工具，使整个验证过程更加简单灵活。另外，本申请还相应公开了一种KDB数据库迁移后数据一致性验证系统。

Description

一种KDB数据库数据迁移后数据一致性验证方法及系统

技术领域

本发明涉及数据库技术，特别涉及一种KDB数据库数据迁移后数据一致性验证方法及系统。

背景技术

KDB数据库是一款企业级数据管理系统，由浪潮信息公司开发并推出。KDB数据库具有高性能、高可用性、高兼容性以及便捷管理等特性，因此广大企业都利用KDB数据库进行信息的管理。

在搭载KDB数据库的设备，例如服务器等设备，因故障或其他原因需要更换时，就需要将旧设备中KDB数据库的数据迁移到新设备中。数据迁移的成功取决于迁移后数据的一致性，也就是说，迁移前旧设备中KDB数据库的数据应该与迁移后新设备中KDB数据库的数据保持一致。

在现有技术中，对于迁移后数据一致性的验证方法一般借助数据库以外的第三方工具，例如，利用第三方工具收集迁移前的旧设备中KDB数据库的数据信息与迁移后的新设备中KDB数据库的数据信息，对这两种信息进行对比判断数据的一致性。但是，使用第三方工具可能存在信息安全的隐患，例如第三方工具会导致企业重要信息泄露等问题，并且使用第三方软件进行数据的一致性验证过程繁琐，影响数据库迁移的效率。

发明内容

有鉴于此，本发明的目的在于提供一种KDB数据库迁移后数据一致性验证方法及系统，在验证数据迁移前后一致性时不需要借助第三方工具，使验证过程简单灵活。其具体方案如下：

一种KDB数据库迁移后数据一致性验证方法，包括：

在将迁移前KDB数据库中的数据从源端迁移至目标端前，建立源端数据核对表，并获取所述迁移前KDB数据库中数据的行数，然后将该行数存储至所述源端数据核对表中；

建立目标端数据核对表；

在数据迁移后，获取迁移后KDB数据库中的数据的行数，并将该行数存储至所述目标端数据核对表中；

判断所述目标端数据核对表中存储的行数与所述源端数据核对表中存储的行数是否一致，如果是，则判定迁移前后的数据相一致。

优选地，所述建立源端数据核对表的过程，包括：

判断所述源端中是否已存在历史数据核对表，如果是，则删除所述历史数据核对表，并建立新的数据核对表，得到所述源端数据核对表。

优选地，还包括：

在数据迁移前，根据所述源端的表空间对所述目标端的表空间进行设置。

优选地，所述根据所述源端的表空间对所述目标端的表空间进行设置的过程，包括：

根据所述源端的表空间的大小对所述目标端的表空间进行设置，以使所述目标端的表空间大于或等于所述源端的表空间；

根据所述源端的表空间的划分对所述目标端的表空间进行设置，以使所述目标端的表空间数量以及名称均与所述源端相一致。

优选地，还包括：

根据所述源端的日志对所述目标端的日志进行设置，以使所述目标端的日志与所述源端的日志相一致。

优选地，还包括：

当所述目标端数据核对表中存储的行数与所述源端数据核对表中存储的行数不一致，则标记出所述目标端数据核对表的名称。

优选地，所述判断所述目标端数据核对表中存储的行数与所述源端数据核对表中存储的行数是否一致，如果是，则判定迁移前后的数据相一致的过程，包括：

利用预设的db_link函数将所述源端数据核对表传输至所述目标端中；

在所述目标端中判断所述目标端数据核对表中存储的行数与所述源端数据核对表中存储的行数是否一致，如果是，则判定迁移前后的数据相一致。

本发明还公开了一种KDB数据库迁移后数据一致性验证系统，包括：

源端数据核对表建立模块，用于在将迁移前KDB数据库中的数据从源端迁移至目标端前，建立源端数据核对表，并获取所述迁移前KDB数据库中数据的行数，然后将该行数存储至所述源端数据核对表中；

目标端数据核对表建立模块，用于建立目标端数据核对表；

目标端数据行数存储模块，用于在数据迁移后，获取迁移后KDB数据库中的数据的行数，并将该行数存储至所述目标端数据核对表中；

数据行数判断模块，用于判断所述目标端数据核对表中存储的行数与所述源端数据核对表中存储的行数是否一致，如果是，则判定迁移前后的数据相一致。

优选地，所述源端数据核对表建立模块，包括：

源端数据核对表建立单元，用于判断所述源端中是否已存在历史数据核对表，如果是，则删除所述历史数据核对表，并建立新的数据核对表，得到所述源端数据核对表。

优选地，所述数据行数判断模块，包括：

源端数据核对表传输单元，用于利用预设的db_link函数将所述源端数据核对表传输至所述目标端中；

数据行数判断单元，用于在所述目标端中判断所述目标端数据核对表中存储的行数与所述源端数据核对表中存储的行数是否一致，如果是，则判定迁移前后的数据相一致。

本发明中，KDB数据库迁移后数据一致性验证方法包括：在将迁移前KDB数据库中的数据从源端迁移至目标端前，建立源端数据核对表，并获取迁移前KDB数据库中数据的行数，然后将该行数存储至源端数据核对表中；建立目标端数据核对表；在数据迁移后，获取迁移后KDB数据库中的数据的行数，并将该行数存储至目标端数据核对表中；判断目标端数据核对表中存储的行数与源端数据核对表中存储的行数是否一致，如果是，则判定迁移前后的数据相一致。可见，本发明在迁移前的源端以及迁移后的目标端中建立数据核对表，利用数据核对表存储数据迁移前后的行数，最后通过验证数据迁移前后数据行数的一致性来验证数据的一致性，因此整个发明的方法步骤都在源端以及目标端中进行，不需要源端以及目标端以外第三方工具，使整个验证过程更加简单灵活。总的来说，利用本发明所提供的KDB数据库迁移后数据一致性验证方法，使KDB数据库迁移前后数据一致性的验证更加简单灵活。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例公开的一种KDB数据库迁移后数据一致性验证方法流程图；

图2为本发明实施例公开的一种具体的KDB数据库迁移后数据一致性验证方法流程图；

图3为本发明实施例公开的另一种具体的KDB数据库迁移后数据一致性验证方法流程图；

图4为本发明公开的一种KDB数据库迁移后数据一致性验证系统结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种KDB数据库迁移后数据一致性验证方法，参见图1所示，该方法包括：

步骤S11：在将迁移前KDB数据库中的数据从源端迁移至目标端前，建立源端数据核对表，并获取迁移前KDB数据库中数据的行数，然后将该行数存储至源端数据核对表中。

本发明实施例中，KDB数据库是一款企业级数据管理系统，由浪潮信息公司开发并推出。KDB数据库具有高性能、高可用性、高兼容性以及便捷管理等特性，因此广大企业都利用KDB数据库进行信息的存储以及管理。

源端以及目标端为搭载该KDB数据库的终端设备，例如服务器、云服务器以及个人电脑等。源端因故障或其他原因需要更换时，就可以将源端中KDB数据库的数据迁移到新设备中，也就是将数据迁移至目标端中。

源端数据核对表指的是在源端中生成的一个表，可以用于存储数据进行核对所需的信息，例如数据迁移前，在源端服务器中，利用源端服务器的操作命令create，生成的一个名为table_row的表作为源端数据核对表，在源端数据核对表table_row存储用于进行迁移后数据一致检验的信息。

KDB数据库中的数据行数则是进行迁移后数据一致检验的信息。在存储有重要数据的KDB数据库，例如企业的KDB数据库中，由于重要信息比较隐秘，涉及信息的安全，在未经授权许可是不能读取的，所以不可以在数据迁移前后读取数据来进行数据一致性的检验，因此可以利用数据库中数据的行数作为一致性验证的标准，数据迁移前和迁移后的数据行数如果保持一致，那么说明该数据在迁移前和迁移后保持一致。

获取迁移前KDB数据库中数据的行数，然后将该行数存储至源端数据核对表中的过程，也可以通过操作命令来实现，例如在源端服务器中，利用操作命令统计收集KDB数据库中的数据行数，然后利用操作命令调取建立的源端数据核对表table_row，将收集得到的数据行数通过操作命令插入table_row中进行存储。

步骤S12：建立目标端数据核对表。

目标端数据核对表指的是在目标端中生成的一个表，可以用于存储数据进行核对所需的信息，例如在目标端服务器中，利用目标端服务器的操作命令create，生成的一个名为table_row2的表作为源端数据核对表，在源端数据核对表table_row2存储用于进行迁移后数据一致检验的信息。

步骤S13：在数据迁移后，获取迁移后KDB数据库中的数据的行数，并将该行数存储至目标端数据核对表中。

获取迁移后KDB数据库中的数据的行数，并将该行数存储至目标端数据核对表中的过程，也可以通过操作命令来实现，例如在目标端服务器中，利用操作命令统计收集KDB数据库中的数据行数，然后利用操作命令调取建立的目标端数据核对表table_row2，将收集得到的数据行数通过操作命令插入table_row2中进行存储。

步骤S14：判断目标端数据核对表中存储的行数与源端数据核对表中存储的行数是否一致，如果是，则判定迁移前后的数据相一致。

本发明实施例中，判断目标端数据核对表中存储的行数与源端数据核对表中存储的行数是否一致，需要调取目标端中的目标数据核对表以及源端中的源端数据核对表，例如可以在数据迁移后，使用笔记本连接源端，调取源端数据核对表，然后连接目标端，调取目标端数据核对表，最后在笔记本中进行两表中数据行数的判断，得出数据迁移后是否一致的结果，这里的笔记本还可以是其他计算分析设备，这里不做限定。

可见，本发明实施例在迁移前的源端以及迁移后的目标端中建立数据核对表，利用数据核对表存储数据迁移前后的行数，最后通过验证数据迁移前后数据行数的一致性来验证数据的一致性，因此整个发明的方法步骤都在源端以及目标端中进行，不需要源端以及目标端以外第三方工具，使整个验证过程更加简单灵活。总的来说，利用本发明实施例所提供的KDB数据库迁移后数据一致性验证方法，使KDB数据库迁移前后数据一致性的验证更加简单灵活。

本发明实施例公开了一种具体的KDB数据库迁移后数据一致性验证方法，参见图2所示，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体的：

步骤21：在数据迁移前，根据源端的表空间对目标端的表空间进行设置。

本发明实施例中，表空间指的是KDB数据库的逻辑划分空间，KDB数据库的对象都存放在指定的表空间中，例如可以在KDB数据库中划分多个表空间来存放不同类型的数据，以提高数据库输入输出数据的性能。

因此，在本发明实施例中，为了使数据在迁移后以及迁移前的存储以及管理环境大体保持一致，保证输入输出数据的性能以及方便KDB数据库的用户能够按照在迁移前的操作习惯来操作数据，可以在数据迁移前对目标端的表空间根据源端的表空间进行相应的设置。

其中，根据源端的表空间对目标端的表空间进行设置的过程，包括：

根据源端的表空间的大小对目标端的表空间进行设置，以使目标端的表空间大于或等于源端的表空间；

在进行目标端表空间的设置时，设置目标端的表空间大于或等于源端表空间，可以使KDB数据库的数据在迁移时，不会产生因目标端的表空间比源端中相应的表空间小而产生数据迁移不完整的问题。例如在目标端服务器中，利用服务器的操作指令，找到与源端表空间对应的表空间，然后利用操作指令来调整该表空间的大小，使其大于或等于源端中相应的表空间。

根据源端的表空间的划分对目标端的表空间进行设置，以使目标端的表空间数量以及名称均与源端相一致。

在数据迁移前，源端的KDB数据库中划分多个表空间来存放不同类型的数据，以提高数据库输入输出数据的性能，因此目标端的KDB数据库也需要划分多个相同数量的表空间来存放迁移后的数据，以确保迁移后目标端KDB数据库的输入输出性能。例如在目标端服务器中，利用服务器的操作指令，对目标端的KDB数据库进行逻辑划分表空间，并进行与源端中表空间相应的命名。

步骤S22：在将迁移前KDB数据库中的数据从源端迁移至目标端前，建立源端数据核对表，并获取迁移前KDB数据库中数据的行数，然后将该行数存储至源端数据核对表中。

步骤S22中，建立源端数据核对表的过程，包括：

判断源端中是否已存在历史数据核对表，如果是，则删除历史数据核对表，并建立新的数据核对表，得到源端数据核对表。

相对于上述发明实施例，本发明实施例中，考虑到源端设备可能进行过KDB数据库的数据迁移，在源端设备中可能保留有历史迁移过程中建立的数据核对表，也即历史数据核对表。在进行当前数据迁移过程中，为了确保源端数据核对表中信息的准确性，需要将源端中的历史数据核对表删除，再建立新的数据核对表也即源端数据核对表。判断源端中是否已存在历史数据核对表的过程，例如在源端服务器中，可以利用服务器的操作指令，搜索服务器中存储的历史数据核对表，找到该历史数据核对表，然后利用操作指令进行删除操作。

步骤S23：建立目标端数据核对表。

步骤S24：在数据迁移后，获取迁移后KDB数据库中的数据的行数，并将该行数存储至目标端数据核对表中。

步骤S25：判断目标端数据核对表中存储的行数与源端数据核对表中存储的行数是否一致，如果是，则判定迁移前后的数据相一致。

对于目标端的设置，还包括：

根据源端的日志对目标端的日志进行设置，以使目标端的日志与源端的日志相一致。

本发明实施例中，在数据迁移后，为保证用户在目标端中使用的KDB数据库大体上与源端的一致，还可以根据源端中KDB数据库的日志对目标端的日志进行相应的设置，使目标端的日志与源端的日志一致，方便用户在目标端中利用KDB数据库来进行数据的管理。例如在目标端服务器中，利用服务器的操作命令设置日志，使目标端的日志与源端的日志大小一致，并且还可以插入在源端上的历史日志，使目标端的日志可以详细反映数据的操作经历。

本发明实施例公开了另一种具体的KDB数据库迁移后数据一致性验证方法，参见图3所示，相对于上述实施例，本实施例对技术方案作了进一步的说明和优化。具体的：

步骤S31：在将迁移前KDB数据库中的数据从源端迁移至目标端前，建立源端数据核对表，并获取迁移前KDB数据库中数据的行数，然后将该行数存储至源端数据核对表中。

步骤S32：建立目标端数据核对表。

步骤S33：在数据迁移后，获取迁移后KDB数据库中的数据的行数，并将该行数存储至目标端数据核对表中。

步骤S341：利用预设的db_link函数将源端数据核对表传输至目标端中。

本发明实施例中，db_link函数主要的功能是使本地的数据库可以访问外地的数据库，起到数据库连接的作用，也即，可以利用db_link函数在目标端的KDB数据库上与源端的KDB数据库连接，进行访问，获取源端的源端数据核对表。对于db_link函数的设定，例如可以在目标端服务器中，利用服务器操作指令生成预设的db_link函数。

步骤S342：在目标端中判断目标端数据核对表中存储的行数与源端数据核对表中存储的行数是否一致，如果是，则判定迁移前后的数据相一致。

现对于上述实施例，本发明实施例中，判断目标端数据核对表中存储的行数与源端数据核对表中存储的行数是否一致，就不需要调取目标端中的目标数据核对表以及源端中的源端数据核对表，因为在上述步骤S341后，目标端中就同时拥有源端数据核对表和目标端数据核对表，可以直接在目标端上进行数据行数的比较。例如，经过步骤S341后，在目标端服务器上已经有源端数据核对表table_row以及目标端数据核对表table_row2，利用服务器操作命令就可以对这两个表存储的数据行数进行比较。

步骤S35：当目标端数据核对表中存储的行数与源端数据核对表中存储的行数不一致，则标记出目标端数据核对表的名称。

本发明实施例中，如果在数据行数进行对比后，发现有不一致的地方，则说明这次数据迁移失败了，为了可以及时作出补救的措施，可以标记出数据行数不一致的目标端数据核对表，进行相应的补救措施，以避免数据缺失对使用数据进行生产所带来的影响。例如在标记出数据行数不一致的目标端数据核对表后，可以对该目标端数据核对表中相应的数据从源端中再次进行迁移。

本发明实施例还公开了一种KDB数据库迁移后数据一致性验证系统，参见图1所示，该系统包括：

源端数据核对表建立模块11，用于在将迁移前KDB数据库中的数据从源端迁移至目标端前，建立源端数据核对表，并获取迁移前KDB数据库中数据的行数，然后将该行数存储至源端数据核对表中。

目标端数据核对表建立模块12，用于建立目标端数据核对表。

目标端数据行数存储模块13，用于在数据迁移后，获取迁移后KDB数据库中的数据的行数，并将该行数存储至目标端数据核对表中。

数据行数判断模块14，用于判断目标端数据核对表中存储的行数与源端数据核对表中存储的行数是否一致，如果是，则判定迁移前后的数据相一致。

其中，源端数据核对表建立模块11，包括：

源端数据核对表建立单元，用于判断源端中是否已存在历史数据核对表，如果是，则删除历史数据核对表，并建立新的数据核对表，得到源端数据核对表。

其中，数据行数判断模块14，包括：

源端数据核对表传输单元，用于利用预设的db_link函数将源端数据核对表传输至目标端中。

数据行数判断单元，用于在目标端中判断目标端数据核对表中存储的行数与源端数据核对表中存储的行数是否一致，如果是，则判定迁移前后的数据相一致。

关于上述各个模块和各个单元更加详细的工作过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的一种KDB数据库迁移后数据一致性验证方法及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种KDB数据库迁移后数据一致性验证方法，其特征在于，包括：

在将迁移前KDB数据库中的数据从源端迁移至目标端前，建立源端数据核对表，并获取所述迁移前KDB数据库中数据的行数，然后将该行数存储至所述源端数据核对表中；

建立目标端数据核对表；

在数据迁移后，获取迁移后KDB数据库中的数据的行数，并将该行数存储至所述目标端数据核对表中；

判断所述目标端数据核对表中存储的行数与所述源端数据核对表中存储的行数是否一致，如果是，则判定迁移前后的数据相一致。

2.根据权利要求1所述的方法，其特征在于，所述建立源端数据核对表的过程，包括：

判断所述源端中是否已存在历史数据核对表，如果是，则删除所述历史数据核对表，并建立新的数据核对表，得到所述源端数据核对表。

3.根据权利要求1所述的方法，其特征在于，还包括：

在数据迁移前，根据所述源端的表空间对所述目标端的表空间进行设置。

4.根据权利要求3所述的方法，其特征在于，所述根据所述源端的表空间对所述目标端的表空间进行设置的过程，包括：

根据所述源端的表空间的大小对所述目标端的表空间进行设置，以使所述目标端的表空间大于或等于所述源端的表空间；

根据所述源端的表空间的划分对所述目标端的表空间进行设置，以使所述目标端的表空间数量以及名称均与所述源端相一致。

5.根据权利要求1所述的方法，其特征在于，还包括：

根据所述源端的日志对所述目标端的日志进行设置，以使所述目标端的日志与所述源端的日志相一致。

6.根据权利要求1所述的方法，其特征在于，还包括：

当所述目标端数据核对表中存储的行数与所述源端数据核对表中存储的行数不一致，则标记出所述目标端数据核对表的名称。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述判断所述目标端数据核对表中存储的行数与所述源端数据核对表中存储的行数是否一致，如果是，则判定迁移前后的数据相一致的过程，包括：

利用预设的db_link函数将所述源端数据核对表传输至所述目标端中；

在所述目标端中判断所述目标端数据核对表中存储的行数与所述源端数据核对表中存储的行数是否一致，如果是，则判定迁移前后的数据相一致。

8.一种KDB数据库迁移后数据一致性验证系统，其特征在于，包括：

源端数据核对表建立模块，用于在将迁移前KDB数据库中的数据从源端迁移至目标端前，建立源端数据核对表，并获取所述迁移前KDB数据库中数据的行数，然后将该行数存储至所述源端数据核对表中；

目标端数据核对表建立模块，用于建立目标端数据核对表；

目标端数据行数存储模块，用于在数据迁移后，获取迁移后KDB数据库中的数据的行数，并将该行数存储至所述目标端数据核对表中；

数据行数判断模块，用于判断所述目标端数据核对表中存储的行数与所述源端数据核对表中存储的行数是否一致，如果是，则判定迁移前后的数据相一致。

9.根据权利要求8所述的系统，其特征在于，所述源端数据核对表建立模块，包括：

源端数据核对表建立单元，用于判断所述源端中是否已存在历史数据核对表，如果是，则删除所述历史数据核对表，并建立新的数据核对表，得到所述源端数据核对表。

10.根据权利要求8或9所述的系统，其特征在于，所述数据行数判断模块，包括：

源端数据核对表传输单元，用于利用预设的db_link函数将所述源端数据核对表传输至所述目标端中；

数据行数判断单元，用于在所述目标端中判断所述目标端数据核对表中存储的行数与所述源端数据核对表中存储的行数是否一致，如果是，则判定迁移前后的数据相一致。