CN104504122A - 一种数据库迁移数据的验证方法及系统 - Google Patents

一种数据库迁移数据的验证方法及系统 Download PDF

Info

Publication number
CN104504122A
CN104504122A CN201410849051.1A CN201410849051A CN104504122A CN 104504122 A CN104504122 A CN 104504122A CN 201410849051 A CN201410849051 A CN 201410849051A CN 104504122 A CN104504122 A CN 104504122A
Authority
CN
China
Prior art keywords
data
database
block
migration
statistical study
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410849051.1A
Other languages
English (en)
Other versions
CN104504122B (zh
Inventor
杨光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Wave Cloud Computing Service Co Ltd
Original Assignee
Inspur Beijing Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Beijing Electronic Information Industry Co Ltd filed Critical Inspur Beijing Electronic Information Industry Co Ltd
Priority to CN201410849051.1A priority Critical patent/CN104504122B/zh
Publication of CN104504122A publication Critical patent/CN104504122A/zh
Application granted granted Critical
Publication of CN104504122B publication Critical patent/CN104504122B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/214—Database migration support

Abstract

本发明披露了一种数据库迁移数据的验证方法及系统，其中系统除了包括各类型的源数据库和目标数据库外，还包括：数据分块模块分别从源数据库和相应的目标数据库抽取数据，形成数据验证的样本数据块；数据块管理模块对该样本数据块通过数据属性分析形成样本数据的块基本信息，然后将源数据库的块基本信息与相应的目标数据库的块基本信息进行比对，得出迁移数据完整性的结论。本发明通过将源数据库和目标数据库各自通过样本抽取获得的块基本信息进行比对，来验证数据库的迁移数据，大大减轻了以往大量数据比对的重负。

Description

一种数据库迁移数据的验证方法及系统
技术领域
本发明涉及对计算机数据库数据进行提取、转换及加载(ETL，Extraction-Transformation-Loading)技术，尤其涉及对数据库迁移数据进行验证的方法及系统。
背景技术
数据验证是指，数据提供方为保证数据的完整性用一种指定的算法对源数据库的原始数据计算出一个校验值，数据接收方用同样的算法对目标数据库的迁移数据计算校验值，如果与数据提供方对原始数据计算的校验值相同，说明迁移的数据是完整的。
随着云计算、大数据等新型技术的发展，对数据验证的高效和精准要求越来越高。由于应用中数据量的增加速度远远超过数据验证分析技术发展的步伐，如何有效地提高数据库系统对数据的验证效率和确保数据的完整性，已成为数据库系统急需解决的技术问题。
传统数据库对数据的验证方法一般通过基本的结构化查询语言(SQL，Structured Query Language)的语句或脚本对源数据库的原始数据和目标数据库的迁移数据进行人工比对查询，它不仅包括对基本数据库对象(数据库结构、表、存储过程、视图、索引以及触发器)的约束及规则运用等，且还包括对数据库其它特有设置的检查，譬如默认设置、游标、内置函数、系统变量等。可见这种方式是通过查询大量的数据实现的，由此会极大地影响验证的效率和准确性，造成数据库迁移周期过长，并使得业务长时间暂停；更严重的是它往往无法针对大的数据对象进行快速、高效的验证。显见得传统的数据验证方法的各局限性已成为云计算、大数据技术发展的瓶颈。
综上所述，需要提供一种验证数据库迁移数据的方法及系统，能够有效地提高对数据库系统的验证效率并保证数据的完整性。
发明内容
本发明所要解决的技术问题是提供一种数据库迁移数据的验证方法及系统，能够有效地提高对数据库系统的验证效率并保证数据的完整性。
为了解决上述技术问题，本发明提供了一种验证数据库迁移数据的系统，除了包括各类型的源数据库和目标数据库外，还包括相互连接的数据分块模块和数据块管理模块，其中：
数据分块模块，用于分别从源数据库和相应的目标数据库抽取数据，形成数据验证的样本数据块；
数据块管理模块，用于对该样本数据块通过数据属性分析形成样本数据的块基本信息，然后将源数据库的块基本信息与相应的目标数据库的块基本信息进行比对，得出迁移数据完整性的结论。
进一步地，
数据分块模块抽取数据包括全量抽取和/或增量抽取；该全量抽取将数据源中的表、视图以及序列的全部数据抽取出来，并转换为本机的提取转换及加载工具可识别的格式；该增量抽取则只抽取数据源自上一次抽取数据以来的表或视图以及序列中新增或修改的数据，并转换为本机的提取转换及加载工具可识别的格式；
数据块管理模块分析的数据属性包括数据块大小、数据块数量以及数据类型中的一种或多种。
进一步地，该系统还包括相互连接的数据统计分析模块以及数据比对验证模块，其中：
数据块管理模块还与数据统计分析模块连接，若比对的块基本信息一致，则将迁移数据初步完整的结论发给数据统计分析模块；若比对的块基本信息不一致，则发出迁移数据不完整的告警；
数据统计分析模块分别与各类型的源数据库和目标数据库连接，用于在收到迁移数据初步完整的结论后将源数据库与目标数据库中的表、视图以及序列各模式的数据进行分析计算，生成一个或多个分析数值记录；
数据比对验证模块，用于对源数据库与目标数据库的分析数值记录进行比对，以验证迁移数据的完整性。
进一步地，
数据统计分析模块将源数据库与目标数据库中的表、视图以及序列各模式的数据用哈希算法、统计分析中的方差或标准差算法中的一种或多种进行统计分析计算，生成一个或多个哈希记录或统计分析数值记录；
数据比对验证模块对源数据库与目标数据库中的数据生成的哈希记录或统计分析数值记录进行比对，若比对结果未出现差异则验证迁移数据完整，若比对结果出现差异则验证迁移数据不完整。
进一步地，
数据统计分析模块用多个进程或线程同时分别对多个源数据库和目标数据库中的表、视图以及序列各模式的数据以及哈希记录或统计分析数值记录进行读写操作；
数据比对验证模块用多个进程或线程同时分别对多个源数据库和目标数据库中的数据生成的哈希记录或统计分析数值记录进行比对来验证数据的操作。
为了解决上述技术问题，本发明提供了一种验证数据库迁移数据的方法，包括：
数据抽取步骤：分别从源数据库和相应的目标数据库抽取数据，形成数据验证的样本数据块；
初步验证步骤：对样本数据块通过数据属性分析形成样本数据的块基本信息，然后将源数据库的块基本信息与相应的目标数据库的块基本信息进行比对，得出迁移数据完整性的结论。
进一步地，
数据抽取步骤中抽取数据包括全量抽取和/或增量抽取；全量抽取将数据源中的表、视图以及序列的全部数据抽取出来，并转换为本机的提取转换及加载工具可识别的格式；增量抽取则只抽取数据源自上一次抽取数据以来的表或视图以及序列中新增或修改的数据，并转换为本机的提取转换及加载工具可识别的格式；
初步验证步骤分析的数据属性包括数据块大小、数据块数量以及数据类型中的一种或多种。
进一步地，将源数据库的块基本信息与相应的目标数据库的块基本信息进行比对，得出迁移数据完整性的结论，具体包括：
若比对的块基本信息一致，则得出迁移数据初步完整的结论；若比对的块基本信息不一致，则发出迁移数据不完整的告警；
在得出迁移数据初步完整的结论后，还包括：
统计分析步骤：将源数据库与所述目标数据库中的表、视图以及序列各模式的数据进行统计分析计算，生成一个或多个分析数值记录；
最终验证步骤：对源数据库与目标数据库的数据生成的分析数值记录进行比对，得到最终的迁移数据完整性的验证结论。
进一步地，
统计分析步骤中将源数据库与目标数据库中的表、视图以及序列各模式的数据用哈希算法、统计分析中的方差或标准差算法中的一种或多种进行统计分析计算，生成一个或多个哈希记录或统计分析数值记录；
最终验证步骤中将对源数据库与目标数据库中的数据生成的哈希记录或统计分析数值记录进行比对，若比对结果未出现差异则最终验证迁移数据完整，若比对结果出现差异则最终验证迁移数据不完整。
进一步地，
在统计分析步骤中用多个进程或线程同时分别对多个源数据库和目标数据库中的表、视图以及序列各模式的数据以及哈希记录或所述统计分析数值记录进行读写操作；
在最终验证步骤中用多个进程或线程同时分别对多个源数据库和目标数据库中的数据生成的哈希记录或统计分析数值记录进行比对来验证数据的操作。
本发明通过将源数据库和目标数据库各自通过样本抽取获得的块基本信息进行比对，来验证数据库的迁移数据，减轻了以往大量数据比对的重负；同时对两类数据库的表、视图、序列等数据进行HASH计算或统计分析数值计算，生成一个或多个保存HASH数值表或统计分析数值表，并进行比对来达到对数据库的迁移数据高效、精确验证的目的。由多个进程或线程同时读或写HASH计算或数据统计分析的数据，使得数据库数据验证过程能够在短时间内完成。为了避免出现某进程失效造成整个数据验证崩溃，本发明提出“数据分块验证”算法来提高验证方法的可靠性和容错性。
附图说明
图1为本发明的验证数据库迁移数据的系统实施例的拓扑示意图；
图2为本发明的验证数据库迁移数据的系统实施例的结构示意图；
图3为本发明的验证数据库迁移数据的方法实施例的流程图。
具体实施方式
以下结合附图和优选实施例对本发明的技术方案进行详细地阐述。应该理解，以下列举的实施例仅用于说明和解释本发明，而不构成对本发明技术方案的限制。
请参照图1、图2，本发明的验证数据库迁移数据的系统实施例的结构，除了各类型的源数据库和目标数据库外，还包括相互连接的数据分块模块和数据块管理模块，其中：
数据分块模块，用于分别从源数据库和相应的目标数据库抽取数据，形成数据验证的样本数据块；
数据块管理模块，用于对样本数据块通过数据属性分析形成样本数据的块基本信息，然后将源数据库的块基本信息与相应的目标数据库的块基本信息进行比对，得出迁移数据完整性的结论。
在上述系统实施例中，
数据分块模块抽取数据包括全量抽取和/或增量抽取；全量抽取是将数据源中的表、视图以及序列的全部数据从数据库中抽取出来，并转换为本机的ETL工具可识别的格式；增量抽取则只抽取数据源中自上一次抽取数据以来数据库的表或视图以及序列中新增或修改的数据，并转换为本机的ETL工具可识别的格式；
数据块管理模块分析的数据属性包括数据块大小、数据块数量以及数据类型中的一种或多种。
在ETL工具使用过程中，增量抽取较全量抽取应用更广。如何捕获变化的数据是增量抽取的关键。对其捕获方法一般有两点要求：准确性，能够将业务系统中的变化数据按一定的频率准确地捕获到；性能佳，不能对业务系统造成太大的压力，影响现有业务。
上述系统实施例还包括相互连接的数据统计分析模块以及数据比对验证模块，其中：
数据块管理模块还与数据统计分析模块连接，若比对的块基本信息一致，则将迁移数据初步完整的结论发给数据统计分析模块；若比对的块基本信息不一致，则发出迁移数据不完整的告警；
数据统计分析模块，分别与各类型的源数据库和目标数据库连接，用于在收到迁移数据初步完整的结论后将源数据库与目标数据库中的表、视图以及序列各模式的数据进行分析计算，生成一个或多个分析数值记录；
数据比对验证模块，用于对源数据库与目标数据库的分析数值记录进行比对，以验证迁移数据的完整性。
在上述系统实施例中，
数据统计分析模块将源数据库与目标数据库中的表、视图以及序列各模式的数据用哈希算法、统计分析中的方差或标准差算法中的一种或多种进行统计分析计算，生成一个或多个哈希记录(哈希表)或统计分析数值记录(统计分析数值表)；
数据比对验证模块对源数据库与目标数据库中的数据生成的哈希记录或统计分析数值记录进行比对，若比对结果未出现差异则验证迁移数据完整，若比对结果出现差异则验证迁移数据不完整。
由于HASH算法和统计分析方法特性，使得保存HASH数值的HASH记录或统计分析数值记录保存了数据库各个方面的数据特征信息，它们能够以“信息摘要”的精缩方式体现原来数据的特征及其变化，为数据库数据的快速、高效地比对提供了可能，从而使得数据的高效验证得以实现。
在上述系统实施例中，
数据统计分析模块用多个进程或线程同时分别对多个源数据库和目标数据库中的表、视图以及序列各模式的数据以及HASH记录或统计分析数值记录的读写操作；
数据比对验证模块用多个进程或线程同时分别对多个源数据库和目标数据库中的哈希记录或统计分析数值记录进行比对来验证数据的操作。
本发明通过数据统计分析模块和数据比对验证模块分别使用多个进程或线程同时进行读取/写入与HASH表和统计分析计算验证数据的操作，使得数据库数据验证过程并发、高效地进行，从而能够在短时间内完成大量数据验证。
本发明针对上述系统实施例，相应地还提供了验证数据库迁移数据的方法实施例，其流程如图3所示，包括如下步骤：
110：分别从源数据库和相应的目标数据库抽取数据，形成数据验证的样本数据块；
抽取数据包括全量抽取和/或增量抽取；其中全量抽取将数据源中的表或视图的全部数据抽取出来，并转换为本机的ETL工具可识别的格式；增量抽取则只抽取数据源中自上一次抽取数据以来的表或视图中新增或修改的数据，并转换为本机的ETL工具可识别的格式。
120：对样本数据块通过数据属性分析形成样本数据的块基本信息，然后将源数据库的块基本信息与相应的目标数据库的块基本信息进行比对，得出迁移数据完整性的结论。
分析的数据属性包括数据块大小、数据块数量以及数据类型中的一种或多种。
上述方法实施例还包括：
130、140：根据比对的块基本信息一致得出迁移数据初步完整的结论，则继续执行验证数据的下面步骤，否则进行迁移数据不完整的告警操作。
150：将源数据库与目标数据库中的表、视图以及序列各模式的数据进行分析计算，生成一个或多个分析数值记录；
在这一步骤中将源数据库与目标数据库中的表、视图以及序列各模式的数据用哈希算法、统计分析中的方差或标准差算法中的一种或多种进行统计分析计算，生成一个或多个哈希记录或统计分析数值记录。
在这一步骤中用多个进程或线程同时分别对多个源数据库和目标数据库中的表、视图以及序列各模式的数据以及所述哈希记录或所述统计分析数值记录进行读写操作。
160：将对源数据库与目标数据库中的数据生成的分析数值记录进行比对，得到最终的迁移数据完整性的验证结论。
在这一步骤中将对源数据库与目标数据库中的数据生成的哈希记录或统计分析数值记录进行比对，若比对结果未出现差异则验证迁移数据完整，若比对结果出现差异则验证迁移数据不完整。
在这一步骤中用多个进程或线程同时分别对多个源数据库和目标数据库中的所述数据生成的哈希记录或统计分析数值记录进行比对来验证数据的操作。

Claims (10)

1.一种验证数据库迁移数据的系统，包括各类型的源数据库和目标数据库，其特征在于还包括相互连接的数据分块模块和数据块管理模块，其中：
数据分块模块，用于分别从源数据库和相应的目标数据库抽取数据，形成数据验证的样本数据块；
数据块管理模块，用于对所述样本数据块通过数据属性分析形成样本数据的块基本信息，然后将源数据库的块基本信息与相应的目标数据库的块基本信息进行比对，得出迁移数据完整性的结论。
2.按照权利要求1所述的系统，其特征在于，
所述数据分块模块抽取数据包括全量抽取和/或增量抽取；所述全量抽取将数据源中的表、视图以及序列的全部数据抽取出来，并转换为本机的提取转换及加载工具可识别的格式；所述增量抽取则只抽取数据源自上一次抽取数据以来的表或视图以及序列中新增或修改的数据，并转换为本机的提取转换及加载工具可识别的格式；
所述数据块管理模块分析的数据属性包括数据块大小、数据块数量以及数据类型中的一种或多种。
3.按照权利要求2所述的系统，其特征在于，还包括相互连接的数据统计分析模块以及数据比对验证模块，其中：
所述数据块管理模块还与数据统计分析模块连接，若比对的所述块基本信息一致，则将迁移数据初步完整的结论发给数据统计分析模块；若比对的所述块基本信息不一致，则发出迁移数据不完整的告警；
数据统计分析模块分别与各类型的源数据库和目标数据库连接，用于在收到所述迁移数据初步完整的结论后将源数据库与目标数据库中的表、视图以及序列各模式的数据进行分析计算，生成一个或多个分析数值记录；
数据比对验证模块，用于对源数据库与目标数据库的分析数值记录进行比对，以验证迁移数据的完整性。
4.按照权利里要求3所述的系统，其特征在于，
所述数据统计分析模块将源数据库与目标数据库中的表、视图以及序列各模式的数据用哈希算法、统计分析中的方差或标准差算法中的一种或多种进行统计分析计算，生成一个或多个哈希记录或统计分析数值记录；
所述数据比对验证模块对源数据库与目标数据库中的数据生成的所述哈希记录或所述统计分析数值记录进行比对，若比对结果未出现差异则验证迁移数据完整，若比对结果出现差异则验证迁移数据不完整。
5.按照权利要求4所述的系统，其特征在于，
所述数据统计分析模块用多个进程或线程同时分别对多个源数据库和目标数据库中的表、视图以及序列各模式的数据以及所述哈希记录或所述统计分析数值记录进行读写操作；
所述数据比对验证模块用多个进程或线程同时分别对多个源数据库和目标数据库中的所述数据生成的哈希记录或统计分析数值记录进行比对来验证数据的操作。
6.一种验证数据库迁移数据的方法，包括：
数据抽取步骤：分别从源数据库和相应的目标数据库抽取数据，形成数据验证的样本数据块；
初步验证步骤：对所述样本数据块通过数据属性分析形成样本数据的块基本信息，然后将源数据库的块基本信息与相应的目标数据库的块基本信息进行比对，得出迁移数据完整性的结论。
7.按照权利要求6所述的方法，其特征在于，
所述数据抽取步骤中抽取数据包括全量抽取和/或增量抽取；所述全量抽取将数据源中的表、视图以及序列的全部数据抽取出来，并转换为本机的提取转换及加载工具可识别的格式；所述增量抽取则只抽取数据源自上一次抽取数据以来的表或视图以及序列中新增或修改的数据，并转换为本机的提取转换及加载工具可识别的格式；
所述初步验证步骤分析的所述数据属性包括数据块大小、数据块数量以及数据类型中的一种或多种。
8.按照权利要求7所述的方法，其特征在于，将源数据库的块基本信息与相应的目标数据库的块基本信息进行比对，得出迁移数据完整性的结论，具体包括：
若比对的所述块基本信息一致，则得出迁移数据初步完整的结论；若比对的所述块基本信息不一致，则发出迁移数据不完整的告警；
在得出所述迁移数据初步完整的结论后，还包括：
统计分析步骤：将所述源数据库与所述目标数据库中的表、视图以及序列各模式的数据进行统计分析计算，生成一个或多个分析数值记录；
最终验证步骤：对所述源数据库与所述目标数据库的所述数据生成的所述分析数值记录进行比对，得到最终的迁移数据完整性的验证结论。
9.按照权利要求8所述的方法，其特征在于，
所述统计分析步骤中将源数据库与目标数据库中的表、视图以及序列各模式的数据用哈希算法、统计分析中的方差或标准差算法中的一种或多种进行统计分析计算，生成一个或多个哈希记录或统计分析数值记录；
所述最终验证步骤中将对所述源数据库与所述目标数据库中的所述数据生成的所述哈希记录或所述统计分析数值记录进行比对，若比对结果未出现差异则最终验证迁移数据完整，若比对结果出现差异则最终验证迁移数据不完整。
10.按照权利要求9所述的方法，其特征在于，
在所述统计分析步骤中用多个进程或线程同时分别对多个源数据库和目标数据库中的表、视图以及序列各模式的数据以及所述哈希记录或所述统计分析数值记录进行读写操作；
在所述最终验证步骤中用多个进程或线程同时分别对多个源数据库和目标数据库中的所述数据生成的哈希记录或统计分析数值记录进行比对来验证数据的操作。
CN201410849051.1A 2014-12-29 2014-12-29 一种数据库迁移数据的验证方法及系统 Active CN104504122B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410849051.1A CN104504122B (zh) 2014-12-29 2014-12-29 一种数据库迁移数据的验证方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410849051.1A CN104504122B (zh) 2014-12-29 2014-12-29 一种数据库迁移数据的验证方法及系统

Publications (2)

Publication Number Publication Date
CN104504122A true CN104504122A (zh) 2015-04-08
CN104504122B CN104504122B (zh) 2018-02-06

Family

ID=52945519

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410849051.1A Active CN104504122B (zh) 2014-12-29 2014-12-29 一种数据库迁移数据的验证方法及系统

Country Status (1)

Country Link
CN (1) CN104504122B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105843820A (zh) * 2015-01-16 2016-08-10 阿里巴巴集团控股有限公司 数据迁移方法及装置
CN106202111A (zh) * 2015-05-06 2016-12-07 阿里巴巴集团控股有限公司 数据库数据的校验方法和装置
CN107103077A (zh) * 2017-04-25 2017-08-29 广东浪潮大数据研究有限公司 一种数据迁移前后完整性确定方法及系统
CN107122361A (zh) * 2016-02-24 2017-09-01 阿里巴巴集团控股有限公司 数据迁移系统和方法
CN107423436A (zh) * 2017-08-04 2017-12-01 郑州云海信息技术有限公司 一种用于不同类型数据库间在线数据迁移的方法
CN108021505A (zh) * 2017-12-05 2018-05-11 百度在线网络技术（北京）有限公司 数据上线方法、装置和计算机设备
CN108334452A (zh) * 2018-02-08 2018-07-27 深圳壹账通智能科技有限公司 规则数据移交测试方法、装置、计算机设备和存储介质
CN108959044A (zh) * 2018-06-08 2018-12-07 郑州云海信息技术有限公司 一种基于perl的验证MCS下卷迁移有效性的方法和系统
CN109002474A (zh) * 2018-06-15 2018-12-14 北京信安世纪科技股份有限公司 一种数据迁移方法及装置
WO2019001272A1 (zh) * 2017-06-25 2019-01-03 平安科技（深圳）有限公司 数据搬迁系统及方法
CN109325014A (zh) * 2018-08-23 2019-02-12 北京信安世纪科技股份有限公司 一种关系数据库建库完整性效验方法及装置
CN110083615A (zh) * 2019-04-12 2019-08-02 平安普惠企业管理有限公司 一种数据验证方法、装置、电子设备及存储介质
CN110764700A (zh) * 2019-10-12 2020-02-07 上海陆家嘴国际金融资产交易市场股份有限公司 数据存储方法、装置、计算机设备和存储介质
CN110765162A (zh) * 2019-09-06 2020-02-07 上海陆家嘴国际金融资产交易市场股份有限公司 数据比对方法、装置、计算机设备和存储介质
CN111522798A (zh) * 2020-06-18 2020-08-11 腾讯科技（深圳）有限公司 数据同步方法、装置、设备及可读存储介质
CN111611253A (zh) * 2020-04-01 2020-09-01 石化盈科信息技术有限责任公司 数据校验方法、设备和存储介质
CN113392090A (zh) * 2021-06-29 2021-09-14 未鲲(上海)科技服务有限公司 基于数据库迁移的数据验证方法、装置、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120221510A1 (en) * 2010-03-31 2012-08-30 International Business Machines Corporation Method and system for validating data
CN103793424A (zh) * 2012-10-31 2014-05-14 阿里巴巴集团控股有限公司 数据库数据迁移方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120221510A1 (en) * 2010-03-31 2012-08-30 International Business Machines Corporation Method and system for validating data
CN103793424A (zh) * 2012-10-31 2014-05-14 阿里巴巴集团控股有限公司 数据库数据迁移方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
宋鹏等: "ETL技术在复杂数据迁移项目中的应用", 《西安工程大学学报》 *
韩建国等: "《大型企业信息化工程项目群管理实战：神华信息化PMO案例解析》", 31 January 2014, 中国经济出版社 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105843820B (zh) * 2015-01-16 2019-10-08 阿里巴巴集团控股有限公司 数据迁移方法及装置
CN105843820A (zh) * 2015-01-16 2016-08-10 阿里巴巴集团控股有限公司 数据迁移方法及装置
CN106202111A (zh) * 2015-05-06 2016-12-07 阿里巴巴集团控股有限公司 数据库数据的校验方法和装置
CN106202111B (zh) * 2015-05-06 2019-10-29 阿里巴巴集团控股有限公司 数据库数据的校验方法和装置
CN107122361A (zh) * 2016-02-24 2017-09-01 阿里巴巴集团控股有限公司 数据迁移系统和方法
CN107122361B (zh) * 2016-02-24 2021-07-06 阿里巴巴集团控股有限公司 数据迁移系统和方法
CN107103077A (zh) * 2017-04-25 2017-08-29 广东浪潮大数据研究有限公司 一种数据迁移前后完整性确定方法及系统
CN107103077B (zh) * 2017-04-25 2021-05-18 广东浪潮大数据研究有限公司 一种数据迁移前后完整性确定方法及系统
WO2019001272A1 (zh) * 2017-06-25 2019-01-03 平安科技（深圳）有限公司 数据搬迁系统及方法
CN107423436A (zh) * 2017-08-04 2017-12-01 郑州云海信息技术有限公司 一种用于不同类型数据库间在线数据迁移的方法
CN108021505A (zh) * 2017-12-05 2018-05-11 百度在线网络技术（北京）有限公司 数据上线方法、装置和计算机设备
CN108021505B (zh) * 2017-12-05 2021-05-28 百度在线网络技术（北京）有限公司 数据上线方法、装置和计算机设备
CN108334452A (zh) * 2018-02-08 2018-07-27 深圳壹账通智能科技有限公司 规则数据移交测试方法、装置、计算机设备和存储介质
CN108959044A (zh) * 2018-06-08 2018-12-07 郑州云海信息技术有限公司 一种基于perl的验证MCS下卷迁移有效性的方法和系统
CN109002474A (zh) * 2018-06-15 2018-12-14 北京信安世纪科技股份有限公司 一种数据迁移方法及装置
CN109325014A (zh) * 2018-08-23 2019-02-12 北京信安世纪科技股份有限公司 一种关系数据库建库完整性效验方法及装置
CN110083615A (zh) * 2019-04-12 2019-08-02 平安普惠企业管理有限公司 一种数据验证方法、装置、电子设备及存储介质
WO2020207008A1 (zh) * 2019-04-12 2020-10-15 平安普惠企业管理有限公司 一种数据验证方法、装置、电子设备及存储介质
CN110765162A (zh) * 2019-09-06 2020-02-07 上海陆家嘴国际金融资产交易市场股份有限公司 数据比对方法、装置、计算机设备和存储介质
CN110764700B (zh) * 2019-10-12 2023-02-07 未鲲(上海)科技服务有限公司 数据存储方法、装置、计算机设备和存储介质
CN110764700A (zh) * 2019-10-12 2020-02-07 上海陆家嘴国际金融资产交易市场股份有限公司 数据存储方法、装置、计算机设备和存储介质
CN111611253A (zh) * 2020-04-01 2020-09-01 石化盈科信息技术有限责任公司 数据校验方法、设备和存储介质
CN111611253B (zh) * 2020-04-01 2023-08-08 石化盈科信息技术有限责任公司 数据校验方法、设备和存储介质
CN111522798A (zh) * 2020-06-18 2020-08-11 腾讯科技（深圳）有限公司 数据同步方法、装置、设备及可读存储介质
CN111522798B (zh) * 2020-06-18 2020-10-23 腾讯科技（深圳）有限公司 数据同步方法、装置、设备及可读存储介质
CN113392090A (zh) * 2021-06-29 2021-09-14 未鲲(上海)科技服务有限公司 基于数据库迁移的数据验证方法、装置、设备及介质

Also Published As

Publication number Publication date
CN104504122B (zh) 2018-02-06

Similar Documents

Publication Publication Date Title
CN104504122A (zh) 一种数据库迁移数据的验证方法及系统
US9659042B2 (en) Data lineage tracking
US9483587B2 (en) Master bill of materials creation
US20100280990A1 (en) Etl for process data warehouse
CN106815326B (zh) 一种检测无主键数据表一致性的系统及方法
WO2017107853A1 (zh) 一种数据监控管理方法、数据监控方法及系统
CN106293891B (zh) 多维投资指标监督方法
CN107016018B (zh) 数据库索引创建方法及装置
US10223388B2 (en) Avoid double counting of mapped database data
CN104866580A (zh) 一种数据库变更对现有业务影响的快速侦测方法
CN109508355A (zh) 一种数据抽取方法、系统及终端设备
CN107797916B (zh) Ddl语句审核方法和装置
CN105373472B (zh) 一种基于数据库的统计准确性的测试方法及测试系统
CN105630656B (zh) 基于日志模型的系统健壮性分析方法及装置
US20190370368A1 (en) Data consistency verification method and system minimizing load of original database
CN104778179A (zh) 一种数据迁移测试方法和系统
CN104636241A (zh) 基于需求建模的车载控制器日志数据自动分析方法
CN108897765A (zh) 一种数据批量导入方法及其系统
US20120124428A1 (en) Method and system for testing software on programmable devices
CN104391910A (zh) 一种基于HBase的税收统计报表存储与计算的方法
CN109344163B (zh) 一种数据校验方法、装置和计算机可读介质
CN105573984A (zh) 社会经济指标的识别方法及装置
CN115422180A (zh) 数据校验方法及系统
CN114356454A (zh) 对账数据处理方法、设备、存储介质及程序产品
CN108156197B (zh) 一种用户分布信息的获取方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20180817

Address after: 200436 Room 411, No. three, JIANGCHANG Road, Jingan District, Shanghai, 411

Patentee after: Shanghai wave Cloud Computing Service Co., Ltd.

Address before: 100085 floor 1, C 2-1, No. 2, Shang Di Road, Haidian District, Beijing.

Patentee before: Electronic information industry Co.,Ltd of the tide (Beijing)