CN108241632A - 一种面向数据库数据迁移的数据验证方法 - Google Patents

一种面向数据库数据迁移的数据验证方法 Download PDF

Info

Publication number
CN108241632A
CN108241632A CN201611206518.6A CN201611206518A CN108241632A CN 108241632 A CN108241632 A CN 108241632A CN 201611206518 A CN201611206518 A CN 201611206518A CN 108241632 A CN108241632 A CN 108241632A
Authority
CN
China
Prior art keywords
data
database
library
node
migration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611206518.6A
Other languages
English (en)
Other versions
CN108241632B (zh
Inventor
曾刚
王焰辉
李振钊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Space Star Technology (beijing) Co Ltd
Original Assignee
Space Star Technology (beijing) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Space Star Technology (beijing) Co Ltd filed Critical Space Star Technology (beijing) Co Ltd
Priority to CN201611206518.6A priority Critical patent/CN108241632B/zh
Publication of CN108241632A publication Critical patent/CN108241632A/zh
Application granted granted Critical
Publication of CN108241632B publication Critical patent/CN108241632B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/214—Database migration support

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种面向数据库数据迁移的数据验证方法，与现有技术相比，本申请数据库数据迁移方法及系统将每个数据表当作一个迁移任务，以数据库导入导出工具或者定制程序作为异构数据库读写数据的主要手段，在分布式集群中运行这些任务，同时在数据处理中加入自定义的分库算法，将读出的数据划分到多个文件中，再在任务中调用数据库导入导出工具或者定制程序将数据导入到多个新的数据库中。各路数据迁移同时进行而不互相影响，大大的加快了数据迁移的速度。同时，提供了数据校验功能，保证了迁移过程中的稳定性及迁移过程中的数据正确性。在数据迁移过程中，对数据进行分布式验证，而保证数据验证的安全性和完备性。同时允许用户自定义数据验证方式，最终将验证的结果数据返回给对应的用户。

Description

一种面向数据库数据迁移的数据验证方法
【技术领域】
本发明致力于数据安全访问，通过在数据库数据迁移的过程中，对迁移数据进行分布式验证，而保证在迁移过程中数据无缺失且完整。
【背景技术】
早期互联网应用中，底层数据普遍采取单库存储所有数据的存储方案。随着互联网应用的发展，用户量的激增，数据存储数量呈指数递增，底层数据单库存储方案制约甚至限制着互联网应用的进一步扩展。为此，为解决单库存储的瓶颈问题，需逐步采用另外一种支持横向存储的解决方案。而要解决数据存储的瓶颈，必须切换现有的存储结构，但由于目前底层数据量非常庞大，在切换存储结构的同时，如何将原有的海量数据迁移到新的支持横向扩展的存储结构上也是一个很大的瓶颈点，特别是这种扩展不能保证最终获得正确、完整的数据结果。且普通的扩展方式不仅成本大、效率低下，且安全性和可靠性不能得到保证。因此，本申请提出以下方案。
【发明内容】
为了解决现有技术中的上述问题，本发明提出了一种面向数据库数据迁移的数据验证方法。本发明采用的技术方案如下：
一种面向数据库数据迁移的数据验证方法
步骤S10，配置数据库数据移动任务的多个任务信息对；其中，每个任务信息对包括给出从第一数据库中需要迁移的源数据表的源任务信息，以及需要迁移到的第二数据库中的目标数据表的目标任务信息；
步骤S20，根据所调度的任务信息对从第一数据库读出该任务信息对中需迁移的源数据表的数据，并对该源数据表的数据进行分库得到多个分库数据表，再将该多个分库数据表导入到分布式文件系统中；
步骤S30，从所述分布式文件系统中读出所述多个分库数据表，在所述分布式文件系统中的至少两个节点中的每个节点的数据提交区内存储其余节点上的分库数据表数据集及其元数据，并在所述至少两个节点中的每个节点中合并所述至少两个节点中的元数据形成元数据总表，以及合并所述至少两个节点中的分库数据表数据集形成数据集合，依照所述元数据总表对数据集合进行校验；当数据集合通过校验时，则将所述数据集合发送至安全数据模块，由安全数据模块合并来自各集群节点上的通过校验的分库数据表数据集后，将合并结果导出到第二数据库中；
步骤S40，数据校验模块104比较第一数据库与第二数据库中的数据，校验在迁移过程中数据是否有缺失以及数据是否不完整。
本发明的有益效果包括：与现有技术相比，本申请数据库数据迁移方法及系统将每个数据表当作一个迁移任务，以数据库导入导出工具或者定制程序作为异构数据库读写数据的主要手段，在分布式集群中运行这些任务，同时在数据处理中加入自定义的分库算法，将读出的数据划分到多个文件中，再在任务中调用数据库导入导出工具或者定制程序将数据导入到多个新的数据库中。各路数据迁移同时进行而不互相影响，大大的加快了数据迁移的速度。同时，提供了数据校验功能，保证了迁移过程中的稳定性及迁移过程中的数据正确性。在数据迁移过程中，对数据进行分布式验证，而保证数据验证的安全性和完备性。同时允许用户自定义数据验证方式，最终将验证的结果数据返回给对应的用户。
【附图说明】
此处所说明的附图是用来提供对本发明的进一步理解，构成本申请的一部分，但并不构成对本发明的不当限定；
图1是本发明方法的流程图。
【具体实施方式】
下面将结合附图以及具体实施例来详细说明本发明，其中的示意性实施例以及说明仅用来解释本发明，但并不作为对本发明的限定。
参见附图1，一种面向数据库数据迁移的数据验证方法
步骤S10，配置数据库数据移动任务的多个任务信息对；其中，每个任务信息对包括给出从第一数据库中需要迁移的源数据表的源任务信息，以及需要迁移到的第二数据库中的目标数据表的目标任务信息；
步骤S20，根据所调度的任务信息对从第一数据库读出该任务信息对中需迁移的源数据表的数据，并对该源数据表的数据进行分库得到多个分库数据表，再将该多个分库数据表导入到分布式文件系统中；
步骤S30，从所述分布式文件系统中读出所述多个分库数据表，在所述分布式文件系统中的至少两个节点中的每个节点的数据提交区内存储其余节点上的分库数据表数据集及其元数据，并在所述至少两个节点中的每个节点中合并所述至少两个节点中的元数据形成元数据总表，以及合并所述至少两个节点中的分库数据表数据集形成数据集合，依照所述元数据总表对数据集合进行校验；当数据集合通过校验时，则将所述数据集合发送至安全数据模块，由安全数据模块合并来自各集群节点上的通过校验的分库数据表数据集后，将合并结果导出到第二数据库中；
步骤S40，数据校验模块104比较第一数据库与第二数据库中的数据，校验在迁移过程中数据是否有缺失以及数据是否不完整。
以上所述仅是本发明的较佳实施方式，故凡依本发明专利申请范围所述的构造、特征及原理所做的等效变化或修饰，均包括于本发明专利申请范围内。

Claims (1)

1.一种面向数据库数据迁移的数据验证方法
步骤S10，配置数据库数据移动任务的多个任务信息对；其中，每个任务信息对包括给出从第一数据库中需要迁移的源数据表的源任务信息，以及需要迁移到的第二数据库中的目标数据表的目标任务信息；
步骤S20，根据所调度的任务信息对从第一数据库读出该任务信息对中需迁移的源数据表的数据，并对该源数据表的数据进行分库得到多个分库数据表，再将该多个分库数据表导入到分布式文件系统中；
步骤S30，从所述分布式文件系统中读出所述多个分库数据表，在所述分布式文件系统中的至少两个节点中的每个节点的数据提交区内存储其余节点上的分库数据表数据集及其元数据，并在所述至少两个节点中的每个节点中合并所述至少两个节点中的元数据形成元数据总表，以及合并所述至少两个节点中的分库数据表数据集形成数据集合，依照所述元数据总表对数据集合进行校验；当数据集合通过校验时，则将所述数据集合发送至安全数据模块，由安全数据模块合并来自各集群节点上的通过校验的分库数据表数据集后，将合并结果导出到第二数据库中；
步骤S40，数据校验模块104比较第一数据库与第二数据库中的数据，校验在迁移过程中数据是否有缺失以及数据是否不完整。
CN201611206518.6A 2016-12-23 2016-12-23 一种面向数据库数据迁移的数据验证方法 Active CN108241632B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611206518.6A CN108241632B (zh) 2016-12-23 2016-12-23 一种面向数据库数据迁移的数据验证方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611206518.6A CN108241632B (zh) 2016-12-23 2016-12-23 一种面向数据库数据迁移的数据验证方法

Publications (2)

Publication Number Publication Date
CN108241632A true CN108241632A (zh) 2018-07-03
CN108241632B CN108241632B (zh) 2022-01-14

Family

ID=62703474

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611206518.6A Active CN108241632B (zh) 2016-12-23 2016-12-23 一种面向数据库数据迁移的数据验证方法

Country Status (1)

Country Link
CN (1) CN108241632B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109150964A (zh) * 2018-07-06 2019-01-04 航天星图科技（北京）有限公司 一种可迁移的数据管理方法及服务迁移方法
CN110209650A (zh) * 2019-05-05 2019-09-06 苏宁易购集团股份有限公司 数据规整迁移方法、装置、计算机设备和存储介质
CN111125063A (zh) * 2019-12-20 2020-05-08 无线生活（杭州）信息科技有限公司 一种快速校验集群间的数据迁移的方法及装置
CN111694556A (zh) * 2019-03-15 2020-09-22 北京京东尚科信息技术有限公司 校验方法及系统和计算机系统及介质
CN112148713A (zh) * 2020-09-29 2020-12-29 中国银行股份有限公司 异构数据库之间数据迁移方法及装置
CN113297182A (zh) * 2021-06-16 2021-08-24 中国农业银行股份有限公司 数据迁移方法、设备、存储介质及程序产品
CN113961625A (zh) * 2021-10-27 2022-01-21 北京科杰科技有限公司 一种异构大数据管理平台任务迁移方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020169735A1 (en) * 2001-03-07 2002-11-14 David Kil Automatic mapping from data to preprocessing algorithms
CN101105854A (zh) * 2007-08-23 2008-01-16 上海交通大学 基于决策树的远程教育环境中学生情况在线检测方法
CN102164161A (zh) * 2011-01-10 2011-08-24 清华大学 一种对并行文件系统进行文件布局提取的方法和装置
CN102521386A (zh) * 2011-12-22 2012-06-27 清华大学 基于集群存储的空间元数据分组方法
CN103535014A (zh) * 2013-04-23 2014-01-22 华为技术有限公司 一种网络存储系统、数据处理方法和客户端
CN103793424A (zh) * 2012-10-31 2014-05-14 阿里巴巴集团控股有限公司 数据库数据迁移方法及系统
CN104361139A (zh) * 2014-12-10 2015-02-18 用友软件股份有限公司 数据导入装置和方法
CN105528381A (zh) * 2014-10-27 2016-04-27 青岛金讯网络工程有限公司 数据库数据迁移方法及系统
US20160246834A1 (en) * 2015-02-20 2016-08-25 Giorgio Regni Locking and i/o improvements of systems built with distributed consistent database implementations within an object store

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020169735A1 (en) * 2001-03-07 2002-11-14 David Kil Automatic mapping from data to preprocessing algorithms
CN101105854A (zh) * 2007-08-23 2008-01-16 上海交通大学 基于决策树的远程教育环境中学生情况在线检测方法
CN102164161A (zh) * 2011-01-10 2011-08-24 清华大学 一种对并行文件系统进行文件布局提取的方法和装置
CN102521386A (zh) * 2011-12-22 2012-06-27 清华大学 基于集群存储的空间元数据分组方法
CN103793424A (zh) * 2012-10-31 2014-05-14 阿里巴巴集团控股有限公司 数据库数据迁移方法及系统
CN103535014A (zh) * 2013-04-23 2014-01-22 华为技术有限公司 一种网络存储系统、数据处理方法和客户端
CN105528381A (zh) * 2014-10-27 2016-04-27 青岛金讯网络工程有限公司 数据库数据迁移方法及系统
CN104361139A (zh) * 2014-12-10 2015-02-18 用友软件股份有限公司 数据导入装置和方法
US20160246834A1 (en) * 2015-02-20 2016-08-25 Giorgio Regni Locking and i/o improvements of systems built with distributed consistent database implementations within an object store

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHRISTOPHER ROSS: "Merge, Metadata and the Data Mart ETL", 《HTTPS://WWW.SQLSERVERCENTRAL.COM/ARTICLES/MERGE-METHOD-AND-THE-DATA-MART-ETL》 *
股狼: "hadoop namenode的工作机制", 《HTTPS://BLOG.CSDN.NET/QQ394829044/ARTICLE/DETAILS/53150912》 *
韦雷: "基于多维双向循环链表的虚拟云存储研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109150964A (zh) * 2018-07-06 2019-01-04 航天星图科技（北京）有限公司 一种可迁移的数据管理方法及服务迁移方法
CN109150964B (zh) * 2018-07-06 2022-01-11 中科星图股份有限公司 一种可迁移的数据管理方法及服务迁移方法
CN111694556A (zh) * 2019-03-15 2020-09-22 北京京东尚科信息技术有限公司 校验方法及系统和计算机系统及介质
CN111694556B (zh) * 2019-03-15 2023-11-07 北京京东尚科信息技术有限公司 校验方法及系统和计算机系统及介质
CN110209650A (zh) * 2019-05-05 2019-09-06 苏宁易购集团股份有限公司 数据规整迁移方法、装置、计算机设备和存储介质
CN110209650B (zh) * 2019-05-05 2021-06-29 苏宁易购集团股份有限公司 数据规整迁移方法、装置、计算机设备和存储介质
CN111125063B (zh) * 2019-12-20 2023-09-26 无线生活（杭州）信息科技有限公司 一种快速校验集群间的数据迁移的方法及装置
CN111125063A (zh) * 2019-12-20 2020-05-08 无线生活（杭州）信息科技有限公司 一种快速校验集群间的数据迁移的方法及装置
CN112148713A (zh) * 2020-09-29 2020-12-29 中国银行股份有限公司 异构数据库之间数据迁移方法及装置
CN112148713B (zh) * 2020-09-29 2024-04-16 中国银行股份有限公司 异构数据库之间数据迁移方法及装置
CN113297182A (zh) * 2021-06-16 2021-08-24 中国农业银行股份有限公司 数据迁移方法、设备、存储介质及程序产品
CN113297182B (zh) * 2021-06-16 2024-01-30 中国农业银行股份有限公司 数据迁移方法、设备、存储介质及程序产品
CN113961625B (zh) * 2021-10-27 2022-06-07 北京科杰科技有限公司 一种异构大数据管理平台任务迁移方法
CN113961625A (zh) * 2021-10-27 2022-01-21 北京科杰科技有限公司 一种异构大数据管理平台任务迁移方法

Also Published As

Publication number Publication date
CN108241632B (zh) 2022-01-14

Similar Documents

Publication Publication Date Title
CN108241632A (zh) 一种面向数据库数据迁移的数据验证方法
CN103793424B (zh) 数据库数据迁移方法及系统
EP3678346A1 (en) Blockchain smart contract verification method and apparatus, and storage medium
CN1983266B (zh) 闪速类介质中存储事务记录的文件系统
CN112669155B (zh) 基于区块链的交易分发执行方法、装置服务器及存储介质
CN112887437B (zh) 区块链交易处理方法、区块链节点和区块链系统
WO2017065885A1 (en) Distributed pipeline optimization data preparation
CN111324577B (zh) 一种Yml文件读写的方法及装置
CN105868421A (zh) 一种数据管理方法及装置
CN104133867A (zh) 分布式顺序表片内二级索引方法及系统
CN102968498A (zh) 数据处理方法及装置
CN105468473A (zh) 数据迁移方法及数据迁移装置
CN104424256B (zh) 布隆过滤器生成方法和装置
CN103514210A (zh) 小文件处理方法及装置
CN104166607B (zh) 用于备份数据库的数据处理方法及装置
CN106970929A (zh) 数据导入方法及装置
WO2017065888A1 (en) Step editor for data preparation
EP3362808B1 (en) Cache optimization for data preparation
CN106021566A (zh) 一种提高单台数据库并发处理能力的方法、装置及系统
US10599614B1 (en) Intersection-based dynamic blocking
CN105528381A (zh) 数据库数据迁移方法及系统
CN107423321B (zh) 适用大批量小文件云存储的方法及其装置
CN104598409A (zh) 一种处理输入输出请求的方法及设备
EP3264254B1 (en) System and method for a simulation of a block storage system on an object storage system
CN116662019B (zh) 请求的分配方法、装置、存储介质及电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 101399 No. 2 East Airport Road, Shunyi Airport Economic Core Area, Beijing (1st, 5th and 7th floors of Industrial Park 1A-4)

Applicant after: Zhongke Star Map Co., Ltd.

Address before: 101399 Building 1A-4, National Geographic Information Technology Industrial Park, Guomen Business District, Shunyi District, Beijing

Applicant before: Space Star Technology (Beijing) Co., Ltd.

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant