CN108460108A - 一种数据库数据整理迁移方法、系统以及存储介质 - Google Patents
一种数据库数据整理迁移方法、系统以及存储介质 Download PDFInfo
- Publication number
- CN108460108A CN108460108A CN201810122917.7A CN201810122917A CN108460108A CN 108460108 A CN108460108 A CN 108460108A CN 201810122917 A CN201810122917 A CN 201810122917A CN 108460108 A CN108460108 A CN 108460108A
- Authority
- CN
- China
- Prior art keywords
- database
- data
- migration
- moving method
- transformational relation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/214—Database migration support
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据库数据整理迁移方法、系统以及存储介质，其中，所述方法包括如下步骤：获取原始数据库中的数据，并对原始数据库的结构进行分析；将原始数据库与更新后的数据库中的数据建立对照以及转换关系；系统生成原数据库数据迁移任务；加载所述数据迁移任务并执行，进行数据库的数据迁移，通过本发明所述方案，能够快速准确的进行数据库数据迁移，降低了错误率，提高了效率。
Description
技术领域
本发明涉及数据库领域，尤其涉及一种数据库数据整理迁移方法、系统以及存储介质。
背景技术
现在技术中，数据整理、迁移都是一项耗时、费力的工作，在每次信息系统升级时都必须要花大量的时间来实施，并且效果往往还不理想。主要有以下几点问题，1）数据质量不高，由于数据库设计年代不同、数据库类型不同等原因导致数据对应关系不完整、数据格式转换不到位等问题；2）过程不可见、不可控制，数据迁移处于黑盒状态，从执行开始到结束都无法控制；3）迁移方案不可重复执行，每次执行的迁移方案都不能复用。
因此，现有技术还有待于改进和发展。
发明内容
鉴于上述现有技术的不足，本发明的目的在于提供一种数据库数据整理迁移方法、系统以及存储介质，旨在解决系统数据库的数据整理迁移问题。
本发明的技术方案如下：
一种数据库数据整理迁移方法，其中，包括如下步骤：
获取原始数据库中的数据，并对原始数据库的结构进行分析；
将原始数据库与更新后的数据库中的数据建立对照以及转换关系；
系统生成原数据库数据迁移任务；
加载所述数据迁移任务并执行，进行数据库的数据迁移。
所述的数据库数据整理迁移方法，其中，加载所述数据迁移任务并执行，进行数据库的数据迁移的步骤之后还包括步骤：
生成数据库数据迁移报告，并输出。
所述的数据库数据整理迁移方法，其中，所述获取原始数据库中的数据，并对原始数据库的结构进行分析的步骤中，所述数据库的结构包括：数据库类型、版本、表结构和关系、数据质量情况。
所述的数据库数据整理迁移方法，其中，所述将原始数据库与更新后的数据库中的数据建立对照以及转换关系的步骤中，数据的对照以及转换关系包括一对一或一对多或多对多的方式。
所述的数据库数据整理迁移方法，其中，所述将原始数据库与更新后的数据库中的数据建立对照以及转换关系的步骤中，当对照以及转换关系为一对一时，通过对照或字段类型对数据进行转换。
所述的数据库数据整理迁移方法，其中，所述将原始数据库与更新后的数据库中的数据建立对照以及转换关系的步骤中，当对照以及转换关系为一对多或多对多时，通过SQL函数进行数据转换。
所述的数据库数据整理迁移方法，其中，所述系统生成原数据库数据迁移任务的步骤中，迁移任务以XML格式表达，内容包括数据表、对应及转换关系说明、异常处理方式。
所述的数据库数据整理迁移方法，其中，所述生成数据库数据迁移报告，并输出生成报告的步骤中，任务执行完成以后，系统生成报告，报告内容包括迁移任务的执行时间、执行用户、迁移的数据量、成功数量和失败数量。
一种数据库整理迁移系统，其中，包括处理器，以及与所述处理器连接的存储器，所述存储器存储有数据库整理迁移程序，所述数据库整理迁移程序被所述处理器执行时实现以下步骤：
获取原始数据库中的数据，并对原始数据库的结构进行分析；
将原始数据库与更新后的数据库中的数据建立对照以及转换关系；
系统生成原数据库数据迁移任务；
加载所述数据迁移任务并执行，进行数据库的数据迁移；
生成数据库数据迁移报告，并输出。
一种存储介质，其中，所述存储介质存储有数据库整理迁移程序，该数据库整理迁移程序被处理器执行时实现权利要求1至8任一项所述数据库整理迁移方法的步骤。
有益效果：本发明公开了一种数据库数据整理迁移方法、系统以及存储介质，其中，所述方法包括如下步骤：获取原始数据库中的数据，并对原始数据库的结构进行分析；将原始数据库与更新后的数据库中的数据建立对照以及转换关系；系统生成原数据库数据迁移任务；加载所述数据迁移任务并执行，进行数据库的数据迁移，通过本发明所述方案，能够快速准确的进行数据库数据迁移，降低了错误率，提高了效率。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1为本发明所述数据库数据整理迁移方法的步骤流程图。
图2为本发明所述数据库数据整理迁移系统的结构框图，。
具体实施方式
本发明提供一种数据库数据整理迁移方法、系统以及存储介质，为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
请参阅图1，为本发明所述方法的步骤流程图，本发明公开了一种数据库数据整理迁移方法，其中，包括如下步骤：
S1、获取原始数据库中的数据，并对原始数据库的结构进行分析；
S2、将原始数据库与更新后的数据库中的数据建立对照以及转换关系；
S3、系统生成原数据库数据迁移任务；
S4、加载所述数据迁移任务并执行，进行数据库的数据迁移。
本发明公开了一种数据库的数据整理以及迁移方法，也就是对数据库进行更新，将原始数据库中的数据转移到更新后的数据库中，获取原始数据库的数据，并对原始数据库的结构进行分析，并根据原始数据库的数据结构，与更新后的数据库中的数据建立对照以及转换关系，建立关系后的数据，根据对应关系，能进行相应的迁移，生成数据库的数据迁移任务，用户加载所述任务并且执行，从而对数据库中的数据进行迁移。
进一步的，所述的数据库数据整理迁移方法，其中，加载所述数据迁移任务并执行，进行数据库的数据迁移的步骤之后还包括步骤：
S5、生成数据库数据迁移报告，并输出。
本发明进一步的，所述数据库数据整理迁移方法中，加载数据迁移任务并执行，在执行过程中，也许会产生错误，或者在任务执行完成后，会产生相应的数据报告，因此，本发明中，还包括生成数据库的迁移报告，并输出，方便用户知悉进程报告。
进一步的，所述的数据库数据整理迁移方法，其中，所述获取原始数据库中的数据，并对原始数据库的结构进行分析的步骤中，所述数据库的结构包括：数据库类型、版本、表结构和关系、数据质量情况。
进一步的，所述的数据库数据整理迁移方法，其中，所述将原始数据库与更新后的数据库中的数据建立对照以及转换关系的步骤中，数据的对照以及转换关系包括一对一或一对多或多对多的方式。
进一步的，所述的数据库数据整理迁移方法，其中，所述将原始数据库与更新后的数据库中的数据建立对照以及转换关系的步骤中，当对照以及转换关系为一对一时，通过对照或字段类型对数据进行转换。
进一步的，所述的数据库数据整理迁移方法，其中，所述将原始数据库与更新后的数据库中的数据建立对照以及转换关系的步骤中，当对照以及转换关系为一对多或多对多时，通过SQL函数进行数据转换。
进一步的，所述的数据库数据整理迁移方法，其中，所述系统生成原数据库数据迁移任务的步骤中，迁移任务以XML格式表达，内容包括数据表、对应及转换关系说明、异常处理方式。
进一步的，所述的数据库数据整理迁移方法，其中，所述生成数据库数据迁移报告，并输出生成报告的步骤中，任务执行完成以后，系统生成报告，报告内容包括迁移任务的执行时间、执行用户、迁移的数据量、成功数量和失败数量。
本发明所述方案，对数据库中的数据进行整理迁移的步骤具体包括几个阶段：
第一阶段：分析旧数据库结构，通过分析了解旧数据库类型、版本、表结构和关系、数据质量情况等；
第二阶段：建立新旧数据对照、转换关系，数据应用关系包括一对一、一对多和多对多的情况，对于一对一的情况只需要对照或字段类型转换；对于一对多和多对多的情况则需要基于SQL函数实现；
第三阶段：生成数据迁移任务，任务以XML格式表达，内容包括数据表、对应及转换关系说明、异常处理方式等内容；
第四阶段：程序加载任务并执行，程序可以把任务加载进来，选择执行时间和方式后就可以启动数据迁移过程；
第五阶段：生成报告，任务执行完成以后，系统生成报告，报告内容包括迁移任务的执行时间、执行用户、迁移的数据量、成功数量和失败数量。
进一步的，本发明还公开了一种数据库整理迁移系统，如图2所示，为其结构框图，其中，包括处理器100，以及与所述处理器100连接的存储器200，所述存储器200存储有数据库整理迁移程序，所述数据库整理迁移程序被所述处理器100执行时实现以下步骤：
获取原始数据库中的数据，并对原始数据库的结构进行分析；
将原始数据库与更新后的数据库中的数据建立对照以及转换关系；
系统生成原数据库数据迁移任务；
加载所述数据迁移任务并执行，进行数据库的数据迁移；
生成数据库数据迁移报告，并输出。
进一步的，本发明还公开了一种存储介质，其中，所述存储介质存储有数据库整理迁移程序，该数据库整理迁移程序被处理器执行时实现权利要求1至8任一项所述数据库整理迁移方法的步骤。
综上所述，本发明公开了一种数据库数据整理迁移方法、系统以及存储介质，其中，所述方法包括如下步骤：获取原始数据库中的数据，并对原始数据库的结构进行分析；将原始数据库与更新后的数据库中的数据建立对照以及转换关系；系统生成原数据库数据迁移任务；加载所述数据迁移任务并执行，进行数据库的数据迁移，通过本发明所述方案，能够快速准确的进行数据库数据迁移，降低了错误率，提高了效率。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (10)
1.一种数据库数据整理迁移方法，其特征在于，包括如下步骤：
获取原始数据库中的数据，并对原始数据库的结构进行分析；
将原始数据库与更新后的数据库中的数据建立对照以及转换关系；
系统生成原数据库数据迁移任务；
加载所述数据迁移任务并执行，进行数据库的数据迁移。
2.根据权利要求1所述的数据库数据整理迁移方法，其特征在于，加载所述数据迁移任务并执行，进行数据库的数据迁移的步骤之后还包括步骤：
生成数据库数据迁移报告，并输出。
3.根据权利要求1所述的数据库数据整理迁移方法，其特征在于，所述获取原始数据库中的数据，并对原始数据库的结构进行分析的步骤中，所述数据库的结构包括：数据库类型、版本、表结构和关系、数据质量情况。
4.根据权利要求1所述的数据库数据整理迁移方法，其特征在于，所述将原始数据库与更新后的数据库中的数据建立对照以及转换关系的步骤中，数据的对照以及转换关系包括一对一或一对多或多对多的方式。
5.根据权利要求4所述的数据库整理迁移方法，其特征在于，所述将原始数据库与更新后的数据库中的数据建立对照以及转换关系的步骤中，当对照以及转换关系为一对一时，通过对照或字段类型对数据进行转换。
6.根据权利要求4所述的数据库整理迁移方法，其特征在于，所述将原始数据库与更新后的数据库中的数据建立对照以及转换关系的步骤中，当对照以及转换关系为一对多或多对多时，通过SQL函数进行数据转换。
7.根据权利要求1所述的数据库整理迁移方法，其特征在于，所述系统生成原数据库数据迁移任务的步骤中，迁移任务以XML格式表达，内容包括数据表、对应及转换关系说明、异常处理方式。
8.根据权利要求2所述的数据库整理迁移方法，其特征在于，所述生成数据库数据迁移报告，并输出生成报告的步骤中，任务执行完成以后，系统生成报告，报告内容包括迁移任务的执行时间、执行用户、迁移的数据量、成功数量和失败数量。
9.一种数据库整理迁移系统，其特征在于，包括处理器，以及与所述处理器连接的存储器，所述存储器存储有数据库整理迁移程序，所述数据库整理迁移程序被所述处理器执行时实现以下步骤：
获取原始数据库中的数据，并对原始数据库的结构进行分析；
将原始数据库与更新后的数据库中的数据建立对照以及转换关系；
系统生成原数据库数据迁移任务；
加载所述数据迁移任务并执行，进行数据库的数据迁移；
生成数据库数据迁移报告，并输出。
10.一种存储介质，其特征在于，所述存储介质存储有数据库整理迁移程序，该数据库整理迁移程序被处理器执行时实现权利要求1至8任一项所述数据库整理迁移方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810122917.7A CN108460108A (zh) | 2018-02-07 | 2018-02-07 | 一种数据库数据整理迁移方法、系统以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810122917.7A CN108460108A (zh) | 2018-02-07 | 2018-02-07 | 一种数据库数据整理迁移方法、系统以及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108460108A true CN108460108A (zh) | 2018-08-28 |
Family
ID=63238724
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810122917.7A Pending CN108460108A (zh) | 2018-02-07 | 2018-02-07 | 一种数据库数据整理迁移方法、系统以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108460108A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104281704A (zh) * | 2014-10-22 | 2015-01-14 | 新华瑞德（北京）网络科技有限公司 | 数据库数据拷贝方法和装置 |
| CN107122360A (zh) * | 2016-02-24 | 2017-09-01 | 阿里巴巴集团控股有限公司 | 数据迁移系统和方法 |
| CN107357883A (zh) * | 2017-06-30 | 2017-11-17 | 北京奇虎科技有限公司 | 数据迁移方法及装置 |
| CN107423334A (zh) * | 2017-04-24 | 2017-12-01 | 云宏信息科技股份有限公司 | 一种支持多数据源的自动数据迁移方法及装置 |
-
2018
- 2018-02-07 CN CN201810122917.7A patent/CN108460108A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104281704A (zh) * | 2014-10-22 | 2015-01-14 | 新华瑞德（北京）网络科技有限公司 | 数据库数据拷贝方法和装置 |
| CN107122360A (zh) * | 2016-02-24 | 2017-09-01 | 阿里巴巴集团控股有限公司 | 数据迁移系统和方法 |
| CN107423334A (zh) * | 2017-04-24 | 2017-12-01 | 云宏信息科技股份有限公司 | 一种支持多数据源的自动数据迁移方法及装置 |
| CN107357883A (zh) * | 2017-06-30 | 2017-11-17 | 北京奇虎科技有限公司 | 数据迁移方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103441900B (zh) | 集中式跨平台自动化测试系统及其控制方法 | |
| US11250344B2 (en) | Machine learning based analytics platform | |
| CN104778124B (zh) | 一种软件应用自动化测试方法 | |
| CN105426394B (zh) | 基于跨平台的移动报表生成方法和系统 | |
| CN104123227A (zh) | 一种自动生成测试用例的方法 | |
| CN102135938A (zh) | 一种软件产品测试方法及系统 | |
| CN102999537A (zh) | 一种数据迁移系统和方法 | |
| CN202339542U (zh) | 一种软件产品测试系统 | |
| Torgo | An infra-structure for performance estimation and experimental comparison of predictive models in r | |
| CN108037919A (zh) | 一种基于web的可视化大数据工作流配置方法及系统 | |
| CN103077022B (zh) | 一种作业流程可视化的作业配置方法和装置 | |
| CN104750606B (zh) | 一种基于反射的自动化测试方法 | |
| CN103744647A (zh) | 一种基于工作流GPD的Java工作流开发系统及其方法 | |
| CN110888818A (zh) | 测试用例配置系统与方法，自动化测试系统与方法 | |
| CN105760296A (zh) | 自动化测试控制方法、装置及终端 | |
| CN103914307A (zh) | 一种基于可复用库的交互界面快速实现方法 | |
| CN108804300A (zh) | 自动化测试方法及系统 | |
| CN104657274A (zh) | 软件界面测试方法及装置 | |
| CN103984769A (zh) | 一种用例数据管理存储方法 | |
| CN109978495A (zh) | 一种核电站调试试验报告编制方法和系统 | |
| Pascoe et al. | Designing and documenting experiments in CMIP6 | |
| Li et al. | Microservice migration using strangler fig pattern: A case study on the green button system | |
| CN106096159B (zh) | 一种云平台下的分布式系统行为仿真分析系统的实现方法 | |
| CN107766519B (zh) | 一种可视化配置数据结构的方法 | |
| Weber et al. | MMP-a platform to manage machine learning models in industry 4.0 environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180828 |