CN115454964A - 一种数据迁移的方法及系统 - Google Patents
一种数据迁移的方法及系统 Download PDFInfo
- Publication number
- CN115454964A CN115454964A CN202211087576.7A CN202211087576A CN115454964A CN 115454964 A CN115454964 A CN 115454964A CN 202211087576 A CN202211087576 A CN 202211087576A CN 115454964 A CN115454964 A CN 115454964A
- Authority
- CN
- China
- Prior art keywords
- data
- conversion processing
- migration
- system database
- intermediate data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013508 migration Methods 0.000 title claims abstract description 106
- 230000005012 migration Effects 0.000 title claims abstract description 106
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000006243 chemical reaction Methods 0.000 claims abstract description 105
- 238000012545 processing Methods 0.000 claims abstract description 87
- 238000013507 mapping Methods 0.000 claims abstract description 25
- 230000008569 process Effects 0.000 claims abstract description 24
- 238000012216 screening Methods 0.000 claims description 7
- 238000013524 data verification Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/214—Database migration support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据迁移的方法及系统,该方法包括:获取当前系统数据库中的预迁移数据,根据当前的迁移场景确定对应的第一转换处理方式,对所述预迁移数据进行第一转换处理,生成中间数据;其中,所述中间数据为Exce l文件或DATA事件数据;获取所述中间数据的数据信息,与目的系统数据库的数据进行逐条对比,确定当前系统数据库与目的系统数据库的数据之间的差异和映射关系;根据所述数据之间的差异和映射关系对所述每条中间数据进行第二转换处理,获得待入库数据,并对所述待入库数据进行入库操作。本发明能够克服数据迁移过程中各个系统间数据标准不统一,表结构不一致的问题,支持多种场景的数据迁移。
Description
技术领域
本发明涉及数据迁移领域,尤其涉及一种数据迁移的方法及系统。
背景技术
在信息化建设过程中,随着技术的发展,原有的信息系统不断被功能更强大的新系统所取代,在开发环境向运行环境转换、低版本数据库向高版本数据库转换、两个不同数据库之间进行转换以至系统硬件升级时,数据都可能需要被转移并使之正常运行,必然要面临一个数据迁移的问题。数据迁移的成功与否是新系统成功上线的重要前提,也是新系统今后稳定运行的有力保障。如果数据迁移失败,新系统将不能正常启用;如果数据迁移的质量较差,没能屏蔽全部的垃圾数据,会严重影响新系统的稳定性。相反,成功的数据迁移可以有效地保障新系统的顺利运行,能够保留珍贵的历史数据。
现有的数据迁移步骤繁琐低效,难以解决各个系统间数据标准不统一,表结构不一致的问题,也难以满足不同的数据迁移场景。
发明内容
本发明提供了一种数据迁移的方法及系统,能够克服数据迁移过程中各个系统间数据标准不统一,表结构不一致的问题,支持多种场景的数据迁移。
为了解决上述技术问题,本发明实施例提供了一种数据迁移的方法,包括:
获取当前系统数据库中的预迁移数据,根据当前的迁移场景确定对应的第一转换处理方式,对所述预迁移数据进行第一转换处理,生成中间数据;其中,所述中间数据为Excel文件或DATA事件数据;
获取所述中间数据的数据信息,与目的系统数据库的数据进行逐条对比,确定当前系统数据库与目的系统数据库的数据之间的差异和映射关系;
根据所述数据之间的差异和映射关系对所述每条中间数据进行第二转换处理,获得待入库数据,并对所述待入库数据进行入库操作。
本发明提供的方法,根据不同的迁移场景提供不同的数据转换方式,能够满足不同场景的数据迁移,并根据当前系统数据库与目的系统数据库的数据之间的差异和映射关系进行数据转换,能够克服数据迁移过程中各个系统间数据标准不统一,表结构不一致的问题,实现不同系统间的数据迁移,可以有效地保障新系统的顺利运行,能够完整地保留历史数据。
进一步地,所述根据当前的迁移场景确定对应的第一转换处理方式,具体为:
若需要对当前系统数据库中的数据进行部分迁移,则确定采用Excel模板转换处理;
若需要对当前系统数据库中的数据进行实时迁移或大数据量迁移,则确定采用DATA事件数据转换处理。
进一步地,所述对所述预迁移数据进行第一转换处理,生成中间数据,具体为:
若确定采用所述Excel模板转换处理,则将所述预迁移数据写入预设的Excel模板,生成对应的Excel文件作为中间数据;
若确定采用所述DATA事件数据转换处理,则将所述预迁移数据转换成DATA事件数据作为中间数据,并将所述DATA事件数据发送至Kafka。
本发明提供的方法,充分考虑了实际的业务迁移情况,提供不同的数据转换方式,能够满足多种场景下的业务迁移需求。
进一步地,所述DATA事件数据,可通过开源框架Canal配置生成或通过预设的程序自动生成。
进一步地,所述获取所述中间数据的数据信息,具体为:
若中间数据为对应的Excel文件,则解析所述对应的Excel文件,将文件内各行数据转为key-value的json格式,读取json格式数据中包含的数据信息;
若中间数据为DATA事件数据,则监听kafka主题事件,获取DATA事件数据,解析DATA事件数据的data字段,读取所述data字段包含的数据信息;其中,所述data字段的数据信息为key-value形式。
进一步地,根据所述数据之间的差异和映射关系对所述每条中间数据进行第二转换处理,获得待入库数据,具体为:
若所述该条中间数据的数据信息与目的系统数据库的数据的所有字段完全相同,则直接将该条中间数据作为待入库数据;
若所述该条中间数据的数据信息与目的系统数据库的数据的所有字段完全不同,则在目的系统数据库中构建新表,并将该条中间数据作为所述新表的待入库数据;
若所述该条中间数据的数据信息与目的系统数据库的数据的字段部分相同,则筛选出所述该条中间数据的数据信息中不同的表字段,在目的系统数据库中构建新表,所述新表包含所述该条中间数据的数据信息中不同的表字段和目的系统数据库的数据已有的表字段,并将该条中间数据作为所述新表的待入库数据;
其中,所述该条中间数据中的各表字段的具体数据可根据预设的公式进行修改。
本发明提供的方法,针对三种不同的数据进行了不同的处理,克服了数据迁移过程中各个系统间数据标准不统一,表结构不一致的问题,可实现不同系统间的数据迁移。
进一步地,在进行第二转换处理之前,还需要进行数据校验,具体为:
获取所述中间数据的数据信息,对所述数据信息中的指定字段进行校验;
若该指定字段的数据不符合配置的检验规则,则抛出异常,不进行第二转换处理;
若该指定字段的数据符合配置的检验规则,则进行第二转换处理。
本发明提供的方法,可实现业务数据的校验,保证了数据迁移过程中数据的完整性和准确性。
另外,本发明还提供了一种数据迁移的系统,所述系统包括输入模块、第一转换处理模块、第二转换处理模块、输出模块;
所述输入模块用于获取当前系统数据库中的预迁移数据;
所述第一转换处理模块用于根据当前的迁移场景确定对应的第一转换处理方式,对所述预迁移数据进行第一转换处理,生成中间数据;其中,所述中间数据为Excel文件或DATA事件数据;
所述第二转换处理模块用于获取所述中间数据的数据信息,与目的系统数据库的数据进行逐条对比,确定当前系统数据库与目的系统数据库的数据之间的差异和映射关系,根据所述数据之间的差异和映射关系对所述每条中间数据进行第二转换处理,获得待入库数据;
所述输出模块用于对所述待入库数据进行入库操作。
进一步地,所述第一转换处理模块用于根据当前的迁移场景确定对应的第一转换处理方式,对所述预迁移数据进行第一转换处理,生成中间数据,具体为:
根据当前的迁移场景确定对应的第一转换处理方式,具体为:
若需要对当前系统数据库中的数据进行部分迁移,则确定采用Excel模板转换处理;
若需要对当前系统数据库中的数据进行实时迁移或大数据量迁移,则确定采用DATA事件数据转换处理;
对所述预迁移数据进行第一转换处理,生成中间数据,具体为:
若确定采用所述Excel模板转换处理,则将所述预迁移数据写入预设的Excel模板,生成对应的Excel文件作为中间数据;
若确定采用所述DATA事件数据转换处理,则将所述预迁移数据转换成DATA事件数据作为中间数据,并将所述DATA事件数据发送至Kafka。
进一步地,所述根据所述数据之间的差异和映射关系对所述每条中间数据进行第二转换处理,获得待入库数据,具体为:
若所述该条中间数据的数据信息与目的系统数据库的数据的所有字段完全相同,则直接将该条中间数据作为待入库数据;
若所述该条中间数据的数据信息与目的系统数据库的数据的所有字段完全不同,则在目的系统数据库中构建新表,并将该条中间数据作为所述新表的待入库数据;
若所述该条中间数据的数据信息与目的系统数据库的数据的字段部分相同,则筛选出所述该条中间数据的数据信息中不同的表字段,在目的系统数据库中构建新表,所述新表包含所述该条中间数据的数据信息中不同的表字段和目的系统数据库的数据已有的表字段,并将该条中间数据作为所述新表的待入库数据;
其中,所述该条中间数据中的各表字段的具体数据可根据预设的公式进行修改。
本发明提供的系统,根据不同的迁移场景提供不同的数据转换方式,能够满足不同场景的数据迁移,并根据当前系统数据库与目的系统数据库的数据之间的差异和映射关系进行数据转换,能够克服数据迁移过程中各个系统间数据标准不统一,表结构不一致的问题,实现不同系统间的数据迁移,可以有效地保障新系统的顺利运行,能够完整地保留历史数据。
附图说明
图1:为本发明实施例一提供的一种数据迁移的方法的一种流程示意图;
图2:为本发明实施例二提供的一种数据迁移的系统的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
请参照图1,为本发明实施例一提供的一种数据迁移的方法的一种流程示意图,其主要包括步骤101至步骤103,具体如下:
步骤101:获取当前系统数据库中的预迁移数据,根据当前的迁移场景确定对应的第一转换处理方式,对所述预迁移数据进行第一转换处理,生成中间数据;其中,所述中间数据为Excel文件或DATA事件数据。
进一步地,所述根据当前的迁移场景确定对应的第一转换处理方式,具体为:
若需要对当前系统数据库中的数据进行部分迁移,则确定采用Excel模板转换处理;
若需要对当前系统数据库中的数据进行实时迁移或大数据量迁移,则确定采用DATA事件数据转换处理。
进一步地,所述对所述预迁移数据进行第一转换处理,生成中间数据,具体为:
若确定采用所述Excel模板转换处理,则将所述预迁移数据写入预设的Excel模板,生成对应的Excel文件作为中间数据;
若确定采用所述DATA事件数据转换处理,则将所述预迁移数据转换成DATA事件数据作为中间数据,并将所述DATA事件数据发送至Kafka。
本发明提供的方法,充分考虑了实际的业务迁移情况,提供不同的数据转换方式,能够满足多种场景下的业务迁移需求。
进一步地,所述DATA事件数据,可通过开源框架Canal配置生成或通过预设的程序自动生成。
在本实施例中,所述预设的Excel模板可从系统的表元数据引擎中获取。
在本实施例中,所述Excel模板转换处理还包括另一种方式,具体为:
通过sql工具对所述预迁移数据进行查询,将所述预迁移数据以Excel文件形式导出;
将所述导出的Excel文件中的内容修改成所述Excel模板所需的格式。
在本实施例中,若通过开源框架Canal配置生成所述DATA事件数据,当预迁移数据发生变化时,Canal则可以实时发送已变化的DATA事件数据至kafka中。通过该方式,当数据迁移过程中数据发生变化时,可实时将变化的数据转换为DATA事件数据,实现了数据迁移过程的实时修改,确保了数据迁移过程的数据准确性和完整性。
在本实施例中,生成所述DATA事件数据后,可通过预设的程序实现在任意时刻进行数据发送,保证了数据迁移的实时性,可有效提高数据迁移的效率。
在本实施例中,所述DATA事件数据的类型根据预迁移数据和目的系统数据库的数据差异可划分为3类,分别为全新类型数据、修改类型数据和相同类型数据,所述类型标记在所述DATA事件数据中;其中,全新类型数据为与目的系统数据库数据的字段完全不同的数据,所述相同类型数据为与目的系统数据库数据的字段完全相同的数据,所述修改类型数据为与目的系统数据库数据的ID相同而其余字段不同的数据。
步骤102:获取所述中间数据的数据信息,与目的系统数据库的数据进行逐条对比,确定当前系统数据库与目的系统数据库的数据之间的差异和映射关系。
进一步地,所述获取所述中间数据的数据信息,具体为:
若中间数据为对应的Excel文件,则解析所述对应的Excel文件,将文件内各行数据转为key-value的json格式,读取json格式数据中包含的数据信息;
若中间数据为DATA事件数据,则监听kafka主题事件,获取DATA事件数据,解析DATA事件数据的data字段,读取所述data字段包含的数据信息;其中,所述data字段的数据信息为key-value形式。
步骤103:根据所述数据之间的差异和映射关系对所述每条中间数据进行第二转换处理,获得待入库数据,并对所述待入库数据进行入库操作。
进一步地,根据所述数据之间的差异和映射关系对所述每条中间数据进行第二转换处理,获得待入库数据,具体为:
若所述该条中间数据的数据信息与目的系统数据库的数据的所有字段完全相同,则直接将该条中间数据作为待入库数据;
若所述该条中间数据的数据信息与目的系统数据库的数据的所有字段完全不同,则在目的系统数据库中构建新表,并将该条中间数据作为所述新表的待入库数据;
若所述该条中间数据的数据信息与目的系统数据库的数据的字段部分相同,则筛选出所述该条中间数据的数据信息中不同的表字段,在目的系统数据库中构建新表,所述新表包含所述该条中间数据的数据信息中不同的表字段和目的系统数据库的数据已有的表字段,并将该条中间数据作为所述新表的待入库数据;
其中,所述该条中间数据中的各表字段的具体数据可根据预设的公式进行修改。
根据所述数据之间的差异和映射关系对所述每条中间数据进行第二转换处理,获得待入库数据,本实施例提供了一个具体的实例:
若所述该条中间数据的数据信息包含字段A和字段B,目的系统数据库的数据包含字段A和字段C,即所述该条中间数据的数据信息与目的系统数据库的数据的字段部分相同;
则筛选出所述该条中间数据的数据信息中不同的表字段,即字段B;
在目的系统数据库中构建新表,所述新表包含所述该条中间数据的数据信息中不同的表字段和目的系统数据库的数据已有的表字段,即所述新表包含字段A、字段B和字段C,并将该条中间数据作为所述新表的待入库数据。
所述该条中间数据中的各表字段的具体数据可根据预设的公式进行修改,本实施例提供了一个具体的实例:
若所述该条中间数据的数据信息包含字段A和字段B,目的系统数据库的数据包含字段A,其中,所述该条中间数据的数据信息的字段A的具体数值为a,字段B的具体数值为b,所述目的系统数据库的数据的字段A的具体数值为c;
则在目的系统数据库中构建新表,所述新表包含所述该条中间数据的数据信息中不同的表字段和目的系统数据库的数据已有的表字段,即所述新表包含字段A和字段B;
获取预设的公式,若预设的公式为求和,则计算具体数值a和具体数值c的和;
则将所述该条中间数据的数据信息的字段A的具体数值修改为所述具体数值a和具体数值c的和,并将修改后的该条中间数据作为所述新表的待入库数据。
本发明提供的方法,针对三种不同的数据进行了不同的处理,克服了数据迁移过程中各个系统间数据标准不统一,表结构不一致的问题,可实现不同系统间的数据迁移。
进一步地,在进行第二转换处理之前,还需要进行数据校验,具体为:
获取所述中间数据的数据信息,对所述数据信息中的指定字段进行校验;
若该指定字段的数据不符合配置的检验规则,则抛出异常,不进行第二转换处理;
若该指定字段的数据符合配置的检验规则,则进行第二转换处理。
本发明提供的方法,可实现业务数据的校验,保证了数据迁移过程中数据的完整性和准确性。
本发明提供的方法,根据不同的迁移场景提供不同的数据转换方式,能够满足不同场景的数据迁移,并根据当前系统数据库与目的系统数据库的数据之间的差异和映射关系进行数据转换,能够克服数据迁移过程中各个系统间数据标准不统一,表结构不一致的问题,实现不同系统间的数据迁移,可以有效地保障新系统的顺利运行,能够完整地保留历史数据。
实施例二
请参照图2,为本发明实施例二提供的一种数据迁移的系统的一种结构示意图,包括:输入模块201、第一转换处理模块202、第二转换处理模块203、输出模块204;
所述输入模块201用于获取当前系统数据库中的预迁移数据;
所述第一转换处理模块202用于根据当前的迁移场景确定对应的第一转换处理方式,对所述预迁移数据进行第一转换处理,生成中间数据;其中,所述中间数据为Excel文件或DATA事件数据;
所述第二转换处理模块203用于获取所述中间数据的数据信息,与目的系统数据库的数据进行逐条对比,确定当前系统数据库与目的系统数据库的数据之间的差异和映射关系,根据所述数据之间的差异和映射关系对所述每条中间数据进行第二转换处理,获得待入库数据;
所述输出模块204用于对所述待入库数据进行入库操作。
进一步地,所述第一转换处理模块202用于根据当前的迁移场景确定对应的第一转换处理方式,对所述预迁移数据进行第一转换处理,生成中间数据,具体为:
根据当前的迁移场景确定对应的第一转换处理方式,具体为:
若需要对当前系统数据库中的数据进行部分迁移,则确定采用Excel模板转换处理;
若需要对当前系统数据库中的数据进行实时迁移或大数据量迁移,则确定采用DATA事件数据转换处理;
对所述预迁移数据进行第一转换处理,生成中间数据,具体为:
若确定采用所述Excel模板转换处理,则将所述预迁移数据写入预设的Excel模板,生成对应的Excel文件作为中间数据;
若确定采用所述DATA事件数据转换处理,则将所述预迁移数据转换成DATA事件数据作为中间数据,并将所述DATA事件数据发送至Kafka。
进一步地,所述根据所述数据之间的差异和映射关系对所述每条中间数据进行第二转换处理,获得待入库数据,具体为:
若所述该条中间数据的数据信息与目的系统数据库的数据的所有字段完全相同,则直接将该条中间数据作为待入库数据;
若所述该条中间数据的数据信息与目的系统数据库的数据的所有字段完全不同,则在目的系统数据库中构建新表,并将该条中间数据作为所述新表的待入库数据;
若所述该条中间数据的数据信息与目的系统数据库的数据的字段部分相同,则筛选出所述该条中间数据的数据信息中不同的表字段,在目的系统数据库中构建新表,所述新表包含所述该条中间数据的数据信息中不同的表字段和目的系统数据库的数据已有的表字段,并将该条中间数据作为所述新表的待入库数据;
其中,所述该条中间数据中的各表字段的具体数据可根据预设的公式进行修改。
本发明提供的系统,根据不同的迁移场景提供不同的数据转换方式,能够满足不同场景的数据迁移,并根据当前系统数据库与目的系统数据库的数据之间的差异和映射关系进行数据转换,能够克服数据迁移过程中各个系统间数据标准不统一,表结构不一致的问题,实现不同系统间的数据迁移,可以有效地保障新系统的顺利运行,能够完整地保留历史数据。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步的详细说明,应当理解,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围。特别指出,对于本领域技术人员来说,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种数据迁移方法,其特征在于,包括:
获取当前系统数据库中的预迁移数据,根据当前的迁移场景确定对应的第一转换处理方式,对所述预迁移数据进行第一转换处理,生成中间数据;其中,所述中间数据为Excel文件或DATA事件数据;
获取所述中间数据的数据信息,与目的系统数据库的数据进行逐条对比,确定当前系统数据库与目的系统数据库的数据之间的差异和映射关系;
根据所述数据之间的差异和映射关系对所述每条中间数据进行第二转换处理,获得待入库数据,并对所述待入库数据进行入库操作。
2.如权利要求1所述的一种数据迁移方法,其特征在于,所述根据当前的迁移场景确定对应的第一转换处理方式,具体为:
若需要对当前系统数据库中的数据进行部分迁移,则确定采用Excel模板转换处理;
若需要对当前系统数据库中的数据进行实时迁移或大数据量迁移,则确定采用DATA事件数据转换处理。
3.如权利要求2所述的一种数据迁移方法,其特征在于,所述对所述预迁移数据进行第一转换处理,生成中间数据,具体为:
若确定采用所述Excel模板转换处理,则将所述预迁移数据写入预设的Excel模板,生成对应的Excel文件作为中间数据;
若确定采用所述DATA事件数据转换处理,则将所述预迁移数据转换成DATA事件数据作为中间数据,并将所述DATA事件数据发送至Kafka。
4.如权利要求3所述的一种数据迁移方法,其特征在于,所述DATA事件数据,可通过开源框架Canal配置生成或通过预设的程序自动生成。
5.如权利要求3所述的一种数据迁移方法,其特征在于,所述获取所述中间数据的数据信息,具体为:
若中间数据为对应的Excel文件,则解析所述对应的Excel文件,将文件内各行数据转为key-value的json格式,读取json格式数据中包含的数据信息;
若中间数据为DATA事件数据,则监听kafka主题事件,获取DATA事件数据,解析DATA事件数据的data字段,读取所述data字段包含的数据信息;其中,所述data字段的数据信息为key-value形式。
6.如权利要求1所述的一种数据迁移方法,其特征在于,根据所述数据之间的差异和映射关系对所述每条中间数据进行第二转换处理,获得待入库数据,具体为:
若所述该条中间数据的数据信息与目的系统数据库的数据的所有字段完全相同,则直接将该条中间数据作为待入库数据;
若所述该条中间数据的数据信息与目的系统数据库的数据的所有字段完全不同,则在目的系统数据库中构建新表,并将该条中间数据作为所述新表的待入库数据;
若所述该条中间数据的数据信息与目的系统数据库的数据的字段部分相同,则筛选出所述该条中间数据的数据信息中不同的表字段,在目的系统数据库中构建新表,所述新表包含所述该条中间数据的数据信息中不同的表字段和目的系统数据库的数据已有的表字段,并将该条中间数据作为所述新表的待入库数据;
其中,所述该条中间数据中的各表字段的具体数据可根据预设的公式进行修改。
7.如权利要求1所述的一种数据迁移方法,其特征在于,在进行第二转换处理之前,还需要进行数据校验,具体为:
获取所述中间数据的数据信息,对所述数据信息中的指定字段进行校验;
若该指定字段的数据不符合配置的检验规则,则抛出异常,不进行第二转换处理;
若该指定字段的数据符合配置的检验规则,则进行第二转换处理。
8.一种数据迁移的系统,其特征在于,该系统包括输入模块、第一转换处理模块、第二转换处理模块、输出模块;
所述输入模块用于获取当前系统数据库中的预迁移数据;
所述第一转换处理模块用于根据当前的迁移场景确定对应的第一转换处理方式,对所述预迁移数据进行第一转换处理,生成中间数据;其中,所述中间数据为Excel文件或DATA事件数据;
所述第二转换处理模块用于获取所述中间数据的数据信息,与目的系统数据库的数据进行逐条对比,确定当前系统数据库与目的系统数据库的数据之间的差异和映射关系,根据所述数据之间的差异和映射关系对所述每条中间数据进行第二转换处理,获得待入库数据;
所述输出模块用于对所述待入库数据进行入库操作。
9.如权利要求8所述的一种数据迁移的系统,其特征在于,所述第一转换处理模块用于根据当前的迁移场景确定对应的第一转换处理方式,对所述预迁移数据进行第一转换处理,生成中间数据,具体为:
根据当前的迁移场景确定对应的第一转换处理方式,具体为:
若需要对当前系统数据库中的数据进行部分迁移,则确定采用Excel模板转换处理;
若需要对当前系统数据库中的数据进行实时迁移或大数据量迁移,则确定采用DATA事件数据转换处理;
对所述预迁移数据进行第一转换处理,生成中间数据,具体为:
若确定采用所述Excel模板转换处理,则将所述预迁移数据写入预设的Excel模板,生成对应的Excel文件作为中间数据;
若确定采用所述DATA事件数据转换处理,则将所述预迁移数据转换成DATA事件数据作为中间数据,并将所述DATA事件数据发送至Kafka。
10.如权利要求8所述的一种数据迁移的系统,其特征在于,所述根据所述数据之间的差异和映射关系对所述每条中间数据进行第二转换处理,获得待入库数据,具体为:
若所述该条中间数据的数据信息与目的系统数据库的数据的所有字段完全相同,则直接将该条中间数据作为待入库数据;
若所述该条中间数据的数据信息与目的系统数据库的数据的所有字段完全不同,则在目的系统数据库中构建新表,并将该条中间数据作为所述新表的待入库数据;
若所述该条中间数据的数据信息与目的系统数据库的数据的字段部分相同,则筛选出所述该条中间数据的数据信息中不同的表字段,在目的系统数据库中构建新表,所述新表包含所述该条中间数据的数据信息中不同的表字段和目的系统数据库的数据已有的表字段,并将该条中间数据作为所述新表的待入库数据;
其中,所述该条中间数据中的各表字段的具体数据可根据预设的公式进行修改。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211087576.7A CN115454964A (zh) | 2022-09-07 | 2022-09-07 | 一种数据迁移的方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211087576.7A CN115454964A (zh) | 2022-09-07 | 2022-09-07 | 一种数据迁移的方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115454964A true CN115454964A (zh) | 2022-12-09 |
Family
ID=84302882
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211087576.7A Pending CN115454964A (zh) | 2022-09-07 | 2022-09-07 | 一种数据迁移的方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115454964A (zh) |
-
2022
- 2022-09-07 CN CN202211087576.7A patent/CN115454964A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115293751B (zh) | 一种轨道交通bim模型数据的处理方法、系统及设备 | |
CN113641701B (zh) | 一种数据查询方法、系统、异构加速平台及存储介质 | |
CN103514223A (zh) | 一种数据仓库数据同步方法和系统 | |
CN106293891B (zh) | 多维投资指标监督方法 | |
CN112347071B (zh) | 一种配电网云平台数据融合方法及配电网云平台 | |
CN107870949B (zh) | 数据分析作业依赖关系生成方法和系统 | |
CN113434482A (zh) | 数据迁移方法、装置、计算机设备及存储介质 | |
CN112328631A (zh) | 一种生产故障分析方法、装置、电子设备及存储介质 | |
CN114880405A (zh) | 一种基于数据湖的数据处理方法及系统 | |
CN116719799A (zh) | 环保数据治理方法、装置、计算机设备和存储介质 | |
CN111190814A (zh) | 软件测试用例的生成方法、装置、存储介质及终端 | |
CN116483831B (zh) | 一种分布式数据库推荐索引生成方法 | |
CN116975116A (zh) | 一种大数据分析系统的数据条件筛选方法 | |
CN111858636A (zh) | 一种基于配置化管理的数据采集方法及系统 | |
CN115454964A (zh) | 一种数据迁移的方法及系统 | |
CN115757481A (zh) | 数据迁移方法、装置、设备和存储介质 | |
CN115757174A (zh) | 一种数据库的差异检测方法及装置 | |
CN114356454A (zh) | 对账数据处理方法、设备、存储介质及程序产品 | |
CN113868141A (zh) | 数据测试方法、装置、电子设备及存储介质 | |
CN113722296A (zh) | 一种农业信息处理方法、装置、电子设备及存储介质 | |
CN111562937A (zh) | 一种代码方法级缺陷预警方法 | |
CN117472641B (zh) | 数据质量的检测方法、装置、电子设备及存储介质 | |
CN117648339B (zh) | 一种数据探查方法、装置、服务器及存储介质 | |
CN115952203B (zh) | 数据查询方法、设备、系统及存储介质 | |
CN113760891B (zh) | 一种数据表的生成方法、装置、设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |