CN112035432B - 数据的置换迁移方法、装置计算机设备 - Google Patents
数据的置换迁移方法、装置计算机设备 Download PDFInfo
- Publication number
- CN112035432B CN112035432B CN202010713808.XA CN202010713808A CN112035432B CN 112035432 B CN112035432 B CN 112035432B CN 202010713808 A CN202010713808 A CN 202010713808A CN 112035432 B CN112035432 B CN 112035432B
- Authority
- CN
- China
- Prior art keywords
- data
- target
- migration
- unique identifier
- replacement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013508 migration Methods 0.000 title claims abstract description 90
- 230000005012 migration Effects 0.000 title claims abstract description 90
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000013506 data mapping Methods 0.000 claims abstract description 31
- 238000006073 displacement reaction Methods 0.000 claims abstract description 10
- 238000013507 mapping Methods 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 abstract description 31
- 230000006870 function Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 6
- 238000005457 optimization Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/214—Database migration support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种数据的置换迁移方法、装置及计算机设备,涉及数据处理领域,可以解决在对数据进行置换迁移时,迁移效率低,且网络开销、运算资源开销大的问题。其中方法包括:将目标数据源的全量数据代入数据映射体系,获取各个所述全量数据对应的系统唯一标识;将所述全量数据置换为所述系统唯一标识;基于批量写入算法,异步迁移所述系统唯一标识。本申请适用于对数据的异步置换迁移处理。
Description
技术领域
本申请涉及数据处理领域,尤其涉及到一种数据的置换迁移方法、装置计算机设备。
背景技术
随着大数据场景日益增多,关于海量数据的存储、运算处理需求日趋增加,对于平台处理能力要求越来越高。对系统来说,如何提高数据运算速度,如何在海量数据处理过程中,给用户带来好的交互体验,是当下急需解决的问题。
目前在进行数据置换迁移时,由于千万数据转换、存储耗时较长,用户需要等待在10秒以上,效率较低,影响用户体验,同时,运算过程中需要多次进行数据转换,需要非常大的网络开销、运算资源开销。
发明内容
有鉴于此,本申请提供了一种数据的置换迁移方法、装置计算机设备,主要解决在对数据进行置换迁移时,迁移效率低,且网络开销、运算资源开销大的问题。
根据本申请的一个方面,提供了一种数据的置换迁移方法,该方法包括:
将目标数据源的全量数据代入数据映射体系,获取各个所述全量数据对应的系统唯一标识;
将所述全量数据置换为所述系统唯一标识;
基于批量写入算法,异步迁移所述系统唯一标识。
优选地,在将目标数据源的全量数据代入数据映射体系,获取各个所述全量数据对应的系统唯一标识之前,具体还包括:
创建各个预设数据类型和对应系统唯一标识的映射关系,并创建包含各个所述映射关系的数据映射体系。
优选地,所述将目标数据源的全量数据代入数据映射体系,获取各个所述全量数据对应的系统唯一标识,具体包括:
确定目标数据源中各个全量数据待置换的目标数据类型;
在所述数据映射体系中筛选与所述目标数据类型匹配的目标唯一标识。
优选地,所述确定目标数据源中各个全量数据待置换的目标数据类型,具体包括:
获取目标数据源中各个全量数据对应录入的第一数据类型;
确定所述第一数据类型支持置换的数据类型列表,以便用户在所述数据类型列表中选取待置换的目标数据类型。
优选地,所述将所述全量数据置换为所述系统唯一标识,具体包括:
将所述全量数据置换为所述目标唯一标识,并将所述目标唯一标识对应的标识文件存储于预设存储位置。
优选地,所述基于批量写入算法,异步迁移所述系统唯一标识,具体包括:
接收所述目标唯一标识置换完成的提示信息;
依据所述提示信息,发送关于所述目标唯一标识的数据迁移指令,以便依据所述数据迁移指令,创建目标表结构,并将所述目标唯一标识对应的标识文件批量迁入所述目标表结构中。
优选地,所述依据所述提示信息,发送关于所述目标唯一标识的数据迁移指令,以便依据所述数据迁移指令,创建目标表结构,并将所述目标唯一标识对应的标识文件批量迁入所述目标表结构中,具体包括:
关闭数据库的自动提交功能;
将所述标识文件增量提交到SQL语句池中,将预编译的SQL语句发送至所述数据库,所述SQL语句中携带有数据迁移指令以及待迁移的目标表结构,以便依据所述SQL语句将所述SQL语句池中的所述标识文件批量迁移至所述目标表结构中;
待所特征数据迁移完成后,开启所述数据库的自动提交功能。
根据本申请的另一个方面,提供了一种数据的置换迁移装置,该装置包括:
获取模块,用于将目标数据源的全量数据代入数据映射体系,获取各个所述全量数据对应的系统唯一标识;
置换模块,用于将所述全量数据置换为所述系统唯一标识;
迁移模块,用于基于批量写入算法,异步迁移所述系统唯一标识。
优选地,在将目标数据源的全量数据代入数据映射体系,获取各个所述全量数据对应的系统唯一标识之前,具体还包括:创建模块;
创建模块,用于创建各个预设数据类型和对应系统唯一标识的映射关系,并创建包含各个所述映射关系的数据映射体系。
优选地,获取模块,具体用于:
确定目标数据源中各个全量数据待置换的目标数据类型;
在所述数据映射体系中筛选与所述目标数据类型匹配的目标唯一标识。
优选地,获取模块,具体用于:
获取目标数据源中各个全量数据对应录入的第一数据类型;
确定所述第一数据类型支持置换的数据类型列表,以便用户在所述数据类型列表中选取待置换的目标数据类型。
优选地,置换模块,具体用于:
将所述全量数据置换为所述目标唯一标识,并将所述目标唯一标识对应的标识文件存储于预设存储位置。
优选地,迁移模块,具体用于:
接收所述目标唯一标识置换完成的提示信息;
依据所述提示信息,发送关于所述目标唯一标识的数据迁移指令,以便依据所述数据迁移指令,创建目标表结构,并将所述目标唯一标识对应的标识文件批量迁入所述目标表结构中。
优选地,处理模块,具体用于:
关闭数据库的自动提交功能;
将所述标识文件增量提交到SQL语句池中,将预编译的SQL语句发送至所述数据库,所述SQL语句中携带有数据迁移指令以及待迁移的目标表结构,以便依据所述SQL语句将所述SQL语句池中的所述标识文件批量迁移至所述目标表结构中;
待所特征数据迁移完成后,开启所述数据库的自动提交功能。
根据本申请的又一个方面,提供了一种非易失性可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现上述数据的置换迁移方法。
根据本申请的再一个方面,提供了一种计算机设备,包括非易失性可读存储介质、处理器及存储在非易失性可读存储介质上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述数据的置换迁移方法。
借由上述技术方案,本申请提供的一种数据的置换迁移方法、装置计算机设备,涉及数据处理领域,可首先将目标数据源的全局数据代入数据映射体系,进一步获取全局数据对应的系统唯一标识,并将全量数据置换为系统唯一标识,之后依据批量写入算法,异步迁移系统唯一标识。在本申请中,通过将全量数据的数据标识置换为系统全局唯一标识,通过统一数据体系,大幅降低运算过程中的性能消耗,提升结果输出速度;其次,通过数据批量写入处理优化,去掉多余的系统开销、网络开销,提升千万数据写入速度,使海量数据运算可以尽快开始。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本地申请的不当限定。在附图中:
图1示出了本申请实施例提供的一种数据的置换迁移方法的流程示意图;
图2示出了本申请实施例提供的另一种数据的置换迁移方法的流程示意图;
图3示出了本申请实施例提供的一种数据的置换迁移装置的结构示意图;
图4示出了本申请实施例提供的另一种数据的置换迁移装置的结构示意图;
图5示出了本发明实施例提供的一种计算机设备的结构示意图。
具体实施方式
下文将参考附图并结合实施例来详细说明本申请。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互结合。
针对在对数据进行置换迁移时,迁移效率低,且网络开销、运算资源开销大的问题,本申请实施例提供了一种数据的置换迁移方法,如图1所示,该方法包括:
101、将目标数据源的全量数据代入数据映射体系,获取各个全量数据对应的系统唯一标识。
对于本实施例,在具体的应用场景中,可通过系统平台中的API文件接口上传目标数据源的全量数据,调用底层微服务CENTER的接口保存全量数据,在完成文件的保存后,调用数据映射置换接口,拿到本系统对应的唯一标识。
102、将全量数据置换为系统唯一标识。
对于本实施例,在具体的应用场景中,为了保证全量数据能够统一调用系统平台内的功能,在系统平台里实现对数据的操作以及运算处理,故需要将全量数据的标识信息置换为系统平台能够识别的系统唯一标识。
103、基于批量写入算法,异步迁移系统唯一标识。
对于本实施例,在通过API文件接口调用底层微服务CENTER,实现对全量数据的系统唯一标识置换后,可通过异步发送数据批量迁移指令,迁移系统唯一标识,进一步实现对全量数据的批量迁移。
通过本实施例中数据的置换迁移方法,可首先将目标数据源的全局数据代入数据映射体系,进一步获取全局数据对应的系统唯一标识,并将全量数据置换为系统唯一标识,之后依据批量写入算法以及系统唯一标识,实现对目标数据源中的所有特征数据的异步迁移处理。在本申请中,通过将全量数据的数据标识置换为系统全局唯一标识,通过统一数据体系,大幅降低运算过程中的性能消耗,提升结果输出速度;其次,通过数据批量写入处理优化,去掉多余的系统开销、网络开销,提升千万数据写入速度,使海量数据运算可以尽快开始。
进一步的,作为上述实施例具体实施方式的细化和扩展,为了完整说明本实施例中的具体实施过程,提供了另一种数据的置换迁移方法,如图2所示,该方法包括:
201、创建各个预设数据类型和对应系统唯一标识的映射关系,并创建包含各个映射关系的数据映射体系。
对于本实施例,在具体的应用场景中,可在系统平台中预先设置既定数量个数据类型,并分别为各个数据类型配置统一的系统唯一标识,或分别为各个数据类型配置对应系统唯一标识的生成规则,进而创建各个预设数据类型和对应系统唯一标识之间的映射关系,将各个映射关系保存在数据映射体系中。其中,系统唯一标识应为字母加数字的形式。
例如,在系统平台中,若基于数据所属行业类型,预先设定5个数据类型:A、B、C、D、E,并且分别为A、B、C、D、E这5个数据类型配置系统唯一标识为:aa1111,bb2222、cc3333、dd4444、ee5555,进而分别创建数据类型A和系统唯一标识aa1111之间的第一映射关系,数据类型B和系统唯一标识bb2222之间的第二映射关系,数据类型C和系统唯一标识cc3333之间的第三映射关系,数据类型D和系统唯一标识为dd4444之间的第四映射关系,数据类型E和系统唯一标识为ee5555之间的第五映射关系,之后将第一映射关系、第二映射关系、第三映射关系、第四映射关系、第五映射关系均存储到数据映射体系中,以便进行映射关系的调用。
202、确定目标数据源中各个全量数据待置换的目标数据类型。
对于本实施例,在具体的应用场景中,为了确定出各个全量数据对应的目标数据类型,实施例步骤202具体可以包括:获取目标数据源中各个全量数据对应录入的第一数据类型;确定第一数据类型支持置换的数据类型列表,以便用户在数据类型列表中选取待置换的目标数据类型。其中,每个第一数据类型可分别对应该数据类型允许置换的数据类型列表。
例如,基于实施例步骤201的实例,若基于全量数据的数据类型,确定对应支持置换的数据类型列表中,包括A、B、C、D、E这5个数据类型,用户则可在数据类型列表的5个数据类型中选取待置换的目标数据类型。
203、在数据映射体系中筛选与目标数据类型匹配的目标唯一标识。
例如,若基于实施例步骤201-202的实例,筛选出与全量数据对应目标行业匹配的目标数据类型为B,则可进一步在数据映射体系中,筛选出数据类型B对应的系统唯一标识为bb2222,故可将系统唯一标识bb2222确定为与目标数据类型匹配的目标唯一标识。
204、将全量数据置换为目标唯一标识,并将目标唯一标识对应的标识文件存储于预设存储位置。
例如,若确定全量数据对应的目标唯一标识为ee5555,可将全量数据置换为ee5555对应的目标唯一标识,生成标识文件,并将标识文件存储到预设文件存储位置。
205、接收目标唯一标识置换完成的提示信息。
其中,提示信息是通过web接口调用触发的,此外,在提示信息中还包括用于存储目标唯一标识的标识文件的文件地址以及目标数据源对应的数据置换编号,标识文件地址用于标记置换后的系统唯一标识所存储的文件位置,数据置换编号用于区分数据置换的批次。
例如,用户先后发起两次数据置换,第一次置换对应的目标数据源a包括1000w个待置换的全量数据,第二次置换对应的目标数据源b包括2000w个待置换的全量数据,为了区分这两次置换过程,会为这两个置换分别配置数据置换编号,如第一次置换可配置数据置换编号为001,第二次置换可配置数据置换编号为002。由于置换过程中,各个全量数据均会置换得到对应的系统唯一标识,故针对目标数据源a,会得到1000w个系统唯一标识,针对目标数据源b,会得到2000w个系统唯一标识。在得到系统唯一标识后,会将同一置换批次下的系统唯一标识统一存储在标识文件中,以便对数据进行异步处理,即第一次置换会得到一个包含1000w个系统唯一标识的标识文件,第二次置换会得到一个包含2000w个系统唯一标识的标识文件。在具体的应用场景中,在实现标识文件的存储后,数据置换系统会发送目标唯一标识置换完成的提示信息,以便提示数据迁移系统进行数据迁移,其中提示信息中可包含标识文件的文件地址以及数据置换编号,数据迁移系统在收到提示信息后,可通过异步获取标识文件,进而实现对数据的异步处理。
需要说明的是,在具体的应用场景中,对于本申请,可将数据置换以及数据迁移过程设置为异步数据处理过程,并且可实时接收数据处理状态的提示信息,使用户可以在提交数据后,立即走完流程,处理其它事宜,通过查看数据处理状态,监测数据置换以及数据迁移情况,并且在各个异步处理过程完成后,可输出提示信息,以便提示用户触发下一步的数据操作。
206、依据提示信息,发送关于目标唯一标识的数据迁移指令,以便依据数据迁移指令,创建目标表结构,并将目标唯一标识对应的标识文件批量迁入目标表结构中。
其中,数据迁移指令中可包含标识文件地址,以及标识文件对应的数据置换编号,以便通过标识文件地址以及数据置换编号,查取对应置换批次下的标识文件,进而通过创建表结构,实现对标识文件中系统唯一标识的批量迁移。
对于本实施例,在具体的应用场景中,在发送数据迁移指令后,即可对数据进行异步迁移处理,即依据数据迁移指令,创建目标表结构,并将特征数据批量迁入目标表结构中,具体可以包括:关闭数据库的自动提交功能;将标识文件增量提交到SQL语句池中,将预编译的SQL语句发送至数据库,SQL语句中携带有数据迁移指令以及待迁移的目标表结构,以便依据SQL语句将SQL语句池中的标识文件批量迁移至目标表结构中;待所特征数据迁移完成后,开启数据库的自动提交功能。
通过上述数据的置换迁移方法,可首先将目标数据源的全局数据代入数据映射体系,进一步获取全局数据对应的系统唯一标识,并将全量数据置换为系统唯一标识,之后依据批量写入算法以及系统唯一标识,实现对目标数据源中的所有特征数据的异步迁移处理。在本申请中,通过将全量数据的数据标识置换为系统全局唯一标识,通过统一数据体系,大幅降低运算过程中的性能消耗,提升结果输出速度;其次,通过数据批量写入处理优化,去掉多余的系统开销、网络开销,提升千万数据写入速度,使海量数据运算可以尽快开始;最后,由于千万数据转换、存储耗时较长,导致用户体验较差,在本申请中,通过异步数据处理,以及数据处理状态提示,使用户可以在提交数据后,立即走完流程,处理其它事宜,通过查看数据处理状态,监测数据迁移情况。
进一步的,作为图1和图2所示方法的具体实现,本申请实施例提供了一种数据的置换迁移装置,如图3所示,该装置包括:获取模块31、置换模块32、迁移模块33;
获取模块31,可用于将目标数据源的全量数据代入数据映射体系,获取各个全量数据对应的系统唯一标识;
置换模块32,可用于将全量数据置换为系统唯一标识;
迁移模块33,可用于基于批量写入算法,异步迁移系统唯一标识。
在具体的应用场景中,为了获取得到包含各个预设数据类型和对应系统唯一标识的映射关系的数据映射体系,如图4所示,本装置还包括:创建模块34;
创建模块34,可用于创建各个预设数据类型和对应系统唯一标识的映射关系,并创建包含各个映射关系的数据映射体系。
相应的,为了获取得到各个全量数据对应的系统唯一标识,获取模块31,具体可用于确定目标数据源中各个全量数据待置换的目标数据类型;在数据映射体系中筛选与目标数据类型匹配的目标唯一标识。
在具体的应用场景中,为了确定出目标数据源中各个全量数据待置换的目标数据类型,获取模块31,具体可用于获取目标数据源中各个全量数据对应录入的第一数据类型;确定第一数据类型支持置换的数据类型列表,以便用户在数据类型列表中选取待置换的目标数据类型。
相应的,为了将全量数据置换为系统唯一标识,置换模块32,具体可用于将全量数据置换为目标唯一标识,并将目标唯一标识对应的标识文件存储于预设存储位置。
在具体的应用场景中,为了实现对全量数据的异步迁移处理,迁移模块33,具体可用于接收目标唯一标识置换完成的提示信息;依据提示信息,发送关于目标唯一标识的数据迁移指令,以便依据数据迁移指令,创建目标表结构,并将目标唯一标识对应的标识文件批量迁入目标表结构中。
相应的,为了依据数据迁移指令,创建目标表结构,并将目标唯一标识对应的标识文件批量迁入目标表结构中,处理模块33,具体可用于关闭数据库的自动提交功能;将标识文件增量提交到SQL语句池中,将预编译的SQL语句发送至数据库,SQL语句中携带有数据迁移指令以及待迁移的目标表结构,以便依据SQL语句将SQL语句池中的标识文件批量迁移至目标表结构中;待所特征数据迁移完成后,开启数据库的自动提交功能。
需要说明的是,本发明实施例提供的一种数据的置换迁移装置所涉及各功能单元的其他相应描述,可以参考图1中的对应描述,在此不再赘述。
基于上述如图1所示方法,相应的,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现以下步骤:将目标数据源的全量数据代入数据映射体系,获取各个全量数据对应的系统唯一标识;将全量数据置换为系统唯一标识;基于批量写入算法,异步迁移所述系统唯一标识。
基于上述如图1所示方法和如图3所示装置的实施例,本发明实施例还提供了一种计算机设备,如图5所示,处理器(processor)41、通信接口(Communications Interface)42、存储器(memory)43、以及通信总线44。其中:处理器41、通信接口42、以及存储器43通过通信总线44完成相互间的通信。通信接口44,用于与其它设备比如客户端或其它服务器等的网元通信。处理器41,用于执行程序,具体可以执行上述数据的置换迁移方法实施例中的相关步骤。具体地,程序可以包括程序代码,该程序代码包括计算机操作指令。处理器41可能是中央处理器CPU,或者是特定集成电路ASIC(Application Specific IntegratedCircuit),或者是被配置成实施本发明实施例的一个或多个集成电路。
终端包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个CPU;也可以是不同类型的处理器,如一个或多个CPU以及一个或多个ASIC。存储器43,用于存放程序。存储器43可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatilememory),例如至少一个磁盘存储器。程序具体可以用于使得处理器41执行以下操作:将目标数据源的全量数据代入数据映射体系,获取各个全量数据对应的系统唯一标识;将全量数据置换为系统唯一标识;基于批量写入算法,异步迁移所述系统唯一标识。
本发明实施例提供的一种数据的置换迁移方法、装置及计算机设备,可首先将目标数据源的全局数据代入数据映射体系,进一步获取全局数据对应的系统唯一标识,并将全量数据置换为符合平台数据处理规范的系统唯一标识,之后依据批量写入算法,实现对系统唯一标识的异步迁移。在本申请中,通过将全量数据的数据标识置换为系统全局唯一标识,通过统一数据体系,大幅降低运算过程中的性能消耗,提升结果输出速度;其次,通过数据批量写入处理优化,去掉多余的系统开销、网络开销,提升千万数据写入速度,使海量数据运算可以尽快开始;最后,由于千万数据转换、存储耗时较长,导致用户体验较差,在本申请中,通过异步数据处理,以及数据处理状态提示,使用户可以在提交数据后,立即走完流程,处理其它事宜,通过查看数据处理状态,监测数据迁移情况。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
可以理解的是,上述方法及装置中的相关特征可以相互参考。另外,上述实施例中的“第一”、“第二”等是用于区分各实施例,而并不代表各实施例的优劣。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的基于放疗计划系统的射野设置装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
Claims (6)
1.一种数据的置换迁移方法,其特征在于,包括:
确定目标数据源中各个全量数据待置换的目标数据类型;在数据映射体系中筛选与所述目标数据类型匹配的系统唯一标识作为目标唯一标识;
将所述全量数据置换为所述目标唯一标识,并将所述目标唯一标识对应的标识文件存储于预设存储位置;
接收所述目标唯一标识置换完成的提示信息,依据所述提示信息发送关于所述目标唯一标识的数据迁移指令,以便依据所述数据迁移指令,创建目标表结构,关闭数据库的自动提交功能;将所述标识文件增量提交到SQL语句池中,将预编译的SQL语句发送至所述数据库,所述SQL语句中携带有数据迁移指令以及待迁移的目标表结构,以便依据所述SQL语句将所述SQL语句池中的所述标识文件批量迁移至所述目标表结构中;待数据迁移完成后,开启所述数据库的自动提交功能。
2.根据权利要求1所述的方法,在将目标数据源的全量数据代入数据映射体系,获取各个所述全量数据对应的系统唯一标识之前,具体还包括:
创建各个预设数据类型和对应系统唯一标识的映射关系,并创建包含各个所述映射关系的数据映射体系。
3.根据权利要求1所述的方法,其特征在于,所述确定目标数据源中各个全量数据待置换的目标数据类型,具体包括:
获取目标数据源中各个全量数据对应录入的第一数据类型;
确定所述第一数据类型支持置换的数据类型列表,以便用户在所述数据类型列表中选取待置换的目标数据类型。
4.一种数据的置换迁移装置,其特征在于,包括:
获取模块,用于确定目标数据源中各个全量数据待置换的目标数据类型;在数据映射体系中筛选与所述目标数据类型匹配的系统唯一标识作为目标唯一标识;
置换模块,用于将所述全量数据置换为所述目标唯一标识,并将所述目标唯一标识对应的标识文件存储于预设存储位置;
迁移模块,用于接收所述目标唯一标识置换完成的提示信息,依据所述提示信息发送关于所述目标唯一标识的数据迁移指令,以便依据所述数据迁移指令,创建目标表结构,关闭数据库的自动提交功能;将所述标识文件增量提交到SQL语句池中,将预编译的SQL语句发送至所述数据库,所述SQL语句中携带有数据迁移指令以及待迁移的目标表结构,以便依据所述SQL语句将所述SQL语句池中的所述标识文件批量迁移至所述目标表结构中;待数据迁移完成后,开启所述数据库的自动提交功能。
5.一种非易失性可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现权利要求1至3中任一项所述的数据的置换迁移方法。
6.一种计算机设备,包括非易失性可读存储介质、处理器及存储在非易失性可读存储介质上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至3中任一项所述的数据的置换迁移方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010713808.XA CN112035432B (zh) | 2020-07-22 | 2020-07-22 | 数据的置换迁移方法、装置计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010713808.XA CN112035432B (zh) | 2020-07-22 | 2020-07-22 | 数据的置换迁移方法、装置计算机设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112035432A CN112035432A (zh) | 2020-12-04 |
CN112035432B true CN112035432B (zh) | 2024-02-23 |
Family
ID=73582942
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010713808.XA Active CN112035432B (zh) | 2020-07-22 | 2020-07-22 | 数据的置换迁移方法、装置计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112035432B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112632032B (zh) * | 2020-12-18 | 2022-12-27 | 华人运通(上海)云计算科技有限公司 | 一种数据迁移方法、装置、存储介质及终端设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103631907A (zh) * | 2013-11-26 | 2014-03-12 | 中国科学院信息工程研究所 | 一种将关系型数据迁移至HBase的方法及系统 |
CN104346377A (zh) * | 2013-07-31 | 2015-02-11 | 克拉玛依红有软件有限责任公司 | 一种基于唯一标识的数据集成和交换方法 |
CN106528786A (zh) * | 2016-11-08 | 2017-03-22 | 国网山东省电力公司电力科学研究院 | 快速迁移多源异构电网大数据到HBase的方法及系统 |
CN109740120A (zh) * | 2018-12-14 | 2019-05-10 | 深圳壹账通智能科技有限公司 | 分布式环境下唯一标识的生成方法、装置、计算机设备 |
CN110196860A (zh) * | 2018-04-12 | 2019-09-03 | 腾讯科技(深圳)有限公司 | 唯一标识分配方法及装置、电子设备、存储介质 |
CN110737674A (zh) * | 2019-10-14 | 2020-01-31 | 深圳前海微众银行股份有限公司 | 可视化图表查询方法、装置、设备及计算机存储介质 |
CN111324595A (zh) * | 2020-02-25 | 2020-06-23 | 中信银行股份有限公司 | 数据迁移的方法、系统、设备及计算机可读存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10956381B2 (en) * | 2014-11-14 | 2021-03-23 | Adp, Llc | Data migration system |
US10157196B2 (en) * | 2015-08-12 | 2018-12-18 | Salesforce.Com, Inc. | Intra-platform data migration |
US10387041B2 (en) * | 2017-11-02 | 2019-08-20 | Salesforce.Com, Inc. | Data migration system |
-
2020
- 2020-07-22 CN CN202010713808.XA patent/CN112035432B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104346377A (zh) * | 2013-07-31 | 2015-02-11 | 克拉玛依红有软件有限责任公司 | 一种基于唯一标识的数据集成和交换方法 |
CN103631907A (zh) * | 2013-11-26 | 2014-03-12 | 中国科学院信息工程研究所 | 一种将关系型数据迁移至HBase的方法及系统 |
CN106528786A (zh) * | 2016-11-08 | 2017-03-22 | 国网山东省电力公司电力科学研究院 | 快速迁移多源异构电网大数据到HBase的方法及系统 |
CN110196860A (zh) * | 2018-04-12 | 2019-09-03 | 腾讯科技(深圳)有限公司 | 唯一标识分配方法及装置、电子设备、存储介质 |
CN109740120A (zh) * | 2018-12-14 | 2019-05-10 | 深圳壹账通智能科技有限公司 | 分布式环境下唯一标识的生成方法、装置、计算机设备 |
CN110737674A (zh) * | 2019-10-14 | 2020-01-31 | 深圳前海微众银行股份有限公司 | 可视化图表查询方法、装置、设备及计算机存储介质 |
CN111324595A (zh) * | 2020-02-25 | 2020-06-23 | 中信银行股份有限公司 | 数据迁移的方法、系统、设备及计算机可读存储介质 |
Non-Patent Citations (1)
Title |
---|
分布式异构数据库迁移系统的设计与实现;熊辉;刘彦峰;郭大庆;;计算机工程(04);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112035432A (zh) | 2020-12-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110532038B (zh) | 一种基于Java智能合约的并行执行方法 | |
CN110968478B (zh) | 日志采集方法、服务器及计算机存储介质 | |
CN106778351A (zh) | 数据脱敏方法及装置 | |
CN109542415B (zh) | 支持应用程序并行研发的代码合并方法及相关设备 | |
CN111124480B (zh) | 应用程序包的生成方法、装置、电子设备及存储介质 | |
CN109614312A (zh) | 测试用例生成方法、装置、电子设备及存储介质 | |
CN106227893A (zh) | 一种文件类型获取方法及装置 | |
CN110659165A (zh) | 一种多节点服务器自动化测试方法和装置 | |
CN111654542B (zh) | 代理服务器、执行服务器、接收设备以及任务执行方法 | |
CN112035432B (zh) | 数据的置换迁移方法、装置计算机设备 | |
CN113110944A (zh) | 信息查找方法、装置、服务器、可读存储介质及程序产品 | |
CN108170588B (zh) | 一种测试环境搭建方法及装置 | |
CN112559525B (zh) | 数据检查系统、方法、装置和服务器 | |
CN113961228A (zh) | 一种变更提醒方法、装置、设备及存储介质 | |
CN107766228B (zh) | 一种基于多语种的自动化测试方法和装置 | |
CN111324373B (zh) | 多个工程文件上传代码仓库的方法及装置、计算设备 | |
CN111124545A (zh) | 应用程序启动方法、装置、电子设备及存储介质 | |
CN113836212B (zh) | 数据库数据自动生成Json数据的方法、可读介质和电子设备 | |
CN113031995A (zh) | 一种更新规则的方法、装置、存储介质以及电子设备 | |
CN108897873B (zh) | 一种生成作业文件的方法、装置、存储介质及处理器 | |
CN112182083A (zh) | 文件生成方法、装置、设备及存储介质 | |
CN114189512B (zh) | 基线代码的下载方法、装置、终端设备和存储介质 | |
CN115658606B (zh) | 文件处理方法和装置、存储介质及电子装置 | |
CN116974653B (zh) | 类加载方法及系统 | |
CN115328816B (zh) | 测试用例管理方法、装置、计算设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |