CN112347080A - 一种数据迁移方法及相关装置 - Google Patents
一种数据迁移方法及相关装置 Download PDFInfo
- Publication number
- CN112347080A CN112347080A CN202011254007.8A CN202011254007A CN112347080A CN 112347080 A CN112347080 A CN 112347080A CN 202011254007 A CN202011254007 A CN 202011254007A CN 112347080 A CN112347080 A CN 112347080A
- Authority
- CN
- China
- Prior art keywords
- data
- task
- source information
- data migration
- migration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013508 migration Methods 0.000 title claims abstract description 170
- 230000005012 migration Effects 0.000 title claims abstract description 170
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000010276 construction Methods 0.000 claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 35
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012216 screening Methods 0.000 claims description 5
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000005192 partition Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/214—Database migration support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/219—Managing data history or versioning
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种数据迁移方法，包括：通过控制系统接收到输入的目标数据的数据源信息；根据预设的任务模板对所述数据源信息进行任务构建处理，得到数据迁移任务；执行所述数据迁移任务，以便将所述目标数据迁移至目标数据仓库。通过接收到目标数据的数据源信息，并采用任务模板构建出对应的数据迁移任务并执行，实现了针对不同的数据源信息进行数据迁移，而不是采用固定的插件进行迁移，提高了数据迁移的灵活性。本申请还公开了一种数据迁移装置、服务器以及计算机可读存储介质，具有以上有益效果。
Description
技术领域
本申请涉及数据存储技术领域，特别涉及一种数据迁移方法、数据迁移装置、服务器以及计算机可读存储介质。
背景技术
随着信息技术的不断发展，出现了大数据技术。在大数据应用领域中，企业过往经营的业务数据对企业可以起到重要的指导作用。基于大量历史数据的模拟训练，可以较为精准地预测企业未来的运营状态，这带给企业的利益无疑是巨大的。在为客户提供类似数据分析服务时，首先需要做的便是有效将客户数据迁移至数据仓库。
相关技术中，通常是基于ERP(Enterprise Resource Planning，企业资源计划系统)内置的计划任务调度完成的，即在ERP内部通过插件实现多种取数逻辑，并将插件交由计划任务调度起来，以取得业务环境中的目标数据，然后由计划任务启动发送器，将这些目标数据通过网络传输至数据仓库。ERP客户端的数据则在数据产生时直接通过网络发送至数据仓库。这样便完成了客户环境下数据往数据仓库的迁移。但是，相关技术中由于采用ERP系统内部的插件迁移方法，导致迁移过程灵活性较低，在迁移过程中出现了效率低下，可靠性较低，性能低下等问题。
因此，如何提高数据在不同的数据仓库之间进行迁移的灵活性是本领域技术人员关注的重点问题。
发明内容
本申请的目的是提供一种数据迁移方法、数据迁移装置、服务器以及计算机可读存储介质，通过接收到目标数据的数据源信息，并采用任务模板构建出对应的数据迁移任务并执行，实现了针对不同的数据源信息进行数据迁移，而不是采用固定的插件进行迁移，提高了数据迁移的灵活性。
为解决上述技术问题，本申请提供一种数据迁移方法，包括：
通过控制系统接收到输入的目标数据的数据源信息；
根据预设的任务模板对所述数据源信息进行任务构建处理，得到数据迁移任务；
执行所述数据迁移任务，以便将所述目标数据迁移至目标数据仓库。
可选的，通过控制系统接收到输入的目标数据的数据源信息，包括：
通过所述控制系统的用户界面接收到输入的所述目标数据的所述数据源信息。
可选的，还包括：
根据所述数据源信息构建对应的任务模板。
可选的，根据预设的任务模板对所述数据源信息进行任务构建处理，得到数据迁移任务，包括：
根据所述数据源信息确定对应的目标数据；
对所述目标数据进行扫描得到对应的关键值；
采用所述任务模板对所述数据源信息和所述关键值进行任务构建处理，得到所述数据迁移任务。
可选的，采用所述任务模板对所述数据源信息和所述关键值进行任务构建处理，得到所述数据迁移任务，包括：
将所述数据源信息和所述关键值进行分割，得到多个数据块对应的数据源信息和关键值信息；
采用所述任务模板分别对所述多个数据块对应的数据源信息和关键值信息进行任务构建处理，得到多个所述数据迁移任务。
可选的，还包括：
当所述目标数据迁移至所述目标数据仓库之后，将记录的日志数据保存至所述目标数据仓库中；
对所述日志数据进行分析得到对应的配置信息，以便将所述配置信息作为所述任务构建处理的配置参数。
可选的，还包括：
当执行所述数据迁移任务出现数据倾斜情况时，从未执行的数据迁移任务中筛选出数据量大于预设值的大数据迁移任务；
将所述大数据迁移任务拆分为多个子任务，并执行所述多个子任务。
本申请还提供一种数据迁移装置，包括：
数据源信息接收模块，用于通过控制系统接收到输入的目标数据的数据源信息；
任务构建模块，用于根据预设的任务模板对所述数据源信息进行任务构建处理，得到数据迁移任务；
任务执行模块，用于执行所述数据迁移任务，以便将所述目标数据迁移至目标数据仓库。
本申请还提供一种服务器，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上所述的数据迁移方法的步骤。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的数据迁移方法的步骤。
本申请所提供的一种数据迁移方法，包括：通过控制系统接收到输入的目标数据的数据源信息；根据预设的任务模板对所述数据源信息进行任务构建处理，得到数据迁移任务；执行所述数据迁移任务，以便将所述目标数据迁移至目标数据仓库。
通过控制系统接收到输入的目标数据的数据源信息，然后根据预设的任务模板对该数据源信息进行任务构建处理，得到数据迁移任务，最后执行该数据迁移任务，实现将目标数据迁移至目标数据仓库，可见，该数据迁移任务是随着不同的数据源信息发生不同的改变，而不是如现有技术中采用的固化的插件进行迁移，提高了数据迁移的灵活性，可以根据不同的情况以低门槛生成不同的数据迁移任务，应对了多种不同的迁移情况。
本申请还提供一种数据迁移装置、服务器以及计算机可读存储介质，具有以上有益效果，在此不做赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例所提供的一种数据迁移方法的流程图；
图2为本申请实施例所提供的一种数据迁移装置的结构示意图；
图3为本申请实施例所提供的另一种数据迁移装置的结构示意图；
图4为本申请实施例所提供的一种服务器的结构示意图。
具体实施方式
本申请的核心是提供一种数据迁移方法、数据迁移装置、服务器以及计算机可读存储介质，通过接收到目标数据的数据源信息，并采用任务模板构建出对应的数据迁移任务并执行，实现了针对不同的数据源信息进行数据迁移，而不是采用固定的插件进行迁移，提高了数据迁移的灵活性。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
相关技术中，通常是基于ERP内置的计划任务调度完成的，即在ERP内部通过插件实现多种取数逻辑，并将插件交由计划任务调度起来，以取得业务环境中的目标数据，然后由计划任务启动发送器，将这些目标数据通过网络传输至数据仓库。ERP客户端的数据则在数据产生时直接通过网络发送至数据仓库。这样便完成了客户环境下数据往数据仓库的迁移。但是，相关技术中由于采用ERP系统内部的插件迁移方法，导致迁移过程灵活性较低，在迁移过程中出现了效率低下，可靠性较低，性能低下等问题。
因此，本申请提供一种数据迁移方法，通过控制系统接收到输入的目标数据的数据源信息，然后根据预设的任务模板对该数据源信息进行任务构建处理，得到数据迁移任务，最后执行该数据迁移任务，实现将目标数据迁移至目标数据仓库，可见，该数据迁移任务是随着不同的数据源信息发生不同的改变，而不是如现有技术中采用的固化的插件进行迁移，提高了数据迁移的灵活性，可以根据不同的情况以低门槛生成不同的数据迁移任务，应对了多种不同的迁移情况。
以下通过一个实施例，对本申请提供的一种数据迁移方法进行说明。
请参考图1，图1为本申请实施例所提供的一种数据迁移方法的流程图。
本实施例中，该方法可以包括：
S101，通过控制系统接收到输入的目标数据的数据源信息；
本步骤旨在通过控制系统接收到目标数据的数据源信息，也就是获取到技术人员或用户输入的数据源信息，该数据源信息就是技术人员或用户预期想要进行迁移的数据源的信息。该数据源可以是数据库物理表、日志文件、网络端口等。
进一步的，当数据源是数据库物理表时，通过指定表名可以实现指定表的全量数据迁移，通过指定分区字段可以实现指定表指定分区的数据迁移，通过指定父表关联可以实现多表相关数据的迁移，通过生效时间可以通知数据迁移任务有效期控制等。可见，本实施例中可以通过该数据源信息中的不同信息内容，对数据迁移的过程进行相应的控制操作，以便完成不同的迁移过程，也就是提高了数据迁移的灵活性。
为了进一步减低进行设置的门槛，本步骤可以包括：
通过控制系统的用户界面接收到输入的目标数据的数据源信息。
可见，本可选方案中主要是对接收数据源信息的方式进行说明。进一步的，在本实施例中主要是通过设定的用户界面获取到该数据源信息。该用户界面具体形式可以参考现有技术提供的任意一种用户界面的形式，在此不做具体限定。
S102，根据预设的任务模板对数据源信息进行任务构建处理，得到数据迁移任务；
在S101的基础上，本步骤旨在根据预设的任务模板对数据源信息进行任务构建处理，得到数据迁移任务。也就是，通过该任务模板对数据源信息进行相应的构建处理，将数据源信息中关于目标数据的各种信息添加至任务模板中，以便得到该数据迁移任务。
为了进一步提高任务模板的可用性和灵活性，本实施例还可以包括：
根据数据源信息构建对应的任务模板。
可见，本可选方案还说明了该任务模板可以通过数据源信息进行构建，以便得到对应的可用度较高的任务模板。由于任务模板也可以通过数据源信息进行相应的构建操作，进一步的提高了本实施例中执行数据迁移任务的灵活性。其中，通过数据源信息构建对应的任务模板主要是根据不同的数据源信息中的类型，确定该任务模板的类型，进一步构建出对应的任务模块。
为了进一步提高构建数据迁移任务的准确性，以及任务的有效性，本步骤可以包括：
步骤1，根据数据源信息确定对应的目标数据；
步骤2，对目标数据进行扫描得到对应的关键值；
步骤3，采用任务模板对数据源信息和关键值进行任务构建处理，得到数据迁移任务。
可见，本可选方案中主要是对如何构建出数据迁移任务进行说明。本可选方案中首先根据数据源信息确定对应的目标数据；然后，对目标数据进行扫描得到对应的关键值；最后，采用任务模板对数据源信息和关键值进行任务构建处理，得到数据迁移任务。也就是说，本可选方案中主要是通过数据源信息和获取到的关键值通过任务模板构建出对应的数据迁移任务。
进一步的，为了提高上一可选方案中步骤3的任务执行的性能，该步骤可以包括：
步骤1，将数据源信息和关键值进行分割，得到多个数据块对应的数据源信息和关键值信息；
步骤2，采用任务模板分别对多个数据块对应的数据源信息和关键值信息进行任务构建处理，得到多个数据迁移任务。
可见，本可选方案主要是对上一可选方案中构建数据迁移任务的步骤进行说明。本可选方案中主要是为了提高数据迁移任务执行效率，同时提高任务执行的效率，进一步的将原有的单个数据迁移任务分割为多个数据迁移任务，以便并行处理多个数据迁移任务。
S103，执行数据迁移任务，以便将目标数据迁移至目标数据仓库。
在S102的基础上，本步骤旨在执行数据迁移任务，以便将目标数据迁移至目标数据仓库。也就是，执行该数据迁移任务即将数据进行迁移的操作。
在获取到数据迁移任务的基础上，相当于确定了任务模板、任务类型、任务状态、起始游标、结束游标、起始时间以及结束时间等，因此就可以确定到计算机如何执行对应的数据迁移任务。
其中，执行数据迁移任务的方式可以参考现有技术提供的任意一种数据迁移任务的执行方式，在此不做具体限定。
可选的，本实施例可以包括：
步骤1，当目标数据迁移至目标数据仓库之后，将记录的日志数据保存至目标数据仓库中；
步骤2，对日志数据进行分析得到对应的配置信息，以便将配置信息作为任务构建处理的配置参数。
可见，本可选方案中主要是对任务构建处理中的配置参数的获取方式进行说明。进一步的，本可选方案中当目标数据迁移至目标数据仓库之后，将记录的日志数据保存至目标数据仓库中；然后，对日志数据进行分析得到对应的配置信息，以便将配置信息作为任务构建处理的配置参数。也就是通过获取到的日志数据对配置参数进行优化，进一步的提高了任务构建处理的效率及准确性。
可选的，本实施例可以包括：
步骤1，当执行数据迁移任务出现数据倾斜情况时，从未执行的数据迁移任务中筛选出数据量大于预设值的大数据迁移任务；
步骤2，将大数据迁移任务拆分为多个子任务，并执行多个子任务。
可见，本可选方案中主要是对任务执行过程中出现数据倾斜情况进行解决。其中，数据倾斜情况是指不同进程或不同任务执行速度不同，会出现一部分任务执行完成后还有任务未执行完成的情况。因此，通过本可选方案中首先从未执行的数据迁移任务中筛选出数据量大于预设值的大数据迁移任务；然后，将大数据迁移任务拆分为多个子任务，并执行多个子任务。
综上，本实施例通过控制系统接收到输入的目标数据的数据源信息，然后根据预设的任务模板对该数据源信息进行任务构建处理，得到数据迁移任务，最后执行该数据迁移任务，实现将目标数据迁移至目标数据仓库，可见，该数据迁移任务是随着不同的数据源信息发生不同的改变，而不是如现有技术中采用的固化的插件进行迁移，提高了数据迁移的灵活性，可以根据不同的情况以低门槛生成不同的数据迁移任务，应对了多种不同的迁移情况。
以下通过一个具体的实施例，对本申请提供的一种数据迁移方法做进一步说明。
本实施例中该数据迁移方案，共由App Environment(应用环境)，Business Data/Log(业务数据与日志)，Agent Service(代理服务)，Cloud Service(云服务)，UI(用户界面)五层构成。
其中，App Environment可以是亚马逊云、华为云、京东云等和独立服务器等ERP运行环境，该运行环境决定了数据迁移路线是内网封闭或公网暴露状态；
其中，Business Data/Log是目标数据的载体，支持各类主流关系型数据库，日志文件，网络端口等；
其中，Agent Service数据迁移代理服务，负责从Cloud Service层获取迁移任务(数据源信息)及任务调优配置(item和conf)，然后根据任务读取Business Data/Log层的目标数据，并将目标数据发往Cloud Service层；迁移任务(数据源信息)及任务调优配置(item和conf)被叫做任务元数据。
其中，Cloud Service云服务层，包含CCB(Central Control Board，中央控制台服务)和DataOne(金蝶大数据统一处理平台)，CCB负责统一管理和优化迁移任务，DataOne负责接收、存储、计算、应用目标数据；
其中，UI包含CCB UI、DataOne UI，CCB UI便于用户管理数据迁移任务，DataOneUI便于用户开发客户数据。
基于上述结构，本实施例中该数据迁移方法可以包括：
步骤1，将Agent Service部署在需要提供数据分析扩展服务的客户环境，从CCBUI发布数据迁移任务；
步骤2，Agent Service的Synchrozior通过CCB的Controller获取迁移任务(items)和配置(conf)，即获取到任务元数据；
步骤3，Agent Service的Builder解析items和conf，并构建出迁移数据的可执行任务(tasks)；
步骤4，Agent Service的Executor读取tasks，根据tasks读取Business Data/Log中的数据，并提交给DataOne的kdcs；
步骤5，Agent Service的Synchrozior、Builder、Executor向Reportor记录日志，由Reportor将日志转发DataOne；
步骤6，CCB的Analyser通过DataOne对Reportor的日志做数据分析，生成新的conf。
其中，任务元数据，与原始的插件任务方式不同，Agent Service最终执行的任务并不是固定的，task的实际逻辑取决于任务模板(item)和item中目标数据的当前状态，而item是由数据源决定的，该数据源也就是CCB UI中发布的任务，可以是数据库物理表、日志文件、网络端口等。即只需要通过CCB UI的在线界面发布数据源，即可生成对应的item，再根据item构建相应task。
数据源是数据库物理表时，通过指定表名可以实现指定表的全量数据迁移，通过指定分区字段可以实现指定表指定分区的数据迁移，通过指定父表关联可以实现多表相关数据的迁移，通过生效时间可以通知数据迁移任务有效期控制等。
任务模板的类型有固化数据、迁移数据，迁移校验数据三类，分别用于转储动态目标数据、迁移目标数据、迁移目标数据的校验数据，模板任务数据最大行用于控制目标数据所需task的数量，这可以最大程度的优化执行效率；
每个任务处理的数据区间是有起始游标和结束游标控制的，起始游标也是当前执行到的游标，这样降低了取数时IO上的压力，同时当task面临拆分优化机会时，通过起始游标和结束游标将较大的数据迁移任务进行相应的拆分操作。
进一步的，该Agent Service中执行的过程可以包括：
步骤1，Synchronizor从CCB同步数据源，并写入Agent Service的MetaData；
步骤2，Builder解析数据源，并扫描目标数据，计算数据源关键值；
步骤3，Builder构建与数据源对应的任务模板；
步骤4，Builder根据items分割目标数据，为每个items构建多个tasks；
步骤5，Executor持有task的信息；
步骤6，Executor根据task信息将目标数据在本地固化转储；
步骤7，Executor读取固化数据块中start_cursor(起始游标)与end_cursor(结束游标)区间的数据，从start_cursor开始读取，取出长度为task设定块长度；
步骤8，Executor启动后，tasks任务数据产生倾斜，此时发起rebuild，将重量级任务拆分多子任务，将执行任务的数据量进行均衡处理；
步骤9，将读取的数据提交给kdcs，在保证提交成功时，向下移动task的start_cursor，移动长度即数据块实际长度；
步骤10，logging&report：Synchronizor、Builder、Executor的日志通过Reportor记录并提交给kdcs。
可见，本实施例通过控制系统接收到输入的目标数据的数据源信息，然后根据预设的任务模板对该数据源信息进行任务构建处理，得到数据迁移任务，最后执行该数据迁移任务，实现将目标数据迁移至目标数据仓库，可见，该数据迁移任务是随着不同的数据源信息发生不同的改变，而不是如现有技术中采用的固化的插件进行迁移，提高了数据迁移的灵活性，可以根据不同的情况以低门槛生成不同的数据迁移任务，应对了多种不同的迁移情况。
下面对本申请实施例提供的数据迁移装置进行介绍，下文描述的数据迁移装置与上文描述的数据迁移方法可相互对应参照。
请参考图2，图2为本申请实施例所提供的一种数据迁移装置的结构示意图。
本实施例中，该装置可以包括：
数据源信息接收模块100，用于通过控制系统接收到输入的目标数据的数据源信息；
任务构建模块200，用于根据预设的任务模板对数据源信息进行任务构建处理，得到数据迁移任务；
任务执行模块300，用于执行数据迁移任务，以便将目标数据迁移至目标数据仓库。
可选的，该数据源信息接收模块100具体用于通过控制系统的用户界面接收到输入的目标数据的数据源信息。
可选的，该装置还可以包括：
任务模板构建模块，用于根据数据源信息构建对应的任务模板。
可选的，该任务构建模块200可以包括：
目标数据确定单元，用于根据数据源信息确定对应的目标数据；
关键值扫描单元，用于对目标数据进行扫描得到对应的关键值；
任务构建单元，用于采用任务模板对数据源信息和关键值进行任务构建处理，得到数据迁移任务。
可选的，该任务构建单元可以包括：
信息分割子单元，用于将数据源信息和关键值进行分割，得到多个数据块对应的数据源信息和关键值信息；
多任务构建子单元，用于采用任务模板分别对多个数据块对应的数据源信息和关键值信息进行任务构建处理，得到多个数据迁移任务。
可选的，该装置还可以包括：
日志记录模块，用于当目标数据迁移至目标数据仓库之后，将记录的日志数据保存至目标数据仓库中；
日志分析模块，用于对日志数据进行分析得到对应的配置信息，以便将配置信息作为任务构建处理的配置参数。
可选的，该装置还可以包括：
任务筛选模块，用于当执行数据迁移任务出现数据倾斜情况时，从未执行的数据迁移任务中筛选出数据量大于预设值的大数据迁移任务；
任务拆分模块，用于将大数据迁移任务拆分为多个子任务，并执行多个子任务。
请参考图3，图3为本申请实施例所提供的另一种数据迁移装置的结构示意图，该数据迁移装置可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)622(例如，一个或一个以上处理器)和存储器632，一个或一个以上存储应用程序642或数据644的存储介质630(例如一个或一个以上海量存储设备)。其中，存储器632和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对计算装置中的一系列指令操作。更进一步地，中央处理器622可以设置为与存储介质630通信，在计算装置600上执行存储介质630中的一系列指令操作。
控制装置600还可以包括一个或一个以上电源626，一个或一个以上有线或无线网络接口650，一个或一个以上输入输出接口658，和/或，一个或一个以上操作系统641，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
上述图1所描述的一种数据迁移方法中的步骤基于该图3所示的结构实现。
请参考图4，图4为本申请实施例所提供的一种服务器的结构示意图。
本申请实施例还提供一种服务器，包括：
存储器11，用于存储计算机程序；
处理器12，用于执行所述计算机程序时实现如以上实施例所述的数据迁移方法的步骤。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如以上实施例所述的数据迁移方法的步骤。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的一种数据迁移方法、数据迁移装置、服务器以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
Claims (10)
1.一种数据迁移方法，其特征在于，包括：
通过控制系统接收到输入的目标数据的数据源信息；
根据预设的任务模板对所述数据源信息进行任务构建处理，得到数据迁移任务；
执行所述数据迁移任务，以便将所述目标数据迁移至目标数据仓库。
2.根据权利要求1所述的数据迁移方法，其特征在于，通过控制系统接收到输入的目标数据的数据源信息，包括：
通过所述控制系统的用户界面接收到输入的所述目标数据的所述数据源信息。
3.根据权利要求1所述的数据迁移方法，其特征在于，还包括：
根据所述数据源信息构建对应的任务模板。
4.根据权利要求1所述的数据迁移方法，其特征在于，根据预设的任务模板对所述数据源信息进行任务构建处理，得到数据迁移任务，包括：
根据所述数据源信息确定对应的目标数据；
对所述目标数据进行扫描得到对应的关键值；
采用所述任务模板对所述数据源信息和所述关键值进行任务构建处理，得到所述数据迁移任务。
5.根据权利要求2所述的数据迁移方法，其特征在于，采用所述任务模板对所述数据源信息和所述关键值进行任务构建处理，得到所述数据迁移任务，包括：
将所述数据源信息和所述关键值进行分割，得到多个数据块对应的数据源信息和关键值信息；
采用所述任务模板分别对所述多个数据块对应的数据源信息和关键值信息进行任务构建处理，得到多个所述数据迁移任务。
6.根据权利要求1至5任一项所述的数据迁移方法，其特征在于，还包括：
当所述目标数据迁移至所述目标数据仓库之后，将记录的日志数据保存至所述目标数据仓库中；
对所述日志数据进行分析得到对应的配置信息，以便将所述配置信息作为所述任务构建处理的配置参数。
7.根据权利要求6所述的数据迁移方法，其特征在于，还包括：
当执行所述数据迁移任务出现数据倾斜情况时，从未执行的数据迁移任务中筛选出数据量大于预设值的大数据迁移任务；
将所述大数据迁移任务拆分为多个子任务，并执行所述多个子任务。
8.一种数据迁移装置，其特征在于，包括：
数据源信息接收模块，用于通过控制系统接收到输入的目标数据的数据源信息；
任务构建模块，用于根据预设的任务模板对所述数据源信息进行任务构建处理，得到数据迁移任务；
任务执行模块，用于执行所述数据迁移任务，以便将所述目标数据迁移至目标数据仓库。
9.一种服务器，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述的数据迁移方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的数据迁移方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011254007.8A CN112347080A (zh) | 2020-11-11 | 2020-11-11 | 一种数据迁移方法及相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011254007.8A CN112347080A (zh) | 2020-11-11 | 2020-11-11 | 一种数据迁移方法及相关装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112347080A true CN112347080A (zh) | 2021-02-09 |
Family
ID=74363363
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011254007.8A Pending CN112347080A (zh) | 2020-11-11 | 2020-11-11 | 一种数据迁移方法及相关装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112347080A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113409015A (zh) * | 2021-06-21 | 2021-09-17 | 浙江省能源集团有限公司 | 一种erp系统及其在双数据中心的双活部署的使用方法 |
| CN114328472A (zh) * | 2022-03-15 | 2022-04-12 | 北京数腾软件科技有限公司 | 一种基于ai的数据迁移方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070011422A1 (en) * | 2005-07-11 | 2007-01-11 | General Electric Company | Hierarchical state based migration of structured data |
| CN107958057A (zh) * | 2017-11-29 | 2018-04-24 | 苏宁云商集团股份有限公司 | 一种用于异构数据库中数据迁移的代码生成方法及装置 |
| CN108228672A (zh) * | 2016-12-22 | 2018-06-29 | 阿里巴巴集团控股有限公司 | 一种元数据迁移方法、装置、系统及设备 |
| CN111104393A (zh) * | 2019-12-17 | 2020-05-05 | 深圳追一科技有限公司 | 数据迁移方法、装置、电子设备以及存储介质 |
| CN111367883A (zh) * | 2020-02-25 | 2020-07-03 | 平安科技（深圳）有限公司 | 数据同步方法、装置、设备及计算机可读存储介质 |
| CN111723079A (zh) * | 2020-06-28 | 2020-09-29 | 深圳壹账通智能科技有限公司 | 数据迁移方法、装置、计算机设备及存储介质 |
-
2020
- 2020-11-11 CN CN202011254007.8A patent/CN112347080A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070011422A1 (en) * | 2005-07-11 | 2007-01-11 | General Electric Company | Hierarchical state based migration of structured data |
| CN108228672A (zh) * | 2016-12-22 | 2018-06-29 | 阿里巴巴集团控股有限公司 | 一种元数据迁移方法、装置、系统及设备 |
| CN107958057A (zh) * | 2017-11-29 | 2018-04-24 | 苏宁云商集团股份有限公司 | 一种用于异构数据库中数据迁移的代码生成方法及装置 |
| CN111104393A (zh) * | 2019-12-17 | 2020-05-05 | 深圳追一科技有限公司 | 数据迁移方法、装置、电子设备以及存储介质 |
| CN111367883A (zh) * | 2020-02-25 | 2020-07-03 | 平安科技（深圳）有限公司 | 数据同步方法、装置、设备及计算机可读存储介质 |
| CN111723079A (zh) * | 2020-06-28 | 2020-09-29 | 深圳壹账通智能科技有限公司 | 数据迁移方法、装置、计算机设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 孔芳: "数据迁移工具的设计研究", 苏州大学学报(工科版), no. 02, pages 53 - 56 * |
| 宁泰安;刘金刚;: "基于SQL-92和JDBC的SpaceOS数据库数据迁移的实现", 计算机应用与软件, no. 12, pages 70 - 73 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113409015A (zh) * | 2021-06-21 | 2021-09-17 | 浙江省能源集团有限公司 | 一种erp系统及其在双数据中心的双活部署的使用方法 |
| CN114328472A (zh) * | 2022-03-15 | 2022-04-12 | 北京数腾软件科技有限公司 | 一种基于ai的数据迁移方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10565083B2 (en) | Simulating hosted application performance | |
| US10999234B1 (en) | Message processing using messaging services | |
| US8775576B2 (en) | Reconfigurable cloud computing | |
| JP2022501736A (ja) | オンデマンドコード実行システムにおける実行環境についての効率的な状態メンテナンス | |
| US10038753B2 (en) | Network-independent programming model for online processing in distributed systems | |
| WO2017041649A1 (zh) | 一种应用部署方法及设备 | |
| US11461322B1 (en) | Transparent database table partitioning using proxy-based query rewriting | |
| US10949218B2 (en) | Generating an execution script for configuration of a system | |
| US10936361B2 (en) | Cloud and datacenter migration wave planning using analytics and flow modeling | |
| US11055454B1 (en) | Configuring and deploying Monte Carlo simulation pipelines | |
| US8990294B2 (en) | File system optimization by log/metadata analysis | |
| CN112347080A (zh) | 一种数据迁移方法及相关装置 | |
| US20230222356A1 (en) | Federated learning | |
| CN108363787B (zh) | 一种ifc文件并行存储方法、装置及系统 | |
| Li et al. | Wide-area spark streaming: Automated routing and batch sizing | |
| US11797535B1 (en) | Use of batch mode function execution in database engines to enable efficient calls to remote services | |
| US11068306B2 (en) | Re-using data structures beyond the life of an in-memory processing session | |
| CN112559525A (zh) | 数据检查系统、方法、装置和服务器 | |
| US10169076B2 (en) | Distributed batch job promotion within enterprise computing environments | |
| Gunarathne et al. | Towards a collective layer in the big data stack | |
| US20220107817A1 (en) | Dynamic System Parameter for Robotics Automation | |
| US20130138690A1 (en) | Automatically identifying reused model artifacts in business process models | |
| US11226885B1 (en) | Monte Carlo simulation monitoring and optimization | |
| CN111078975A (zh) | 一种多节点增量式数据采集系统及采集方法 | |
| US20230007856A1 (en) | Real-time dynamic container optimization computing platform |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |