CN117194373A - 数据迁移方法、数据迁移系统、电子设备及存储介质 - Google Patents
数据迁移方法、数据迁移系统、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117194373A CN117194373A CN202311101236.XA CN202311101236A CN117194373A CN 117194373 A CN117194373 A CN 117194373A CN 202311101236 A CN202311101236 A CN 202311101236A CN 117194373 A CN117194373 A CN 117194373A
- Authority
- CN
- China
- Prior art keywords
- data
- task
- source
- migration
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013508 migration Methods 0.000 title claims abstract description 262
- 230000005012 migration Effects 0.000 title claims abstract description 262
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000012545 processing Methods 0.000 claims abstract description 35
- 238000013507 mapping Methods 0.000 claims description 40
- 238000011084 recovery Methods 0.000 claims description 38
- 238000013515 script Methods 0.000 description 45
- 230000006870 function Effects 0.000 description 34
- 238000011161 development Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 238000004519 manufacturing process Methods 0.000 description 10
- 238000012360 testing method Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000012550 audit Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 230000007704 transition Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000013506 data mapping Methods 0.000 description 3
- 230000008676 import Effects 0.000 description 3
- 238000000638 solvent extraction Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000012356 Product development Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本说明书实施例公开了一种数据迁移方法、数据迁移系统、电子设备及存储介质,属于数据处理技术领域,可以实现面向多种业务的统一数据迁移方式,改善数据迁移效率、安全性和实现成本。所述方法包括:从源数据仓库获取源任务数据,所述源数据仓库存储的任务数据包括多个任务实体的源数据;将所述源任务数据编译为由源服务器存储的镜像文件,并生成与所述源任务数据对应的待迁移的任务实体的镜像编译事件;基于所述镜像编译事件,将所述源服务器存储的镜像文件迁移至目标服务器,并生成所述待迁移的任务实体的镜像迁移事件,所述镜像迁移事件用于指示将所述目标服务器存储的镜像文件恢复至目标任务环境。
Description
技术领域
本文件涉及数据处理技术领域,尤其涉及一种数据迁移方法、数据迁移系统、电子设备及存储介质。
背景技术
随着大数据和云计算等新一代信息通信技术加速发展,新型信息业务应用创新和迭代速度加快,同时新型信息业务应用的数据规模和体量呈现指数式快速增长。为了实现分析大规模的数据资源中业务竞争力的信息、洞察业务服务问题、获得决策的支持信息等目的,企事业单位常采用数据仓库存储从业务应用程序、关系数据库和外部数据源等来源的数据,通过数据仓库实现数据分析和洞察。
在企事业单位的应用创新和更新迭代的过程中,大部分创新应用和迭代更新的应用都需要在测试环境中完成验证,然后将验证的创新应用和迭代更新的应用部署至生产环境中,以控制安全风险和降低对生产环境中服务的影响。因此,不同环境之间的数据迁移是难以避免的,企事业单位将面临用户数据、接口映射数据、应用程序、脚本文件、依赖关系库、数据库以及数据仓库等构成创新应用或迭代更新的应用的海量数据和各式各样的计算机文件,需要迁移。目前,常通过技术人员人工对发生变化的数据进行逐项迁移,然而,企事业单位的数据规模庞大、映射关系复杂,且不同业务的数据迁移方式多种多样,人工逐项迁移不仅操作繁琐、效率过低,还非常容易出现错误,造成生产环境中服务的安全性问题。
发明内容
本说明书实施例目的是提供一种数据迁移方法、数据迁移系统、电子设备及存储介质,避免因待迁移数据的迁移方式不同而导致发生迁移错误,进而实现面向多种业务的统一数据迁移方式,改善数据迁移效率、安全性和实现成本。
为了实现上述目的,本说明书实施例采用下述方案:
第一方面,提供一种数据迁移方法,该数据迁移方法包括:
从源数据仓库获取源任务数据,所述源数据仓库存储的任务数据包括多个任务实体的源数据,所述源数据包括基于源任务环境的任务分类划分所述源任务环境内待迁移数据得到的任务实体的源数据;
将所述源任务数据编译为由源服务器存储的镜像文件,并生成与所述源任务数据对应的待迁移的任务实体的镜像编译事件;
基于所述镜像编译事件,将所述源服务器存储的镜像文件迁移至目标服务器,并生成所述待迁移的任务实体的镜像迁移事件,所述镜像迁移事件用于指示将所述目标服务器存储的镜像文件恢复至目标任务环境。
第二方面,提供一种数据迁移系统,该数据迁移系统包括:
获取模块,用于从源数据仓库获取源任务数据,所述源数据仓库存储的任务数据包括多个任务实体的源数据,所述源数据包括基于源任务环境的任务分类划分所述源任务环境内待迁移数据得到的任务实体的源数据;
镜像编译模块,用于将所述源任务数据编译为由源服务器存储的镜像文件,并生成与所述源任务数据对应的待迁移的任务实体的镜像编译事件;
镜像迁移模块,用于基于所述镜像编译事件,将所述源服务器存储的镜像文件迁移至目标服务器,并生成所述待迁移的任务实体的镜像迁移事件,所述镜像迁移事件用于将所述目标服务器存储的镜像文件恢复至目标任务环境。
第三方面,提供一种电子设备,该电子设备包括:
至少一个处理器;
存储器,与所述至少一个处理器连接;
其中,所述存储器存储有能被所述至少一个处理器执行的指令,所述至少一个处理器通过执行所述存储器存储的指令,所述至少一个处理器通过执行所述存储器存储的指令实现前述的方法。
第四方面,提供一种机器可读存储介质,存储有机器指令,当所述机器指令在机器上运行时,使得机器执行前述的方法。
本说明书实施例的方案中,源数据仓库存储的任务数据中,源任务环境内待迁移数据被按照源任务环境的任务分类划分为多个任务实体的源数据,通过任务实体使得划分的被迁移数据之间,按任务分类涉及的数据范围进行归集,以源任务环境内的任务分类建立映射,保持各业务功能下数据均被归集到对应的任务实体中,提供了避免不同任务分类之间的数据交叉的基础,同时采用源数据仓库存储以及迁移时获取任务数据,不需要引入外部或第三方的数据仓库,且不是通过人工对照数据变化和文件变化等差异特点,从待迁移数据中手动筛选。
本说明书实施例的方案中,在获取到源任务数据之后,待迁移的任务实体对应的源任务数据是统一地被编译为镜像文件,并生成镜像编译事件,能够在不同任务分类划分的任务实体的基础上,通过镜像文件提供统一的迁移过渡环境,在该迁移过渡环境中的源任务数据均是与待迁移的任务实体对应的,避免不同任务分类之间的数据交叉,并通过镜像编译事件指示进行自动迁移,而不是通过人工按照差异数据项逐项处理,也不是分批次处理。
本说明书实施例的方案中,在生成镜像编译事件之后,发生数据迁移的对象是源服务器和目标服务器,同时,迁移的数据对象是镜像文件,能够将各式各样数据、规模庞大的数据、数据之间映射复杂的迁移操作统一为源服务器和目标服务器之间的镜像文件传输操作,不需要针对数据样式种类、规模大小、映射方式等特点进行不同的迁移。从而避免了不同迁移方式导致的错误、造成目标任务环境中业务功能混乱,从而能够在目标任务环境中恢复迁移的任务数据之后,提供相同于源任务环境中对应的业务功能,避免目标任务环境中服务使用中断。生成的事件能够体现迁移的阶段性特点且有利于确定发生错误的任务实体和阶段。通过任务实体作为迁移处理的基本粒度,不需要逐项对比查找数据变化/文件变化,实现了在多种业务之间的统一迁移方式,具有高迁移效率的特点,且为使用者降低了数据迁移实现成本,同时为企事业单位的应用创新和更新迭代提供长期演进支持。
本说明书实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解,构成本说明书的一部分,本说明书的示意性实施例及其说明用于解释本说明书,并不构成对本说明书的不当限定。在附图中:
图1为本说明书实施例的一种示例性的数据迁移方法的步骤示意图;
图2为本说明书实施例的一种示例性的数据图谱结构示意图;
图3为本说明书实施例的一种示例性的数据图谱结构示意图;
图4为本说明书实施例的一种示例性的数据图谱结构示意图;
图5为本说明书实施例的一种示例性的选择窗口的界面示意图;
图6为本说明书实施例的一种示例性的数据迁移系统的模块示意图;
图7为本说明书实施例的一种示例性的数据迁移系统的模块示意图;
图8为本说明书实施例的一种示例性的数据迁移系统的模块示意图;
图9为本说明书实施例的一种示例性的数据迁移系统的模块示意图;
图10为本说明书实施例的一种示例性的数据迁移系统的模块示意图;
图11为本说明书实施例的一种示例性的电子设备的模块示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚,下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本文件保护的范围。
正如前文所述,企事业单位需要在不同环境之间进行数据迁移,同时要求数据格式、数据完整性、数据/文件映射关系和转换规则文件等,在不同环境之间保持一致,以使得在迁移后的环境中提供相同于迁移数据来源环境中对应的业务功能。然而,由于数据量庞大、数据格式多样、数据来源复杂等实际因素存在,通过技术人员人工迁移数据操作困难且繁琐。
在一些可能的人工进行数据迁移的示例中,首先,在来源环境内,可以尝试将数据库中多种数据表都需要逐表或逐数据字段或逐行对比差异,并通过数据库指令进行导入和导出操作,获得数据库的导出数据。其次,可以尝试将使用该数据库的业务应用程序、数据映射文件、外部接口文件、数据转换规则文件等分别与需要迁移数据的环境中的程序、文件等数据进行对比,并手动传输发生变化的文件到需要部署迁移数据的环境中。在迁移后,迁移后的环境中迁移数据并不具备业务功能,还可以尝试查找并指定在迁移后的环境中的链接配置,以建立生效的业务功能。但是,如此仅完成一项业务功能的简单迁移,还需要完成其余众多发生变化的数据的迁移,非常耗时耗力,成本过高,且任何一个程序、文件等数据容易在数据迁移过程中发生错误,若未及时发现,将难以具体确定错误发生的阶段和位置,为了迁移后的环境的安全性和可用性,将不得不恢复到迁移之前的部署环境、重置配置,并重新进行全量数据迁移,迁移效率将难以被企事业单位接受。
此外,还可以尝试采用数据库迁移脚本处理的替代方案,数据库迁移脚本可以基于源数据库中源数据表的数据结构信息,在目标数据库中生成目标数据表,通过导入和导出操作,分别迁移多个数据文件和多个数据结构文件至目标数据库中。然而,第一,企事业单位采用数据仓库进行数据存储,使用的数据库数量众多、种类繁多,例如关系型数据库和键值数据库等,数据库迁移脚本并不能够通用,源关系型数据库与目标关系型数据库的迁移对之间需要单独配置脚本,源键值数据库与目标键值数据库的迁移对之间也需要单独配置脚本,同时,由于源数据库与目标数据库之间发生变化的数据未知,为了目标数据库的数据安全性,将需要人工逐数据表进行逐项对比差异,才能执行迁移,因此,很难应用于企事业单位的数据仓库场景中。第二,要实现企事业单位的生产环境中具有业务功能的服务,除了数据库需要迁移之外,还需要各式各样的及来源复杂的程序、文件等规模庞大的数据需要迁移,数据库迁移脚本并不具备迁移这些数据的能力,仍然需要人工参与对比和逐项迁移,因此,也很难应用于企事业单位的数据仓库场景中。
鉴于此,本说明书提供了应用于企事业单位的数据仓库场景的数据迁移解决方案,能够实现面向多种业务的统一数据迁移方式,改善数据迁移效率、安全性和实现成本,不需要人工逐项对比差异和迁移。在本说明书公开的方案中,可以按任务分类划分源任务环境内待迁移数据,得到多个任务实体的源数据,每个任务分类对应的任务实体的源数据能够覆盖一种业务功能涉及的全部数据,这些源数据可以被存储至源数据仓库,不需要(相对于源任务环境和目标任务环境的)第三方数据仓库或存储系统,可以从源数据仓库获取源任务数据,提供待迁移的任务实体对应的源任务数据。然后可以将源任务数据编译为由源服务器存储的镜像文件,并生成对应的待迁移的任务实体的镜像编译事件,镜像文件能够提供相对固定的迁移过渡环境,不同待迁移的任务实体之间对应的源任务数据在编译后将不再发生变化,避免发生不同业务功能的数据交叉,通过镜像编译事件能够提供任务实体和迁移阶段的定位信息以及继续操作的指示信息。多种任务分类划分的不同任务实体对应的源任务数据均以统一的一个镜像文件,迁移至目标任务环境中的目标服务器,实现不同环境之间的统一的数据迁移,不同业务功能涉及的数据不是单独迁移,不需要人工迁移数据,具有高迁移效率和低成本的特点,能够通过镜像编译事件,指示恢复同等于源任务环境中的业务功能。应理解,本说明书提供的方法可以由具有计算和指令处理能力和通信能力的设备执行,例如由服务器或电子设备执行。
以下结合附图,详细说明本说明书各实施例提供的技术方案。
本说明书的一个实施例提供了数据迁移方法,可以应用于迁移服务器,该迁移服务器可以被部署迁移服务,迁移服务可以通过操作命令集脚本和/或应用程序等实现,在迁移服务被该迁移服务器执行时,可以实现在不同环境之间进行数据迁移,不需要人工对每个数据行/表、每个文件进行差异对比和对应迁移。迁移服务器可以是一台或多台服务器,可以是具有通信能力的物理服务器或服务器实例或容器实例,实例的硬件可以是服务器集群中由处理器资源和存储器资源构成的、具有计算及指令处理功能的资源实例,资源实例例如云服务器或使用物理服务器资源的弹性的应用实例。
在本说明书实施例中,在需要对目标任务环境进行数据迁移时,可以在源任务环境中准备待迁移数据。请参考图1,该数据迁移方法可以包括:
S1,从源数据仓库获取源任务数据,所述源数据仓库存储的任务数据包括多个任务实体的源数据,所述源数据包括基于源任务环境的任务分类划分所述源任务环境内待迁移数据得到的任务实体的源数据。
在一些可能的实现方式中,可以将企事业单位多种业务分别视为不同的数据迁移的任务,各种业务可以与任务一一对应,各业务分类也与任务分类一一对应。任务环境可以是执行与企事业单位多种业务对应的任务的软件环境,软件环境可以包括一个或多个计算机系统以及支持程序之间或系统之间通信的计算机程序,在一些可能的应用场景中,任务环境还可以包括为前述软件环境提供支持的硬件环境,例如硬件环境可以包括支持通信网络的设备和提供计算、指令处理能力的设备。源任务环境和目标任务环境可以是数据迁移逻辑区分的两个任务环境,源任务环境可以是提供待迁移数据的任务环境,目标任务环境可以是接收已迁移数据的任务环境。例如源任务环境可以是测试环境,目标任务环境可以是生产环境,目标任务环境和源任务环境可以是同一企事业单位或两个不同企事业单位(委托方和交付方);又例如作为目标任务环境的生产环境也可以作为源任务环境,此时源任务环境可以是生产环境,而目标任务环境可以是备份生产环境,目标任务环境也可以是与生产环境的任务相同的镜像的测试环境,即源任务环境可以是与目标任务环境任务相同的镜像环境,以提供企事业单位的应用创新和更新迭代的基础。
在一些可能的示例中,对于软件开发企事业单位,多种业务可以包括数据质量稽核、脚本开发、数据接入和工作流等。各种业务可以用于实现对应的一种业务功能。
在第一种业务示例中,数据质量稽核可以实现数据质量稽核功能,该业务功能可以采用数据采集工具、数据库对比脚本(SQL脚本)、数据分析工具、收发通知程序等实现,将涉及工具的应用程序及依赖/映射关系库、存储结构化业务数据的数据库、不同工具中(文件夹或缓存内)数据格式各异的待处理数据、包含非结构化数据的脚本文件、通知程序等,数据质量稽核功能可以用于检查业务数据的规范性、完整性和一致性以及通知指定人员数据质量等级变化等,可以评估企事业单位的软件代码规范程度和功能有效性。
在第二种业务示例中,脚本开发可以实现脚本开发功能,该业务功能可以采用开发工具(例如IDE工具)、待测应用程序、测试工具等实现,将涉及开发的(SQL、C#、Shell、Python、Go等计算机语言)半成品脚本/脚本、测试数据、消息队列组件、脚本中指定的数据表、以及项目内数据映射规则文件、指定的编码文件、数据转换文件等,脚本开发业务功能可以用于交付新功能应用和维护更新迭代应用,可以是企事业单位提供的主要产品的来源。
在第三种业务示例中,工作流可以实现工作流功能,该业务功能可以采用工作流系统实现,将涉及代码管理仓库、流程管理数据(流程标签资源、流程节点资源等数据)、对话交互程序、各项目的代码开发版本数据和修改记录等,工作流业务功能可以用于参与开发的人员之间信息交互、传递代码文件、文档等,可以为企事业单位提供可视化、流水线的产品开发过程数据和发布产品的数据。
上述三种业务示例中,可以观察到任务环境内的软件数据可以包括各式各样的数据格式、多种类型的脚本文件、非结构化/结构化的业务数据、多种接口数据、多种数据库/表、多个业务应用程序、工具等规模庞大、数量众多、数据映射复杂的待迁移数据,人工处理数据迁移是非常困难的。需要说明的是,前述企事业单位可以是多种多样的经营范围,并不是限定的唯一实现方式,例如还可以是广告传媒、社交等企事业单位。
在本说明书实施例中,可以在前述步骤S1之前,可将待迁移数据进行划分,前述的数据迁移方法还可以包括:
C1,确定源任务环境的任务分类,并确定各任务分类的待迁移数据。
在一些可能的实现方式中,可以按照前述的业务分类确定对应的任务分类,可以采用任务分类的唯一标识,对源任务环境内的待迁移数据进行标记,从而确定各任务分类下的待迁移数据。在一些可能的示例中,若数据质量稽核分类的标识为001和脚本开发分类的标识为002,则可以将涉及工具的应用程序及依赖/映射关系库、存储结构化业务数据的数据库、不同工具中(文件夹或缓存内)数据格式各异的待处理数据、包含非结构化数据的脚本文件、通知程序等附加标识001,并可以将前述脚本开发涉及的待迁移数据附加标识002,例如可附加标识于数据库导出文件名称、各类非数据库(程序、脚本、映射/转换规则文件等)的待迁移数据的文件名称,并可选地,可以将附加标识后的、非数据库导出的待迁移数据写入指定的数据库(或文件存储系统),然后对该指定的数据库导出的数据,附加所述非数据库导出的待迁移数据的标识,有利于进一步提高效率。在另一些可能的示例中,还可以按照业务分类下人员身份的唯一标识,确定所涉及的数据,并对同一业务分类下的数据统一附加相同的标识(例如脚本开发部门标识),且不同业务分类下数据之间标识不同。可以形成结构化数据,前述的划分方式还可以包括:
C2,基于任务实体结构和各任务分类的待迁移数据,形成与各任务分类对应的任务实体以及源数据。
在一些可能的实现方式中,实体可以是携带唯一标识和封装格式的结构化数据。任务实体可以是封装了任务分类下的源数据的结构化数据,源数据可以包括待迁移数据和/或数据描述。任务实体的源数据可以包括任务实体唯一标识及对应值、数据描述及对应值。数据描述可以用于查询任务分类或待迁移数据,数据描述可以包括任务实体的名称、(按任务分类划分的)类型、创建及更新时间、版本号、涉及的数据库名、数据表名、任务实体的内容等中任意至少三者组合;不同任务实体之间的数据描述的选择可以不同。任务实体的内容可以包括待迁移数据或待迁移数据的存储地址或拉取待迁移数据的脚本内容,例如待迁移数据可包括项目编号、项目名称、数据源标识、关键字、通过地址和脚本内容拉取获得的数据,待迁移数据的存储地址可包括数据库导出文件的地址、非数据库导出文件的文件地址,拉取待迁移数据的脚本内容可包括导出数据库至指定文件的命令以及命令参数、传输非数据库导出文件的文件的命令以及命令参数。其中,对应值的类型可以包括字符串和数值型,对应值的类型还可以包括日期;任务实体的唯一标识可以基于实体特征标识进行选择和组合设置,例如实体特征标识可以包括人员标识、部门标识、项目标识。在一些可能的示例中,与划分的一种任务分类对应的一个任务实体结构,可以写为:
{
唯一标识:任务实体的唯一标识,
名称:任务实体的名称,
类型:任务分类,
创建时间:任务实体的创建时间,
更新时间:任务实体的更新时间,
内容:任务实体的内容,
版本号:任务实体的版本号,
数据库名:任务实体涉及的数据库名称,
数据表名:任务实体涉及的数据表名称
}
示例地,如图2,在数据质量稽核分类下,一个任务实体可以包括任务实体的唯一标识以及对应的字符串值、名称以及对应的字符串值、类型以及对应的字符串值(数据质量稽核分类)、数据源标识(例如数据库驱动文件所能识别的数据库的编号标识)以及对应的数值型值、数据库名以及对应的字符串值、数据表名以及对应的字符串值。在脚本开发分类下,一个任务实体可以包括脚本开发分类的唯一标识以及对应的字符串值、名称以及对应的字符串值、类型以及对应的字符串值(脚本开发分类)、创建时间以及对应的日期、脚本内容以及对应的字符串值。在数据接入分类下,一个任务实体可以包括数据接入分类的唯一标识以及对应的字符串值、名称以及对应的字符串值、类型以及对应的数值型值(数据接入分类)、创建时间以及对应的日期。在工作流分类下,一个任务实体可以包括任务实体的唯一标识以及对应的字符串值、名称以及对应的字符串值、类型以及对应的字符串值(工作流分类)、关键字(key,可用于在不同环境之间定位任务实体的信息)。前述的数据迁移方法还可以包括:
C3,基于源数据仓库的实体结构和各任务实体,将各任务实体的源数据存储为所述源数据仓库内的任务数据。
在一些可能的实现方式中,数据仓库可以是数据管理系统,源数据仓库存储的任务数据可以来源于源数据仓库拉取的任务实体的源数据,或者通过前述迁移服务器将任务实体的源数据拉取至源数据仓库。任务实体的源数据可以按照源数据仓库的实体结构的格式被存储为任务数据,在一些可能的示例中,与一种任务实体对应的源数据仓库的实体结构可以写为:
{
唯一标识:任务实体的唯一标识,
名称:任务实体的名称,
类型:任务分类,
所属层级:层级名称,
内容:任务实体的内容
}
在该源数据仓库的实体结构中,任务实体的唯一标识可以作为任务数据的唯一标识,也可以单独生成与任务实体的唯一标识一一对应的任务数据的唯一标识;所属层级是表示源数据在源任务环境被处理的层级,例如预处理层级、数据模型处理层级和完成处理层级等,用于记录处理层级信息,以使得恢复后保持该源数据的处理层级信息的一致性。源数据仓库内的任务数据可以包含任务实体的内容,以拉取各任务分类下任务实体对应的待迁移数据。
在本说明书实施例中,在前述的步骤S1中,在需要进行数据迁移时,可以自动按照默认配置的任务分类,迁移这些配置的任务分类下的任务实体。在一些可能的实现方式中,可以将前述的全部任务分类或部分任务分类(脚本开发分类和数据接入分类)作为默认配置的任务分类,在数据迁移时,自动从源数据仓库中获取类型为脚本开发分类和数据接入分类的任务实体。在另一些可能的实现方式中,为了实现迁移指定的业务功能对应的数据和增加扩展性,可以由人工指定和选择任务分类,前述的步骤S1可以包括:
S101,基于选择的任务分类,确定待迁移的任务实体的唯一标识。
在一些可能的示例中,各任务分类下的任务实体可以已被分类归集,例如置于同一任务分类的任务实体可以置于同一列表中,在选择任务分类之后,则可以确定该任务分类下的待迁移的任务实体,以实现将业务功能对应的数据统一迁移,而不需要对同一任务分类下的任务实体逐项对比差异。前述的步骤S1还可以包括:
S102,在源数据仓库中查询所述唯一标识,经标识匹配获取源任务数据。
在一些可能的示例中,可以在源数据仓库所存储的任务数据中,可以使用任务实体的唯一标识匹配得到该任务实体的源数据对应的源任务数据,该源任务数据可以是待迁移数据本体。
在本说明书实施例中,前述的迁移服务器可以对同一任务分类下的任务实体有相同的数据处理方式。在编译源任务数据之前,前述的数据迁移方法还可以包括:
P0,基于待迁移的任务实体对应的任务分类和数据迁移规则结构,确定待迁移的任务实体从所述源任务环境迁移至所述目标任务环境的数据迁移规则。
其中,所述数据迁移规则用于指示数据处理操作的规则及参数信息;所述数据处理操作包括对所述源任务数据执行的镜像编译操作、数据迁移操作和数据恢复操作。
在一些可能的实现方式中,数据迁移规则结构可以包括规则模块、规则类型、参数信息、规则参数类型等。规则模块可以用于指示当前的数据迁移规则对应的任务分类的编号。规则类型可以包括简单类型和复杂类型,用于分别指示当前的数据迁移规则的分类信息,该分类信息可以查询与待迁移的任务实体对应的命令(简单类型,从预设命令表中查询即可)或脚本文件(复杂类型,从预设脚本库中获取对应的脚本文件)。参数信息可以用于指示命令或脚本文件需要加载的参数信息。规则参数类型可以用于指示加载的参数信息的数据类型。在一些可能的示例中,任务分类可以包括工作流分类(1)、数据接入分类(2)、数据导出分类(3)、脚本开发分类(4)、半结构化存储分类(5)、数据库同步(例如数据变更捕获Change Data Capture,CDC)分类(6)、数据质量稽核分类(7),与此时任务分类对应的数据迁移规则结构可以写为:
{
规则模块:{
1:工作流调度数据,
2:数据接入,
3:数据导出,
4:脚本开发,
5:半结构化数据,
6:CDC数据,
7:数据质量稽核数据
},
规则类型:{
简单类型:[项目编码,项目名称,数据源,数据库名称,消息队列],复杂类型;[稽核任务数据,导出任务数据,导入任务数据]
},
参数信息:{
IDE脚本:{项目编码},
稽核:{项目编码,数据库,资源编码,任务实体的唯一标识},
SQL脚本:{数据源标识},
子流程:{项目编码,项目名称},
数据导入:{项目编码,项目名称,任务实体的唯一标识},
数据导出:{项目编码,项目名称,任务实体的唯一标识},
数据库:{命名空间,数据库名称},
队列:{队列优先级},
项目:{项目编码,项目名称}
},
规则参数类型:{
数据类型:字符串/数值型/函数调用
}
}
在该数据迁移规则结构中,参数信息可以选择一种或组合应用于规则类型对应的处理方式(命令或脚本文件)中;该数据迁移规则结构可以是基于任务环境配置的。基于源任务环境内数据和数据迁移规则结构,可以形成与规则模块编号对应的多个数据迁移规则的文件。该数据迁移规则的文件可以存储于迁移服务器或者存储于源任务环境中指定存储位置,迁移服务器可以访问该指定存储位置。
在一些可能的示例中,前述的迁移服务器可以被部署有迁移服务,该迁移服务可以具有数据处理操作的功能,即可以具有镜像编译操作、数据迁移操作和数据恢复操作的功能。在默认迁移配置的任务分类示例中,迁移服务器可以无需确定数据迁移规则,即规则及参数信息可以已配置于迁移服务器,此时迁移服务器可以对源任务数据进行编译、迁移编译的镜像文件至目标服务器内。而在有利于灵活迁移业务功能的示例中,迁移服务器基于确定的数据迁移规则,也可以对待迁移的任务实体对应的源任务数据进行编译。在本说明书实施例中,前述的数据迁移方法还可以包括:
S2,将所述源任务数据编译为由源服务器存储的镜像文件,并生成与所述源任务数据对应的待迁移的任务实体的镜像编译事件。
在一些可能的实现方式中,前述的迁移服务器可以通过镜像编译操作执行编译,镜像编译操作可以包括文件写入操作和压缩操作。前述的步骤S2可以包括:
S201,通过所述镜像编译操作,将所述源任务数据和所述数据迁移规则分别写入与任务分类对应的文件。
其中,任务分类可以是选择的任务分类或默认配置的任务分类,数据迁移规则可以是迁移服务器中已配置的文件,或通过前述确定的数据迁移规则的文件。数据迁移规则可以为镜像编译操作提供指示信息,以通过命令或脚本文件且按任务分类,将当前的源任务数据写入指定的文件,写入的方式可以是复制,指定的文件可以示例地包括文件夹、文本文件、二进制文件、数据库导出文件等。前述的步骤S2还可以包括:
S202,通过所述镜像编译操作,将写入后的文件压缩为镜像文件,并将所述镜像文件存储至源服务器。
在一些可能的示例中,该镜像文件可以是一个压缩数据包,不同业务功能对应的源数据在迁移之前,处于映射固定的过渡环境之内,因此,可以统一将不同业务功能对应的源数据迁移至目标任务环境内。源服务器和目标服务器可以是用于存储文件的数据对象,源服务器和目标服务器的实体结构可以写为:
{
唯一标识:镜像文件的唯一标识,
名称:存储的镜像文件名称
路径:存储的镜像文件路径,
存储时间:日期
}
在一些可能的示例中,源服务器和目标服务器也可以是与迁移服务器相同类型的服务器,此时镜像文件可以是写入后的文件的压缩数据包;镜像文件也可以是整个源服务器的镜像备份文件,可以包含前述的压缩数据包或写入后的文件。编译后的镜像文件携带所述源任务环境中待迁移的任务实体的源数据与所述源数据仓库中源任务数据之间的映射信息,以及所述镜像文件在所述源任务环境中待编译的文件(即前述的写入后的文件)中的任务数据与所述源数据仓库中源任务数据之间的映射信息,同时,镜像文件还携带所述镜像文件在所述目标任务环境中反编译的文件中的任务数据与所述目标数据仓库中目标任务数据之间的映射信息,以及所述目标数据仓库中目标任务数据与所述目标任务环境中任务实体的目标数据之间的映射信息,以使得在镜像环境中提供该映射信息,其中,映射信息可以包括在源数据仓库中待迁移数据与任务实体的对应关系信息和在写入后的文件或反编译的文件中的数据与任务实体的对应关系信息,例如标识(含关键字)对应关系信息、网络地址对应关系信息、文件路径对应关系信息等,反编译的文件与前述的写入后的文件可以一致。编译/压缩、反编译/反压缩的操作均可以保持文件之间的关系不变,例如文件夹层级、文件之间链接关系等。在得到镜像文件之后,可以生成事件记录,前述的步骤S2还可以包括:
S203,基于镜像编译事件结构,通过所述镜像编译操作,分别生成与所述源任务数据对应的待迁移的任务实体的镜像编译事件。
在一些可能的示例中,请结合图3,为了定位数据迁移过程中出现错误的任务实体和观察任务实体的迁移进度,各数据处理操作生成的事件结构,可以写为:
{
唯一标识:任务实体的唯一标识,
名称:数据处理操作的名称,
类型:数据处理操作的类型,
数据来源:源数据仓库的标识,
数据去向:目标数据仓库的标识,
开始时间:事件的开始时间,
结束时间:事件的结束时间,
状态:任务数据的执行状态,
日志信息:任务实体的迁移日志
}
在该事件结构中,数据处理操作的名称可以包括镜像编译操作、数据迁移操作和数据恢复操作的名称,数据处理操作的类型可以包括镜像编译操作、数据迁移操作和数据恢复操作的编号(如操作1、操作2、操作3),任务数据的执行状态可以包括成功状态(如数值1)和失败状态(如数值0)。
需要补充说明的是,迁移服务器可以具有目标任务环境和源任务环境的数据读写权限。目标任务环境可以包括目标服务器,源任务环境包括源服务器,源服务器与目标服务器可以是实体结构相同的服务器,或目标服务器是源服务器镜像备份的服务器。目标任务环境与源任务环境可以均包括数据仓库,目标任务环境可以包括目标数据仓库,数据仓库的实体结构可以相同。目标任务环境与源任务环境还可以是任务实体结构相同的镜像环境,例如两环境之间任务实体的任务实体结构中类型相同和任意一个类型的任务实体的数量相同。若需要作为目标任务环境的任务环境改变为源任务环境,则前述的目标任务环境还可以包括与前述源任务环境相同的数据迁移规则结构。上述数据迁移规则结构、任意实体结构、任意事件结构的具体实现方式都是示例的,均不是限定的实现方式,可以基于应用场景中不同环境和业务以及测试、使用效果进行选择和设计。
在本说明书实施例中,在前述的镜像编译事件生成之后,可以基于镜像编译事件的指示,进行镜像文件迁移。前述的数据迁移方法还可以包括:
S3,基于所述镜像编译事件,将所述源服务器存储的镜像文件迁移至目标服务器,并生成所述待迁移的任务实体的镜像迁移事件。所述镜像迁移事件用于指示将所述目标服务器存储的镜像文件恢复至目标任务环境。
在一些可能的实现方式中,镜像编译事件可以为迁移服务器提供任务实体的执行状态的信息。若所述镜像编译事件中的执行状态为失败状态,则迁移服务器可以暂时忽略该任务实体,可以在迁移完成后返回报送失败状态的任务实体的唯一标识,以有利于从各式各样的、规模庞大的数据中定位任务实体及对应的源数据。迁移服务器可以对已经完成压缩的镜像文件进行迁移。前述的步骤S3可以包括:
S301,在所述镜像编译事件中的执行状态为成功状态时,通过所述数据迁移操作,将所述源服务器存储的镜像文件传输至所述目标服务器。
在一些可能的示例中,数据迁移操作可以在源服务器和目标服务器之间传输一个压缩数据包即完成不同环境之间的数据迁移,不需要单独对各个差异的数据进行分别逐项传输,而是将业务功能对应的任务实体所处的迁移过渡环境,以统一的文件形式传输至目标服务器内,以保持数据完整性和一致性。在镜像文件迁移完成后,可以生成镜像迁移事件,前述的步骤S3还可以包括:
S302,基于镜像迁移事件结构,通过所述数据迁移操作,分别生成所述待迁移的任务实体的镜像迁移事件。
在一些可能的示例中,镜像迁移事件结构可以是前述的事件结构。若镜像迁移事件中的执行状态为失败状态,则迁移服务器可以重试步骤S302,如果重试次数达到次数阈值,则可以返回报送数据迁移操作失败信息,失败信息可例如网络无法连接、目标服务器未响应、数据包传输未完成等。
在本说明书实施例中,前述的镜像文件可以作为源任务环境中任务实体及对应的源数据在目标任务环境中的备份文件,也可以应用于在目标任务环境进行数据恢复。前述的数据迁移方法还可以包括:
S4,获取选择或默认指定的映射关系,所述映射关系包括数据对应关系以及所述源数据仓库与所述目标任务环境中目标数据仓库的对应关系,所述数据对应关系包括所述源任务数据与目标任务数据之间的对应关系;所述源数据仓库与所述目标数据仓库的实体结构相同。可以选择目标数据仓库的网络地址,例如域名地址或IP地址。
在一些可能的实现方式中,默认指定的映射关系可以由前述的镜像文件提供,反编译的文件可以携带前述的映射信息,并可以作为该默认指定的映射关系。而为了有利于数据恢复功能的灵活性和可扩展性,避免默认指定的数据仓库不可用,可以选择人工指定目标任务环境中的目标数据仓库和目标任务数据,并分别建立与源数据仓库、源任务数据的对应关系,可包含数据库之间层级关系、非数据库文件之间的链接关系等。在一些可能的示例中,数据恢复操作可以包括解压缩操作或反编译操作,请结合图4,前述的数据迁移方法还可以包括:
S5,在所述镜像迁移事件中的执行状态为成功状态时,通过所述数据恢复操作,将所述目标服务器存储的镜像文件进行解压缩或反编译服务器镜像备份文件,以获得所述数据迁移规则以及获得作为本次迁移的目标任务数据的、处于解压文件或反编译文件内的任务数据。
该任务数据可以与前述的写入后的文件中源任务数据一致。在一些可能的示例中,数据恢复操作还可以包括解析规则操作和替换数据(复制)操作,前述的数据迁移方法还可以包括:
S6,基于所述数据对应关系和所述数据迁移规则,通过所述数据恢复操作,将所述目标数据仓库内的原始任务数据替换为本次迁移的目标任务数据。
其中,数据迁移规则可以提供与解压文件或反编译文件内的任务数据匹配的数据处理方式的指示信息,通过数据恢复操作加载指示信息,并可以对数据恢复操作导入数据对应关系,然后在解压文件或反编译文件与目标数据仓库之间完成数据替换。前述的数据迁移方法还可以包括:
S7,基于所述目标数据仓库内本次迁移的任务数据和所述目标任务环境中的任务实体结构,通过所述数据恢复操作,将所述目标数据仓库内的任务数据分别写入至与选择的或默认配置的任务分类对应的任务实体。
数据恢复操作可以已加载指示信息且已导入数据对应关系,数据恢复操作可以在目标数据仓库与各任务实体之间,按照各任务实体的任务实体结构,将目标数据仓库内的任务数据分别写入至与任务分类对应的任务实体。为了有利于前述的复制和替换数据的效率,可以在各任务实体中配置可被迁移服务器查询的唯一关键字,在互为镜像的源任务环境和目标任务环境中,可以通过查询该关键字,完成数据的复制和替换。在数据替换后,数据恢复操作可以生成镜像恢复事件。前述的数据迁移方法还可以包括:
S8,基于镜像恢复事件结构,通过所述数据恢复操作,生成本次迁移的任务实体的镜像恢复事件。
镜像恢复事件结构可以是前述的事件结构。在一些可能的示例中,若镜像恢复事件中记录的执行状态均为成功状态且各任务分类均被默认迁移,则可以在目标任务环境中获得前述的数据接入分类下的任务实体、脚本开发分类下的任务实体、数据质量稽核分类下的任务实体以及工作流分类下的任务实体。在前述数据迁移完成后,如果任意一个事件的执行状态为失败状态,则可以提取并记录所述任意一个事件中的任务实体的唯一标识和/或任务分类,该任意一个事件可以包括镜像编译事件、镜像迁移事件或镜像恢复事件,从而能够为数据迁移提供任务实体和任务分类的定位信息以及数据处理操作失败阶段的定位信息,以有利于对该任务分类或任务实体再单独进行尝试数据迁移,无需再次进行全量迁移,从而进一步提升数据迁移的效率,如图5中,通过选择窗口对不同任务分类下各任务实体再进行选择。
此外,还可以通过图5中的选择窗口,在步骤S1之前,选择本次迁移的任务分类以及任务实体。示例地,在选择窗口中,可以包括“全部选择”的按钮,以用于对全部任务分类进行迁移,当前的选择窗口内呈现的是待选表单,已选表单可以记录已经选择迁移的任务分类和任务实体。在操作区域内可以有对待选表单的操作按钮“任务选择”,与已经选择标记√的任务实体的名称对应的数据将被选择用于本次迁移。在操作区域内还可以有用于筛选日期和名称查询的输入框,以及“查询”按钮。在待选表单中,各任务实体的名称可以与数据源标识字段(标识1~7)、同步类型字段(可含数据库和非数据库的类型,可用于提供前述规则类型的分类基础)、时间字段、关联人员字段(人员标识1~3)、以及行“选择”操作按钮的字段等,任务实体的名称可以包括参数表、接入表1~2、测试脚本、非结构化数据等任意应用场景中需要迁移的数据的名称。其中,选择窗口可以呈现于与迁移服务器通信的设备终端,设备终端可以包括计算机、移动电子设备等,该设备终端可以将技术人员选择的任务分类和任务实体的名称发送至迁移服务器,迁移服务器可以查询任务实体在源数据仓库内对应的源任务数据,进而可以开始数据迁移。从而在该示例中,技术人员可以通过选择任务分类和任务实体即可以实现自动的数据迁移,而不需要技术人员对比数据差异,逐项迁移。
需要补充的是,前述的迁移服务器可以将前述的各环境内任务实体、源数据仓库、目标数据仓库、源服务器、目标服务器以及事件记录的执行状态涉及的数据,通过脚本和样式表单,生成图谱结构(如图4,图2至图4中省略号可表示可包含更多自定义的数据),可以为技术人员定位到数据在迁移过程中所处的阶段,以及每个阶段数据的执行情况。
在本说明书实施例中,在源任务环境和目标任务环境之间实现了在多种业务之间的统一迁移方式,具有高迁移效率的特点,且为使用者降低了数据迁移实现成本,同时为企事业单位的应用创新和更新迭代提供长期演进支持。互为镜像环境的源任务环境和目标任务环境能够为进一步提升迁移效率提供基础,镜像文件可以提供迁移前后的数据过渡环境,并携带映射信息,能够不需要人工干预,自动完成统一地数据迁移,在目标任务环境中恢复源任务环境中多种业务功能,例如使得测试环境构建的任务实体对应的业务功能可以迁移到生产环境进行使用。可以通过图谱结构快速的追溯到任务实体的源数据在整个数据迁移过程中所处的阶段,并可以手动选择需要迁移的任务数据进行迁移,具有数据迁移的灵活性。迁移完成后可以观察到数据的迁移的执行状态,成功状态或失败状态,并可以针对失败状态的数据,可以进行重试。可以应用于多种数据源类型、多种任务类型的任务环境,可以自动执行备份、迁移以及恢复等数据处理操作。
本说明书实施例还提供了与前述实施例同一发明构思下的数据迁移系统,请参考图6,该数据迁移系600可以包括:
获取模块601,用于从源数据仓库获取源任务数据,所述源数据仓库存储的任务数据包括多个任务实体的源数据,所述源数据包括基于源任务环境的任务分类划分所述源任务环境内待迁移数据得到的任务实体的源数据;
镜像编译模块602,用于将所述源任务数据编译为由源服务器存储的镜像文件,并生成与所述源任务数据对应的待迁移的任务实体的镜像编译事件;
镜像迁移模块603,用于基于所述镜像编译事件,将所述源服务器存储的镜像文件迁移至目标服务器,并生成所述待迁移的任务实体的镜像迁移事件,所述镜像迁移事件用于将所述目标服务器存储的镜像文件恢复至目标任务环境。
可选地,结合图7,该数据迁移系统600还可以包括:划分模块604,所述划分模块604可以用于:
确定源任务环境的任务分类,并确定各任务分类的待迁移数据;
基于任务实体结构和各任务分类的待迁移数据,形成与各任务分类对应的任务实体以及源数据;
基于源数据仓库的实体结构和各任务实体,将各任务实体的源数据存储为所述源数据仓库内的任务数据。
可选地,从源数据仓库获取源任务数据包括:
基于选择的任务分类,确定待迁移的任务实体的唯一标识;
在源数据仓库中查询所述唯一标识,经标识匹配获取源任务数据。
可选地,请参考图8,该数据迁移系统600还可以包括:数据操作模块605,所述数据操作模块605可用于:
基于待迁移的任务实体对应的任务分类和数据迁移规则结构,确定待迁移的任务实体从所述源任务环境迁移至所述目标任务环境的数据迁移规则;其中,
所述数据迁移规则用于指示数据处理操作的规则及参数信息;
所述数据处理操作包括对所述源任务数据执行的镜像编译操作、数据迁移操作和数据恢复操作。
可选地,将所述源任务数据编译为由源服务器存储的镜像文件,并生成与所述源任务数据对应的待迁移的任务实体的镜像编译事件,包括:
通过所述镜像编译操作,将所述源任务数据和所述数据迁移规则分别写入与选择的任务分类对应的文件;
通过所述镜像编译操作,将写入后的文件压缩为镜像文件,并将所述镜像文件存储至源服务器;
基于镜像编译事件结构,通过所述镜像编译操作,分别生成与所述源任务数据对应的待迁移的任务实体的镜像编译事件。
可选地,基于所述镜像编译事件,将所述源服务器存储的镜像文件迁移至目标服务器,并生成所述待迁移的任务实体的镜像迁移事件,包括:
在所述镜像编译事件中的执行状态为成功状态时,通过所述数据迁移操作,将所述源服务器存储的镜像文件传输至所述目标服务器;
基于镜像迁移事件结构,通过所述数据迁移操作,分别生成所述待迁移的任务实体的镜像迁移事件。
可选地,如图9,该数据迁移系统600还可以包括:镜像恢复模块606,所述镜像恢复模块606可以用于:
获取选择或默认指定的映射关系,所述映射关系包括数据对应关系以及所述源数据仓库与所述目标任务环境中目标数据仓库的对应关系,所述数据对应关系包括所述源任务数据与目标任务数据之间的对应关系;
所述源数据仓库与所述目标数据仓库的实体结构相同。
可选地,所述镜像恢复模块606还可以用于:
在所述镜像迁移事件中的执行状态为成功状态时,通过所述数据恢复操作,将所述目标服务器存储的镜像文件进行解压缩,以获得所述数据迁移规则以及获得作为本次迁移的目标任务数据的、处于解压文件内的任务数据;
基于所述数据对应关系和所述数据迁移规则,通过所述数据恢复操作,将所述目标数据仓库内的原始任务数据替换为本次迁移的目标任务数据;
基于所述目标数据仓库内本次迁移的任务数据和所述目标任务环境中的任务实体结构,通过所述数据恢复操作,将所述目标数据仓库内的任务数据分别写入至与选择的任务分类对应的任务实体;
基于镜像恢复事件结构,通过所述数据恢复操作,生成本次迁移的任务实体的镜像恢复事件。
可选地,如图10所示,该数据迁移系统600还可以包括:记录模块607,所述记录模块607可用于:
如果任意一个事件的执行状态为失败状态,则提取并记录所述任意一个事件中的任务实体的唯一标识和/或任务分类。
可选地,其中,
所述目标任务环境包括目标数据仓库;
所述目标任务环境与所述源任务环境是任务实体结构相同的镜像环境;
所述镜像文件携带所述源任务环境中待迁移的任务实体的源数据与所述源数据仓库中源任务数据之间的映射信息,以及所述镜像文件在所述源任务环境中待编译的文件中的任务数据与所述源数据仓库中源任务数据之间的映射信息;
所述镜像文件还携带所述镜像文件在所述目标任务环境中反编译的文件中的任务数据与所述目标数据仓库中目标任务数据之间的映射信息,以及所述目标数据仓库中目标任务数据与所述目标任务环境中任务实体的目标数据之间的映射信息。
本说明书实施例还提供了与前述实施例同一发明构思下的电子设备,该电子设备可以包括:至少一个处理器;存储器,与所述至少一个处理器连接;其中,所述存储器存储有能被所述至少一个处理器执行的指令,所述至少一个处理器通过执行所述存储器存储的指令实现前述实施例中的方法。请参考图11,提供了一种示例性的电子设备,其内部结构图可以如图11所示,可以是服务器、工控机、用户设备、终端设备、微控制器等。该电子设备包括通过总线连接的处理器A01、网络接口A02、存储器。其中,该电子设备的处理器A01用于提供计算、指令处理和控制能力。该电子设备的存储器包括内存A03和非易失性的存储介质A04。该非易失性的存储介质A04存储有操作系统B01、计算机程序B02。该内存A03为非易失性存储介质A04中的操作系统B01和计算机程序B02的运行提供环境。该电子设备的网络接口A02用于与网络通信。该计算机程序B02被处理器A01执行时以实现前述实施例中的方法。
在本说明书的一个实施例中,该计算机程序B02被处理器A01执行时,实现的方法可以包括:
从源数据仓库获取源任务数据,所述源数据仓库存储的任务数据包括多个任务实体的源数据,所述源数据包括基于源任务环境的任务分类划分所述源任务环境内待迁移数据得到的任务实体的源数据;
将所述源任务数据编译为由源服务器存储的镜像文件,并生成与所述源任务数据对应的待迁移的任务实体的镜像编译事件;
基于所述镜像编译事件,将所述源服务器存储的镜像文件迁移至目标服务器,并生成所述待迁移的任务实体的镜像迁移事件,所述镜像迁移事件用于指示将所述目标服务器存储的镜像文件恢复至目标任务环境。
本说明书实施例还提供了与前述实施例同一发明构思下的机器可读存储介质,存储有机器指令,当所述机器指令在机器上运行时,使得机器执行前述实施例中的方法,该机器可以包括计算机以及具备通信、计算和指令处理能力的设备。
在本说明书的一个实施例中,当所述机器指令在机器上运行时,使得机器所执行的方法可以包括:
从源数据仓库获取源任务数据,所述源数据仓库存储的任务数据包括多个任务实体的源数据,所述源数据包括基于源任务环境的任务分类划分所述源任务环境内待迁移数据得到的任务实体的源数据;
将所述源任务数据编译为由源服务器存储的镜像文件,并生成与所述源任务数据对应的待迁移的任务实体的镜像编译事件;
基于所述镜像编译事件,将所述源服务器存储的镜像文件迁移至目标服务器,并生成所述待迁移的任务实体的镜像迁移事件,所述镜像迁移事件用于指示将所述目标服务器存储的镜像文件恢复至目标任务环境。
处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器,包括中央处理器(CentralProcessing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)、现场可编程门阵列(Field-ProgrammableGate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
总之,以上所述仅为本说明书的较佳实施例而已,并非用于限定本说明书的保护范围。凡在本说明书的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本说明书的保护范围之内。
上述实施例阐明的系统或模块,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。
机器可读存储介质可以是计算机的存储介质,可以包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带、磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitorymedia),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
Claims (13)
1.一种数据迁移方法,其特征在于,该数据迁移方法包括:
从源数据仓库获取源任务数据,所述源数据仓库存储的任务数据包括多个任务实体的源数据,所述源数据包括基于源任务环境的任务分类划分所述源任务环境内待迁移数据得到的任务实体的源数据;
将所述源任务数据编译为由源服务器存储的镜像文件,并生成与所述源任务数据对应的待迁移的任务实体的镜像编译事件;
基于所述镜像编译事件,将所述源服务器存储的镜像文件迁移至目标服务器,并生成所述待迁移的任务实体的镜像迁移事件,所述镜像迁移事件用于指示将所述目标服务器存储的镜像文件恢复至目标任务环境。
2.根据权利要求1所述的数据迁移方法,其特征在于,该数据迁移方法还包括:
确定源任务环境的任务分类,并确定各任务分类的待迁移数据;
基于任务实体结构和各任务分类的待迁移数据,形成与各任务分类对应的任务实体以及源数据;
基于源数据仓库的实体结构和各任务实体,将各任务实体的源数据存储为所述源数据仓库内的任务数据。
3.根据权利要求1所述的数据迁移方法,其特征在于,所述从源数据仓库获取源任务数据包括:
基于选择的任务分类,确定待迁移的任务实体的唯一标识;
在源数据仓库中查询所述唯一标识,经标识匹配获取源任务数据。
4.根据权利要求1或3所述的数据迁移方法,其特征在于,该数据迁移方法还包括:
基于待迁移的任务实体对应的任务分类和数据迁移规则结构,确定待迁移的任务实体从所述源任务环境迁移至所述目标任务环境的数据迁移规则;其中,
所述数据迁移规则用于指示数据处理操作的规则及参数信息;
所述数据处理操作包括对所述源任务数据执行的镜像编译操作、数据迁移操作和数据恢复操作。
5.根据权利要求4所述的数据迁移方法,其特征在于,所述将所述源任务数据编译为由源服务器存储的镜像文件,并生成与所述源任务数据对应的待迁移的任务实体的镜像编译事件,包括:
通过所述镜像编译操作,将所述源任务数据和所述数据迁移规则分别写入与选择的任务分类对应的文件;
通过所述镜像编译操作,将写入后的文件压缩为镜像文件,并将所述镜像文件存储至源服务器;
基于镜像编译事件结构,通过所述镜像编译操作,分别生成与所述源任务数据对应的待迁移的任务实体的镜像编译事件。
6.根据权利要求5所述的数据迁移方法,其特征在于,所述基于所述镜像编译事件,将所述源服务器存储的镜像文件迁移至目标服务器,并生成所述待迁移的任务实体的镜像迁移事件,包括:
在所述镜像编译事件中的执行状态为成功状态时,通过所述数据迁移操作,将所述源服务器存储的镜像文件传输至所述目标服务器;
基于镜像迁移事件结构,通过所述数据迁移操作,分别生成所述待迁移的任务实体的镜像迁移事件。
7.根据权利要求6所述的数据迁移方法,其特征在于,该数据迁移方法还包括:
获取选择或默认指定的映射关系,所述映射关系包括数据对应关系以及所述源数据仓库与所述目标任务环境中目标数据仓库的对应关系,所述数据对应关系包括所述源任务数据与目标任务数据之间的对应关系;
所述源数据仓库与所述目标数据仓库的实体结构相同。
8.根据权利要求7所述的数据迁移方法,其特征在于,该数据迁移方法还包括:
在所述镜像迁移事件中的执行状态为成功状态时,通过所述数据恢复操作,将所述目标服务器存储的镜像文件进行解压缩,以获得所述数据迁移规则以及获得作为本次迁移的目标任务数据的、处于解压文件内的任务数据;
基于所述数据对应关系和所述数据迁移规则,通过所述数据恢复操作,将所述目标数据仓库内的原始任务数据替换为本次迁移的目标任务数据;
基于所述目标数据仓库内本次迁移的任务数据和所述目标任务环境中的任务实体结构,通过所述数据恢复操作,将所述目标数据仓库内的任务数据分别写入至与选择的任务分类对应的任务实体;
基于镜像恢复事件结构,通过所述数据恢复操作,生成本次迁移的任务实体的镜像恢复事件。
9.根据权利要求8所述的数据迁移方法,其特征在于,该数据迁移方法还包括:
如果任意一个事件的执行状态为失败状态,则提取并记录所述任意一个事件中的任务实体的唯一标识和/或任务分类。
10.根据权利要求1所述的数据迁移方法,其特征在于,其中,
所述目标任务环境包括目标数据仓库;
所述目标任务环境与所述源任务环境是任务实体结构相同的镜像环境;
所述镜像文件携带所述源任务环境中待迁移的任务实体的源数据与所述源数据仓库中源任务数据之间的映射信息,以及所述镜像文件在所述源任务环境中待编译的文件中的任务数据与所述源数据仓库中源任务数据之间的映射信息;
所述镜像文件还携带所述镜像文件在所述目标任务环境中反编译的文件中的任务数据与所述目标数据仓库中目标任务数据之间的映射信息,以及所述目标数据仓库中目标任务数据与所述目标任务环境中任务实体的目标数据之间的映射信息。
11.一种数据迁移系统,其特征在于,该数据迁移系统包括:
获取模块,用于从源数据仓库获取源任务数据,所述源数据仓库存储的任务数据包括多个任务实体的源数据,所述源数据包括基于源任务环境的任务分类划分所述源任务环境内待迁移数据得到的任务实体的源数据;
镜像编译模块,用于将所述源任务数据编译为由源服务器存储的镜像文件,并生成与所述源任务数据对应的待迁移的任务实体的镜像编译事件;
镜像迁移模块,用于基于所述镜像编译事件,将所述源服务器存储的镜像文件迁移至目标服务器,并生成所述待迁移的任务实体的镜像迁移事件,所述镜像迁移事件用于将所述目标服务器存储的镜像文件恢复至目标任务环境。
12.一种电子设备,其特征在于,该电子设备包括:
至少一个处理器;
存储器,与所述至少一个处理器连接;
其中,所述存储器存储有能被所述至少一个处理器执行的指令,所述至少一个处理器通过执行所述存储器存储的指令实现权利要求1至10中任意一项权利要求所述的方法。
13.一种机器可读存储介质,存储有机器指令,当所述机器指令在机器上运行时,使得机器执行权利要求1至10中任意一项权利要求所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311101236.XA CN117194373A (zh) | 2023-08-29 | 2023-08-29 | 数据迁移方法、数据迁移系统、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311101236.XA CN117194373A (zh) | 2023-08-29 | 2023-08-29 | 数据迁移方法、数据迁移系统、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117194373A true CN117194373A (zh) | 2023-12-08 |
Family
ID=88997179
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311101236.XA Pending CN117194373A (zh) | 2023-08-29 | 2023-08-29 | 数据迁移方法、数据迁移系统、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117194373A (zh) |
-
2023
- 2023-08-29 CN CN202311101236.XA patent/CN117194373A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11138203B2 (en) | Systems and methods for compressing and extracting information from marketplace taxonomies | |
US11714629B2 (en) | Software dependency management | |
US8768880B2 (en) | Automated data analysis and transformation | |
US20180173795A1 (en) | Automatic ontology generation | |
US9311623B2 (en) | System to view and manipulate artifacts at a temporal reference point | |
CN113326247B (zh) | 云端数据的迁移方法、装置及电子设备 | |
US10922216B1 (en) | Intelligent automation test workflow | |
US20200151276A1 (en) | Cognitive automation tool | |
US20180253357A1 (en) | Reducing granularity of backup data over time | |
CN106547646B (zh) | 一种数据备份及恢复方法、数据备份及恢复装置 | |
CN103946794A (zh) | 数据特征的滚动升级的系统和方法 | |
CN111145011A (zh) | 一种银行业务系统搭建方法及装置 | |
CN114168421A (zh) | 基于微服务调用链的客户化代码兼容性分析系统及方法 | |
JP2024505236A (ja) | データ処理システム用のデータセットマルチプレクサ | |
CN112631763A (zh) | 一种主机程序的程序变更方法及装置 | |
CN117194373A (zh) | 数据迁移方法、数据迁移系统、电子设备及存储介质 | |
CN112256566B (zh) | 一种测试案例的保鲜方法和装置 | |
US8260782B2 (en) | Data element categorization in a service-oriented architecture | |
CN112051987B (zh) | 业务数据处理方法、装置及设备、程序生成方法及装置 | |
CN114661693A (zh) | 数据审计的实现方法、存储介质、电子设备及系统 | |
CN111352824B (zh) | 测试方法、装置及计算机设备 | |
CN112559331A (zh) | 测试方法和装置 | |
CN112667539A (zh) | 一种数据传输接口、数据处理方法及装置 | |
US11934800B2 (en) | Generating metadata to facilitate code generation | |
US11797279B2 (en) | Systems and methods for dependency analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |