CN114116678A - 数据迁移方法、装置、设备、介质及程序产品 - Google Patents

数据迁移方法、装置、设备、介质及程序产品 Download PDF

Info

Publication number
CN114116678A
CN114116678A CN202111489073.8A CN202111489073A CN114116678A CN 114116678 A CN114116678 A CN 114116678A CN 202111489073 A CN202111489073 A CN 202111489073A CN 114116678 A CN114116678 A CN 114116678A
Authority
CN
China
Prior art keywords
data
server
island
component
cross
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111489073.8A
Other languages
English (en)
Inventor
高环宇
王明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CCB Finetech Co Ltd
Original Assignee
CCB Finetech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CCB Finetech Co Ltd filed Critical CCB Finetech Co Ltd
Priority to CN202111489073.8A priority Critical patent/CN114116678A/zh
Publication of CN114116678A publication Critical patent/CN114116678A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/214Database migration support

Abstract

本公开提供了一种数据迁移方法,可以应用于大数据技术领域和人工智能技术领域。该数据迁移方法包括:将旧线服务器的待迁移数据同步至孤岛服务器,生成孤岛服务器的中间数据;根据跨组件服务器的跨组件数据,对孤岛服务器的中间数据执行加工,生成孤岛服务器的目标新线数据;以及将孤岛服务器的目标新线数据同步至新线服务器,实现数据迁移。本公开还提供了一种数据迁移装置、设备、介质和程序产品。

Description

数据迁移方法、装置、设备、介质及程序产品
技术领域
本公开涉及计算机技术领域,更具体地涉及一种数据迁移方法、装置、 设备、介质和程序产品。
背景技术
随着科技创新和技术变革,系统功能越来越强大,种类越来越精细, 带来的结果是系统更新迭代越来越频繁。随之,在新旧系统的切换过程中, 存量数据的迁移工作越来越受重视,数据迁移不仅要保证存量数据的数据 质量,还要确保系统切换之后的业务连续性。
发明内容
鉴于现有技术中在新旧系统切换过程中进行数据迁移所存在的技术 问题至少之一,本公开提供了一种可以实现标准业务流程的更高自由度的 组装和生效数据迁移方法、装置、设备、介质和程序产品。
根据本公开的第一个方面,提供了一种数据迁移方法,其中,包括: 将旧线服务器的待迁移数据同步至孤岛服务器,生成孤岛服务器的中间数 据;根据跨组件服务器的跨组件数据,对孤岛服务器的中间数据执行加工, 生成孤岛服务器的目标新线数据;以及将孤岛服务器的目标新线数据同步 至新线服务器,实现数据迁移。
根据本公开的实施例,在将旧线服务器的待迁移数据同步至孤岛服务 器,生成孤岛服务器的中间数据中,还包括:将旧线服务器的待迁移数据 转换为旧线服务器的第一数据文件;对旧线服务器的第一数据文件执行载 数加工,生成孤岛服务器的中间数据。
根据本公开的实施例,在对旧线服务器的第一数据文件执行载数加工, 生成孤岛服务器的中间数据之后,还包括:对孤岛服务器的中间数据执行 第一技术检核,其中,第一技术检核包括数据量检核。
根据本公开的实施例,在根据跨组件服务器的跨组件数据,对孤岛服 务器的中间数据执行加工,生成孤岛服务器的目标新线数据之前,还包括: 将跨组件服务器的跨组件数据同步至孤岛服务器,生成孤岛服务器的迁移 映射数据;对孤岛服务器的迁移映射数据执行第二技术检核,其中,第二 技术检核包括数据量检核。
根据本公开的实施例,在将跨组件服务器的跨组件数据同步至孤岛服 务器,生成孤岛服务器的迁移映射数据中,包括:将跨组件服务器的跨组 件数据转换为跨组件服务器的第二数据文件;对跨组件服务器的第二数据 文件执行载数加工,生成孤岛服务器的迁移映射数据。
根据本公开的实施例,在根据跨组件服务器的跨组件数据,对孤岛服 务器的中间数据执行加工,生成孤岛服务器的目标新线数据中,包括:根 据与跨组件服务器的跨组件数据对应的孤岛服务器的迁移映射数据,对孤 岛服务器的中间数据执行加工,生成孤岛服务器的目标新线数据;对孤岛 服务器的目标新线数据执行第三技术检核,其中,第三技术检核包括唯一 检核、非空检核、代码检核以及外键检核。
根据本公开的实施例,在将孤岛服务器的目标新线数据同步至新线服 务器,实现数据迁移中,包括:将孤岛服务器的目标新线数据迁移至新线 服务器,生成目标存量数据;对新线服务器的目标存量数据依次执行第四 技术检核、静态检核以及动态检核,其中,第四技术检核包括数据量检核。
根据本公开的实施例,在将孤岛服务器的目标新线数据同步至新线服 务器,实现数据迁移的同时,还包括:将孤岛服务器的目标新线数据同步 至跨组件服务器,生成新线同步数据。
根据本公开的实施例,在将孤岛服务器的目标新线数据同步至跨组件 服务器,生成新线同步数据中,包括:对目标新线数据执行卸数加工,生 成跨组件服务器的第三数据文件;将第三数据文件转换为跨组件服务器的 新线同步数据。
根据本公开的第二个方面,提供了一种数据迁移装置,其中,包括旧 线同步模块、数据加工模块和新线同步模块。旧线同步模块用于将旧线服 务器的待迁移数据同步至孤岛服务器,生成孤岛服务器的中间数据;数据 加工模块用于根据跨组件服务器的跨组件数据,对孤岛服务器的中间数据 执行加工,生成孤岛服务器的目标新线数据;以及新线同步模块用于将孤 岛服务器的目标新线数据同步至新线服务器,实现数据迁移。
本公开的第三方面提供了一种电子设备,包括:一个或多个处理器; 存储器,用于存储一个或多个程序,其中,当所述一个或多个程序被所述 一个或多个处理器执行时,使得一个或多个处理器执行上述数据迁移方法。
本公开的第四方面还提供了一种计算机可读存储介质,其上存储有可 执行指令,该指令被处理器执行时使处理器执行上述数据迁移方法。
本公开的第五方面还提供了一种计算机程序产品,包括计算机程序, 该计算机程序被处理器执行时实现上述数据迁移方法。
附图说明
通过以下参照附图对本公开实施例的描述,本公开的上述内容以及其 他目的、特征和优点将更为清楚,在附图中:
图1示意性示出了根据本公开实施例的数据迁移方法、装置、设备、 介质和程序产品的应用场景图;
图2示意性示出了根据本公开实施例的数据迁移方法的流程图;
图3A示意性示出了根据本公开实施例的数据迁移方法的应用场景流 程图;
图3B示意性示出了根据本公开实施例的对应上述图3A所示流程图 的数据迁移的应用场景图;
图4示意性示出了根据本公开实施例的对应上述图3A所示流程图的 数据迁移系统架构图;
图5示意性示出了根据本公开实施例的数据迁移装置的结构框图;以 及
图6示意性示出了根据本公开实施例的适于实现数据迁移方法的电子 设备的方框图。
具体实施方式
以下,将参照附图来描述本公开的实施例。但是应该理解,这些描述 只是示例性的,而并非要限制本公开的范围。在下面的详细描述中,为便 于解释,阐述了许多具体的细节以提供对本公开实施例的全面理解。然而, 明显地,一个或多个实施例在没有这些具体细节的情况下也可以被实施。 此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地 混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。 在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件 的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部 件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通 常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有 与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来 解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般 来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如, “具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具 有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、 B、C的系统等)。
在新旧系统的数据切换过程中,现有技术中的数据迁移方式通常由数 据库厂商提供,例如数据仓库将模型层从Oracle迁移至MPP架构的 GreenPlum时,GreenPlum的数据库厂商会提供与之相匹配的迁移工具, 又或是联机交易系统将数据库整体从Oracle迁移至Mysql时,Mysql的数 据库厂商也会提供对应的迁移工具。也即,现有技术中的数据迁移过程通 常采用数据库厂商所提供的数据库迁移工具来实现。
然而,需要指出的是,现有数据库厂商提供的迁移工具在使用场景上 存在巨大的局限,仅支持常用数据库迁移至数据库厂商提供的数据库中, 无法满足对应不同数据模型的数据库之间的数据迁移工作。即便现有技术 已存在一定的不同数据库之间的数据迁移方式,但是在相应的数据模型之 间的数据迁移过程中,仍然不能实现对存量数据的实时迁移,并且在实时 迁移过程中无法进行全方位的数据校验,进而也无法保证迁移完成之后的存量业务在新系统中是否可以正常开展,以保证业务连续性。
鉴于现有技术中在新旧系统切换过程中进行数据迁移所存在的技术 问题至少之一,本公开提供了一种可以实现标准业务流程的更高自由度的 组装和生效数据迁移方法、装置、设备、介质和程序产品。
需要说明的是,本公开的上述数据迁移方法和装置可用于大数据技术 领域和人工智能技术领域,也可用于金融领域以及金融领域之外的任意领 域,本公开数据迁移方法和装置的应用领域不做限定。
在本公开的技术方案中,所涉及的包括用户个人信息等数据的收集、 存储、使用、加工、传输、提供、公开和应用等处理,均符合相关法律法 规的规定,采取了必要保密措施,且不违背公序良俗。其中,在获取或采 集用户个人信息之前,均获取了用户的授权或同意。
本公开的实施例提供了一种数据迁移方法,其中,包括:将旧线服务 器的待迁移数据同步至孤岛服务器,生成孤岛服务器的中间数据;根据跨 组件服务器的跨组件数据,对孤岛服务器的中间数据执行加工,生成孤岛 服务器的目标新线数据;以及将孤岛服务器的目标新线数据同步至新线服 务器,实现数据迁移。
图1示意性示出了根据本公开实施例的数据迁移方法、装置、设备、 介质和程序产品的应用场景图。
如图1所示,根据该实施例的应用场景100可以包括终端设备101-103、 网络104和服务器105。网络104用以在终端设备101、102、103和服务 器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如 有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交 互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通 讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通 信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种 电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式 计算机等等。
服务器105可以是提供各种服务的服务器,例如对用户利用终端设备 101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后 台管理服务器可以对接收到的用户请求等数据进行分析等处理,并将处理 结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终 端设备。
需要说明的是,本公开实施例所提供的数据迁移方法一般可以由服务 器105执行。相应地,本公开实施例所提供的数据迁移装置一般可以设置 于服务器105中。本公开实施例所提供的数据迁移方法也可以由不同于服 务器105且能够与终端设备101、102、103和/或服务器105通信的服务器 或服务器集群执行。相应地,本公开实施例所提供的数据迁移装置也可以 设置于不同于服务器105且能够与终端设备101、102、103和/或服务器 105通信的服务器或服务器集群中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。 根据实现需要,可以具有任意数目的终端设备、网络和服务器。
以下将基于图1描述的场景,通过图2~图6对公开实施例的数据迁移 方法、装置、设备进行详细描述。
图2示意性示出了根据本公开实施例的数据迁移方法的流程图。
如图2所示,该实施例的数据迁移方法包括操作S201~操作S203。
在操作S201,将旧线服务器的待迁移数据同步至孤岛服务器,生成孤 岛服务器的中间数据;
在操作S202,根据跨组件服务器的跨组件数据,对孤岛服务器的中间 数据执行加工,生成孤岛服务器的目标新线数据;
在操作S203,将孤岛服务器的目标新线数据同步至新线服务器,实现 数据迁移。
服务器一般为具有数据存储、计算等数据处理功能的计算机设备,通 常具有存储业务交易数据的数据库,此外每个服务器为支撑数据存储等数 据处理功能,还具有相应的用于支撑数据库以及服务器本身功能实现的基 础支撑数据。大量服务器集成可以用于构成现代化的数据中心,数据中心 用于承载海量数据的处理存储,以同时支撑用户的业务需要和运维方的运 维需要。
当服务器中的数据需要进行迁出时,定义待迁移数据原始所在并将要 迁出的服务器为旧线服务器,待迁移数据将要迁入的服务器为新线服务器。 其中,在新线服务器和旧线服务器所各自支持的数据迁移方式有所差异时, 孤岛服务器作为可以与旧线服务器和新线服务器都能实现数据自主迁移 的中间服务器,可以在旧线服务器的待迁移数据迁移至新线服务器的过程 中更好地实现数据转换。
待迁移数据为旧线服务器中所存储的涉及业务交易数据以及基础支 撑数据的存量数据,其中待迁移数据中的业务交易数据为实时更新的业务 数据。当该待迁移数据经过数据同步处理,可以迁移至孤岛服务器,作为 孤岛服务器的中间数据。
跨组件服务器为向新线服务器提供数据迁移映射关系数据的服务器, 该数据迁移映射关系数据即上述的跨组件数据,通过该跨组件数据,可以 实现对上述孤岛服务器中的中间数据的迁移映射过程。当接收到跨组件服 务器所提供的跨组件数据,可以根据该跨组件数据中提供的数据迁移映射 关系对孤岛服务器中的中间数据进行数据加工,由于数据加工的过程涉及 到数据转换,能够使得转换后的目标新线数据更为适合孤岛服务器与新线 服务器之间的数据迁移过程。其中,目标新线数据为对上述中间数据执行 了数据迁移映射的数据转换之后所形成的数据,其数据内容应当与原始待 迁移数据内容一致,但是在数据形式或应用格式上存在差异,该目标新线 数据的数据形式或应用格式与新线服务器匹配。
在此基础上,可以直接将孤岛服务器中的目标新线数据直接同步至新 线服务器,从而最终实现了对旧线服务器中的待迁移数据朝向新线服务器 的迁移过程,确保了整个数据迁移的完整性和连续性。
因此,相对于传统的采用数据迁移工具或者单纯采用孤岛服务器与数 据迁移工具结合进行数据迁移,通过跨组件服务器可以实现在数据迁移过 程中对数据迁移映射关系的实时更新,从而保证了数据迁移过程中的数据 的一致性,避免了因数据没有实时同步所造成的数据遗漏,使得生成的目 标新线数据相对于待迁移数据具有更高的一致性、完整性和准确性,能够 保证迁移完成之后的存量业务在新线服务器中可以正常开展,也即保证了 业务的连续性,进一步提高了数据迁移的迁移效率。
其中,需要说明的是,在上述的数据迁移过程中,所涉及的数据 迁移目录清单包括:迁移程序主体目录,必须设置环境变量,如 QY_HOME;用于存放公共程序的目录,例如通用的载数程序和卸数 程序,如bin;用于存放配置文件的目录,包括数据库连接串、数据 库并发控制等,如config;CTL目录,载数程序自动创建此目录的 CTL文件,如ctl;组件交互目录,用于保存与其他系统或组件交互 时使用的数据文件,如data;输入保存目录,用于保存其他系统或组 件输入的数据文件,如input;输出保存目录,用于保存输出给其他 系统或组件的数据文件ouput;数据库脚本目录,用于存放数据库相 关的SQL脚本,如db;数据变更脚本目录,用于存放数据变更的DML 脚本,如datas;函数脚本目录,用于存放创建函数的DDL脚本,如 functions;进程脚本目录,用于存放创建存储过程的DDL脚本,如procedures;序列脚本目录,用于存放创建序列的DDL脚本,如 sequencds;表脚本目录,用于存放创建表的DDL脚本,如tables;jar 目录,用于存放jar包,如java;log目录,执行程序时自动创建此目 录的日志文件,如log;脚本程序目录,用于存放脚本程序,如script; 组件输入目录,用于存放跨组件输入的脚本程序,如cross_input;组 件输出目录,用于存放跨组件输出的脚本程序,如cross_output;数 据质量目录,用于存放数据质量相关的脚本程序,如data_quality; 静态检核目录,用于存放静态检核的脚本程序,如static_report;技 术检核目录,用于存放技术检核的脚本程序,如technical check;来 源系统迁出目录,用于存放来源系统迁出的脚本程序,如source;目 标系统迁入目录,用于存放目标系统迁入的脚本程序,如target;主 体转换目录,用于存放主体转换的脚本程序,如transform等,在此 不作赘述。
在本公开的实施例中,上述的数据加工是指表到表的数据加工。一般 而言,数据加工程序采用统一的程序外壳作为模板,程序外壳提供数据库 连接、日志记录等通用处理,使开发人员或运维人员只需要考虑业务加工, 无需过多关注与业务逻辑无关的工作。其中,数据加工原则涉及如下两个 方面:首先,无特殊情况,一个数据加工程序对应加工一张数据库表,通 常只有复杂加工的情况下,可以多个数据加工程序对应加工一张数据库表; 此外,不允许一个数据加工程序同时加工多张数据库表(为增加处理效率 而创建的临时表除外)。
相应地,针对服务器中所涉及的数据库设计,针对数据库用户,在参 数文件中,可以分别配置数据库用户和Schema。数据库用户可以用于在 数据迁移的过程中进行数据加工转换,而Schema用于储存迁移过程中的 过程数据和结果数据。数据库表空间使用Schema的默认表空间,从简出 发,不为数据库表、索引和CLOB字段设置独立的表空间。其中,数据库 对象共有函数、存储过程、序列以及表等4类。
其中,对于函数,命名全部大写,采用下划线(_)分隔,命名前缀是 QY_F,后面接自定义命名,自定义命名既要简明扼要,又要表达清晰; 对于存储过程,命名全部大写,采用下划线()分隔,命名前缀是QY_P, 后面接自定义命名,其中,在一般情况下,一个存储过程对应加工一张数 据库表,存储过程的自定义命名要与对应加工的数据库表的自定义命名保 持一致;对于序列,命名全部大写,采用下划线(_)分隔,命名前缀是 QY_SEQ,后面接自定义命名,自定义命名与存储序列的字段命名保持一 致,当字段命名不唯一时,自定义命名使用表名+字段名的方式,如长度 过长,可省略非关键部分;对于表,命名全部大写,采用下划线(_)分隔, 命名前缀是QY_T,后面接自定义命名,自定义命名采用隐式分层、显式 分主题的方式,具体可参见下述的数据库表。
需要说明的是,数据库分层分主题设计可以如下表1所示:
表1
Figure BDA0003395777560000091
如上述表1所示,数据库表设计采用分层分主题设计,但与以往的分 层分主题不同,具体实施为隐式分层以及显式分主题。其中,不同的原因 有两点:首先,考虑的是自定义命名需要与来源表和目标表尽量保持一致, 不宜过长,所以省略分层命名。其次,迁移任务可以只是一次性工作,不 宜设计的像数据仓库等数据类项目一样复杂。
图3A示意性示出了根据本公开实施例的数据迁移方法的应用场景流 程图;图3B示意性示出了根据本公开实施例的对应上述图3A所示流程 图的数据迁移的应用场景图;图4示意性示出了根据本公开实施例的对应 上述图3A所示流程图的数据迁移装置的组成图。
如图2所示,根据本公开的实施例,在操作S201将旧线服务器的待 迁移数据同步至孤岛服务器,生成孤岛服务器的中间数据中,还包括:
将旧线服务器的待迁移数据转换为旧线服务器的第一数据文件;
对旧线服务器的第一数据文件执行载数加工,生成孤岛服务器的中间 数据。
对旧线服务器与孤岛服务器之间的数据同步而言,可以通过表-表文件 -表的同步解析转换为主进行实现。如图3A所示,在操作S301中,若将 旧线系统的存量数据作为待迁移数据进行迁出,则可以先将待迁移数据所 对应的待迁移数据表直接转换为旧线服务器的数据文件,该数据文件即第 一数据文件,可以为待迁移数据的数据打包文件,基本可以包括待迁移数 据的所有内容。
之后,在将第一数据文件传输至孤岛服务器的过程中,通过载数处理 程序,对该第一数据文件执行载数加工,使得第一数据文件直接通过载数 加工,解析到孤岛服务器对应的数据表中,形成具有中间数据的中间数据 表。从而实现了将旧线服务器的存量数据同步至孤岛服务器。如图4所示, 载数加工过程主要通过数据迁移系统架构400的数据加载模块410实现。
其中,载数加工可以为文件到表的数据加工。一般载数程序可以封装 如Oracle的SQL*LOADER工具等加工工具,从而可以实现参数配置直接 进行数据加载,无需手动编写CTL文件,这样既保留了SQL*LOADER 等工具对可视化文本文件进行加载的优势,相对于SQL*LOADER等工具, 又减少了更多代码开发的任务,降低了程序报错的可能。
其中,载数加工通过载数配置表实现对载数程序执行过程的数据配置, 具体如下表2所示。
表2
Figure BDA0003395777560000101
Figure BDA0003395777560000111
如表2所示,通过载数表对数据文件中各种数据进行解析时所采用配 置参数的定义,使得载数解析过程更为准确、快速地将第一数据文件传输 解析至孤岛服务器,保证了数据的一致性、完整性和准确性。其中,表2 所示载数表结构需要与对应的第一数据文件的数据格式保持一致。
如图2所示,根据本公开的实施例,在对旧线服务器的第一数据文件 执行载数加工,生成孤岛服务器的中间数据之后,还包括:
对孤岛服务器的中间数据执行第一技术检核,其中,第一技术检核包 括数据量检核。
如图3A所示,在操作S302中,当完成上述待迁移数据向孤岛服务器 的数据同步之后,可以在对该中间数据执行数据加工的数据转换之前,对 所形成的中间数据执行第一技术检核,以期进一步确保数据的完整性、一 致性和准确性。
其中,该第一技术检核主要涉及数据量检核,具体是对孤岛服务器的 中间数据与旧线服务器的待迁移数据之间的数据量进行比对,若数据量严 重不一致,则说明上述载数加工过程中的数据出现数据遗漏,难以保证数 据的一致性,检核不通过;相反,若数据量基本一致,则说明上述载数加 工过程中的数据一致性、完整性和准确性保持较好,检核通过。因此,该 第一技术检核的主体是旧线服务器的待迁移数据,技术检核类型主要采用 数据量检核,此外,技术检核类型还可以同时辅助采用唯一检核、非空检 核等。检核不通过,则可以从旧线服务器中重新执行待迁移输出的数据迁 出过程,并等待下文所述跨组件数据的输入。如图4所示,第一技术检核 的过程主要通过技术检核模块440实现。
需要说明的是,在本公开的实施例中,技术检核类型至少可以支持以 下8种检核方式:(1)唯一检核:针对数据唯一性进行检核,例如:合约 表中合约编号是主键,那么合约编号唯一,代表检核通过;合约编号重复, 代表检核不通过。(2)非空检核:针对数据是否非空进行检核,例如客户 编号、机构编号、账号等关键字段不允许为空,若不为空,则代表检核通 过;为空,代表检核不通过。(3)数据量检核:数据量检核是针对两个标 的进行数据量比较,可以是文件和文件、文件和数据表、数据表和数据表 等标的。其中,两个标的的数据量相等,代表检核通过;不相等,代表检 核不通过。(4)日期检核:针对日期格式进行检核,如果数据是合法日期, 代表检核通过;不合法,代表不检核通过。(5)长度检核:如果应用系统 对数据长度有强校验,那么需要对该数据的长度进行检核,符合长度要求, 代表检核通过;不符合长度要求,代表检核不通过。(6)代码检核:对代 码类字段的码值进行数据检核,例如归集方式的码值1代表上存,2代表 下拨,那么归集方式的数据等于1或2,代表检核通过;等于其他任何值, 代表检核不通过。(7)外键检核:针对不同数据实体进行外键关联检核, 例如:交易信息表中的客户编号必须在客户信息表中存在,若存在,代表 检核通过;不存在,代表检核不通过。(8)自定义检核:针对不适用上述 7种技术检核类型对应的检核规则的检核都可归入自定义检核。其中,自 定义检核主要用于业务勾稽核对,同时也可以作为技术检核的扩展选项。 在第一技术检核过程中,主要可以针对数据量检核进行,辅助进行非空检 核和唯一检核。其中,技术检核规则可以通过EXCEL进行配置,之后根 据该EXCEL配置自动生成检核SQL,进一步实现相应的检核内容。
如图3B所示,数据迁移过程的应用场景涉及旧线服务器320、孤岛 服务器330、新线服务器340以及跨组件服务器350。其中,在服务器320、 330、340和350之间需要提供通信链路,例如有线、无线通信链路或者光 纤电缆等。
其中,旧线服务器320作为旧线系统,主要在待迁移数据执行迁出时 使用,新线服务器340作为新线系统,主要在待迁移数据执行迁入时使用。 孤岛服务器330作为新线服务器340的专属孤岛系统,用于旧线服务器320 到新线服务器340之间的数据转换。
如图2所示,根据本公开的实施例,在操作S202根据跨组件服务器 的跨组件数据,对孤岛服务器的中间数据执行加工,生成孤岛服务器的目 标新线数据之前,还包括:
将跨组件服务器的跨组件数据同步至孤岛服务器,生成孤岛服务器的 迁移映射数据;
对孤岛服务器的迁移映射数据执行第二技术检核,其中,第二技术检 核包括数据量检核。
如图3A和图3B所示,在对中间数据进行数据加工之前,可以对跨 组件服务器350的跨组件数据进行向孤岛服务器的数据同步过程,实现操 作S303的跨组件输入。其中,跨组件数据包括旧线服务器和新线服务器 之间的迁移数据迁移映射关系,如表对表的涉及表头或表目录之间的对应 关系,其中通过跨组件服务器可以实时对旧线服务器和新线服务器中各数 据库的数据表的表头或表目录进行实时更新,包括对数据表各项内容的删除、创建新增以及替换、更正等修改操作。
当跨组件数据同步至孤岛服务器之后,可以生成孤岛服务器的迁移映 射数据,该迁移映射数据为与上述跨组件服务器中跨组件数据内容基本一 致的迁移映射关系的数据。
如图3A所示,在完成上述跨组件数据向孤岛服务器的数据同步,并 生成相应迁移映射数据之后,可以对该迁移映射数据执行操作S304的第 二技术检核,以期保证迁移映射关系在该同步过程中的完整性、一致性和 准确性。
其中,该第二技术检核与第一技术检核的检核类型可以一致,主要涉 及数据量检核,具体是对孤岛服务器的迁移映射数据与跨组件服务器的跨 组件数据之间的数据量进行比对,若数据量严重不一致,则说明出现数据 遗漏,检核不通过;相反,若数据量基本一致,则检核通过。因此,该第 二技术检核的主体是跨组件服务器的跨组件数据,技术检核类型主要采用 数据量检核,此外,技术检核类型还可以同时辅助采用唯一检核、非空检 核等。其中,对于第二技术检核过程中,若检核不通过,则需将跨组件数 据从跨组件服务器重新执行迁出同步;直至检核通过,则进行主体的中间 数据的迁移映射转换。如图4所示,该跨组件数据的迁出同步过程可以通 过数据加载模块410实现,第二技术检核则可以通过技术检核模块440实 现。
在本公开实施例的系统架构中,每个服务器已经不是一个单纯的数据 孤岛,服务器的建设也不再是烟筒式的建设,而是会根据业务流程和数据 属性进行抽象,建立基础组件或系统,例如常见的ECIF系统。ECIF系统 可以把全部的业务信息收集到一起,并要求其他相关系统在维护和查询该 业务信息时都必须使用ECIF数据,以此来保证业务信息的数据一致性、 完整性和准确性,并实现高质量的数据共享。因此,当前的系统切换,已 经不在是某一个服务器的切换,而是几个甚至几十个服务器的共同切换并 且涉及同步同时切换,这就导致在一次数据迁移中,会出现几个甚至几十 个新线服务器。为了保证数据迁移的时效性,需要实现对数据进行并行转 换,使得不同的新线服务器就会对应不同的孤岛服务器。这时,以某一个 孤岛服务器的角度,其他相对的孤岛服务器就可以作为相应的跨组件服务 器。该跨组件服务器可以用来进行存量数据的跨组件数据的数据同步。具 体地,以新线现金管理组件和新线客户信息组件为例,新线现金管理组件 从旧线服务器迁入的客户编号都是旧客户编号,而新线客户信息组件在迁 入旧客户编号时,会对应生成旧客户编号对应的新客户编号,新线客户信 息组件则可以将新旧客户编号的编号映射关系提供给新线现金管理组件 后,新线现金管理组件就可以将旧客户编号转换成新客户编号。因此,跨组件服务器可以更好地以此保证迁移信息的一致性、完整性和准确性。而 且,跨组件服务器可以在迁移数据映射关系发生更新操作时,能够实时动 态地同步至孤岛服务器,使得孤岛服务器的中间数据能够得到最新的映射 关系,使得数据迁移过程实现更为完整、全面和准确的迁移效果,更为有 力地保证了业务连续性和实时性。
根据本公开的实施例,在将跨组件服务器的跨组件数据同步至孤岛服 务器,生成孤岛服务器的迁移映射数据中,包括:
将跨组件服务器的跨组件数据转换为跨组件服务器的第二数据文件;
对跨组件服务器的第二数据文件执行载数加工,生成孤岛服务器的迁 移映射数据。
对跨组件服务器与孤岛服务器之间的数据同步而言,也可以通过表- 表文件-表的同步解析转换为主进行实现。如图3A所示,在操作S303中, 若将跨组件系统的跨组件数据进行迁出,则可以先将跨组件数据所对应的 跨组件数据表直接转换为跨组件服务器的数据文件,该数据文件即第二数 据文件,可以为跨组件数据的数据打包文件,基本可以包括跨组件数据的 所有内容。
之后,在将第二数据文件传输至孤岛服务器的过程中,通过载数处理 程序,对该第二数据文件执行载数加工,使得第二数据文件直接通过载数 加工,解析到孤岛服务器对应的数据表中,形成具有迁移映射数据的映射 数据表。从而实现了将跨组件服务器的跨组件数据同步至孤岛服务器。如 图4所示,载数加工过程主要通过数据迁移系统架构400的数据加载模块 410实现。
因此,通过上述的载数加工过程可以进一步确保在跨组件数据的同步 过程中,使得孤岛服务器的迁移映射数据更加准确、完整,且减少了更多 代码开发的任务,降低同步程序的报错概率,提升同步效率和准确性,从 而保证了整体数据的一致性、完整性和准确性,使得迁移映射数据更加具 有实时特性。
如图2所示,根据本公开的实施例,在操作S202根据跨组件服务器 的跨组件数据,对孤岛服务器的中间数据执行加工,生成孤岛服务器的目 标新线数据中,包括:
根据与跨组件服务器的跨组件数据对应的孤岛服务器的迁移映射数 据,对孤岛服务器的中间数据执行加工,生成孤岛服务器的目标新线数据;
对孤岛服务器的目标新线数据执行第三技术检核,其中,第三技术检 核包括唯一检核、非空检核、代码检核以及外键检核。
如图3A所示,当生成孤岛服务器的中间数据以及迁移映射数据之后, 可以根据迁移映射数据对中间数据执行操作S305的主体数据转换的数据 加工操作,该数据加工过程涉及表到表的数据加工,即将中间数据表的中 间数据按照迁移映射数据所具有迁移映射关系,一一映射到对应的新线数 据表中,得到新线数据表中的目标新线数据。其中,在孤岛服务器中包括 用于存储中间数据的中间数据表,以及存储迁移映射数据的映射数据表和存储新线数据的新线数据表。对迁移数据表执行数据分析,并根据数据分 析过程获取的迁移映射关系,对中间数据表中的中间数据执行逐项映射, 使得在新线数据表中对应数据项中逐条生成新线数据项,最终形成的新线 数据表中存储的新线数据即本公开实施例的目标新线数据。
其中,对于新线数据表中的新线数据生成可以通过数据复制和数据转 换来实现,具体地,当从中间数据表所获取的数据项为非空数据时,对中 间数据表的非空数据和映射数据表中的映射数据直接进行复制抽取,不作 其它处理,并将该非空数据移动至新线数据表中作为新线数据;当从中间 数据表所获取的数据项为空时,通过数据库左连接关联转换技术将中间数 据表左连接关联到映射数据表,根据映射数据表中对应的数据项,获取与该数据项对应的映射数据表中的映射值,将该映射值作为中间数据表中对 应为空数据的数据项的数据值,移动至对应新线数据表中作为该数据项对 应新线数据。如此,便可以实现对新线数据的逐项复制或转换,从而将所 有的中间数据迁移至新线数据表中,防止出现数据遗漏的情况,确保所有 数据能够准确地实现转换加工。
其中,关于目标新线数据的生成过程主要涉及根据上述迁移映射数据 对中间数据的执行数据加工的过程。其中,针对中间数据的数据加工还可 以涉及数据清洗、数据去重、数据补录以及数据初始化等至少之一种的加 工过程。其中,对于数据清洗:当在对中间数据表执行数据分析的过程中, 中间数据表中若存在不符合映射数据关系的无效数据项时,对该无效数据 执行过滤的清洗操作,实现对无效数据项的删除操作,其中无效数据可以 是无效账号或者5年以上的无效流水数据等;对于数据去重:当在对中间 数据执行数据分析过程中,中间数据表中若存在相互重复的数据项时,对 该相互重复的两个数据项进行去重处理,只保留其中一项数据项,从而保 证数据迁入正常;对于数据补录:根据映射数据表中对应映射数据项的映 射关系,可以确定中间数据表中并不存在、但是新线数据表中必须需要的 数据项,则可以根据运维人员或者技术人员的预输入数据对该中间数据表 缺少的数据项进行补录操作,并依据映射关系直接抽取到新线数据表中作 为新线数据;对于数据初始化:对于上述数据补录过程,若确定中间数据 表中并不存在但是新线数据表中必须需要的数据项,且还数据项在新线数 据表中的栏位具有统一的数据插入规则,则可以采用初始化数据项默认值 的方式对其进行补充,从而能够将该数据补充至新线数据表的对应栏位作 为新线数据。
因此,通过该数据主体转换加工过程,可以实现对中间数据的一一映 射,从而进一步确保数据准确性,防止数据映射遗漏导致的迁移失败的情 况。如图4所示,数据加工的过程主要通过数据转换模块430实现。
进一步地,对上述数据映射转换所产生的目标新线数据进一步执行第 三技术检核,以更进一步地确保数据的完整性、一致性和准确性,确保业 务数据的连续性和实时性。其中,该第三技术检核的检核类型必须涉及唯 一检核、非空检核、代码检核以及外键检核,此外还可以相应地涉及数据 量检核、日期检核、长度检核以及自定义检核,具体增加相应的键合规则。 其中,该第三技术检核的主体是孤岛服务器中的目标新线数据。其中,检 核不通过,则可以需要重新根据迁移映射数据执行对中间数据的映射数据 转换加工,生成新的目标新线数据;若检核通过,则直接对应进行下一步 的目标新线数据向新线服务器的数据同步。如图4所示,第三技术检核的 过程仍主要通过技术检核模块440实现。
如图2所示,根据本公开的实施例,在操作S203将孤岛服务器的目 标新线数据同步至新线服务器,实现数据迁移中,包括:
将孤岛服务器的目标新线数据迁移至新线服务器,生成目标存量数据;
对新线服务器的目标存量数据依次执行第四技术检核、静态检核以及 动态检核,其中,第四技术检核包括数据量检核。
如图3A所示,在完成对目标新线数据的第三技术检核并检核通过之 后,执行操作S308新线系统的迁入操作,将目标新线数据迁移至新线服 务器。借此,可以实现将与旧线服务器的待迁移数据相对应的目标新线数 据迁移至了新线服务器,使得生成的目标存量数据与该待迁移数据相比, 基本能够保持数据的一致性和完整性,并且该数据具有更高的实时性特点, 数据迁移效率和准确率更高。
进一步地,如图3A所示,在操作S309以上述的目标存量数据为检核 主体,执行第四技术检核。第四技术检核主要涉及数据量检核,具体是将 上述目标新线数据与目标存量数据之间的数据量进行比对,若数据量严重 不一,则检核不通过;相反,若数据量基本一致,则检核通过。因此,可 以更加确保目标存量数据能够准确无误地迁入到新线服务器中。如图4所 示,第四技术检核的过程仍主要通过技术检核模块440实现。
此外,在执行第四技术检核的基础上,如图3A所示,在操作S310 对经过第四技术检核的目标存量数据继续执行静态检核,静态检核涉及在 新线服务器对迁入的目标存量数据执行静态报表检核。其中,业务报表可 以理解为各服务器对应的数据库数据表,每个数据库包括多个数据表,每 个数据表具有多个数据项,每个数据项可以具有多种数值作为数据本身。
其中,在本公开实施例中,与通常对于异常数据进行检核的技术检核 相比,对于静态检核而言通常是对正常数据进行检核。静态检核的流程主 要包括:首先,收集新线服务器和旧线服务器分别与目标存量数据和待迁 移数据相关的业务报表;之后,从旧线服务器中按照业务报表直接提取相 应的待迁移数据内容,并从新线服务器中按照业务报表提取目标存量数据 内容;最后,将该待迁移数据内容与目标存量数据内容进行自动比对,生成相应的比对报表;通过对该比对报表的内容进行分析确认,可以确认该 目标存量数据是否静态核验通过。因此,通过静态核验可以在上述多次技 术核验的基础上进一步提供数据校验,有力保证数据迁移之后的存量业务 数据在新线服务器中的正常开展,实现业务连续性。如图4所示,静态检 核的过程主要通过静态检核模块450实现。
进一步地,在上述静态检核的基础上,如图3A所示,在操作S311 对经过第四技术检核和静态检核的目标存量数据继续执行动态检核,动态 检核涉及在新线服务器对迁入的目标存量数据执行动态检核。因此,通过 该进一步的动态检核过程,更加确保新旧服务器的数据切换之后,存量业 务数据能够正常开展。
其中,在本公开的实施例中,与技术检核和静态检核相比,动态检核 是指在诸如SIT测试和UAT测试等阶段,将旧线服务器的待迁移的存量 数据迁移至新线服务器中之后,并在新线服务器中通过服务器的检核测试 功能进行业务连续性验证测试,提前保证在服务器的数据切换之后,新线 服务器能够正确、稳定地运行。当动态检核通过之后,可以最终保证反复 实现了数据校验,确保数据迁移过程中真正达到了数据的一致性、完整性 和准确性,使得新线服务器能够稳定运行,且运行数据准确,从而提高或 改善新线服务器的业务交易能力和运行效率,从而更加有利于提高运维效 率,简化运维成本和运维时间。
如图2所示,根据本公开的实施例,在操作S203将孤岛服务器的目 标新线数据同步至新线服务器,实现数据迁移的同时,还包括:
将孤岛服务器的目标新线数据同步至跨组件服务器,生成新线同步数 据。
如图3A所示,在完成对目标新线数据的第三技术检核并检核通过之 后,还需要进一步执行跨组件服务器与孤岛服务器之间的数据同步,将目 标新线数据再同步至跨组件服务器,实现跨组件服务器与新线服务器以及 孤岛服务器之间的服务器数据的统一,即操作S307中跨组件输出。其中, 该跨组件输出的过程与前述跨组件数据执行载数加工得到迁移映射数据 的处理过程完全相反。具体地,可以对该目标新线数据执行卸数加工,直 接生成对应跨组件服务器中的跨组件输出数据文件,并对跨组件输出数据 文件进行解析以得到新线同步数据。新线同步数据与该目标新线数据的数 据内容能够保持高度的一致性和完整性。如图4所示,卸数加工过程主要 可以通过数据卸载模块420实现。
根据本公开的实施例,在将孤岛服务器的目标新线数据同步至跨组件 服务器,生成新线同步数据中,包括:
对目标新线数据执行卸数加工,生成跨组件服务器的第三数据文件;
将第三数据文件转换为跨组件服务器的新线同步数据。
对跨组件服务器与孤岛服务器之间的反向数据同步而言,可以通过表 -表文件-表的同步转换解析为主进行实现。如图3A所示,在操作S307中, 若将孤岛服务器的目标新线数据进行迁出,则可以先对目标新线数据所对 应的新线数据表执行卸数加工,将其加工为跨组件服务器的数据文件,该 数据文件即第三数据文件,可以为目标新线数据的对应数据打包文件,基 本可以包括目标新线数据的所有内容。
之后,对该第三数据文件执行数据解析,使得第三数据文件解析到跨 组件服务器对应的数据表中,形成具有新线同步数据的新线同步数据表。 从而实现了将孤岛服务器的目标新线数据同步至跨组件服务器。如图4所 示,如图4所示,卸数加工过程主要可以通过数据卸载模块420实现。
在本公开实施例中,卸数加工与载数加工相反,是指表到文件的数据 加工。卸数程序封装了如Oracle的spool命令,通过参数配置即可实现灵 活的卸数任务,既实现了自动卸数的简易化,又避免了使用数据泵进行卸 数导致卸数文件无法编辑和查看的缺点。其中,卸数加工的参数配置具体 可以如下表3所示。
表3
Figure BDA0003395777560000201
如表3所示,通过卸数表对数据文件中各种数据进行解析时所采用配 置参数的定义,使得卸数解析过程更为准确、快速地将第三数据文件传输 解析至跨组件服务器,保证了数据的一致性、完整性和准确性。其中,表 2所示卸数表结构需要与对应的第三数据文件的数据格式保持一致。
借此,实现了目标新线数据在多个不同服务器中的同步迁移,进而可 以保证数据中心中多个其他服务器都能够同步实现目标新线数据的迁移 工作,实现了数据的并行迁移,在保证数据迁移一致性、完整性和准确性 的情况下,极大地提高了数据的迁移效率。
可见,本公开实施例提供的上述数据迁移方法,对数据迁移流程现状 进行了梳理和全面评估,通过引入跨组件服务器实现对迁移映射关系的实 时准确更新,同时采用反复的技术检核以及静态和动态检核等检核手段, 确保了数据迁移的一致性、完整性和准确性,相对于同业领先实践形成差 距分析,可以形成一套完善有效的数据迁移解决方案,从而能够建立了数 据迁移的完整体系,使得从基础平台的设计、开发、检核等方面,最终使数据迁移工作处于整体有序管理的状态,确保了业务的连续性和有效性, 极大提高了数据迁移的效率。
需要说明的是,如图4所示的数据迁移系统架构400中,还包括通用 程序模块460、日志模块470以及文件存储模块480,各自实现在数据迁 移过程中其他迁移支撑的作用,如通用程序模块460可以实现对数据或指 令的接收和发送等,日志模块470可以实现对数据迁移过程产生的各种日 志数据进行存储和分类处理等,文件存储模块480则可以对该迁移过程中 产生的各类文件进行存储和分类处理等,具体在此不作赘述。
基于上述数据迁移方法,本公开还提供了一种数据迁移装置。以下将 结合图5对该装置进行详细描述。
图5示意性示出了根据本公开实施例的数据迁移装置的结构框图。
如图5所示,该实施例的数据迁移装置包括旧线同步模块510、数据 加工模块520和新线同步模块530。
旧线同步模块510用于将旧线服务器的待迁移数据同步至孤岛服务器, 生成孤岛服务器的中间数据;在一实施例中,旧线同步模块510可以用于 执行前文描述的操作S201,在此不再赘述。
数据加工模块520用于根据跨组件服务器的跨组件数据,对孤岛服务 器的中间数据执行加工,生成孤岛服务器的目标新线数据;在一实施例中, 数据加工模块520可以用于执行前文描述的操作S202,在此不再赘述。以 及
新线同步模块530用于将孤岛服务器的目标新线数据同步至新线服务 器,实现数据迁移。在一实施例中,新线同步模块530可以用于执行前文 描述的操作S203,在此不再赘述。
根据本公开的实施例,旧线同步模块510、数据加工模块520和新线 同步模块530中的任意多个模块可以合并在一个模块中实现,或者其中的 任意一个模块可以被拆分成多个模块。或者,这些模块中的一个或多个模 块的至少部分功能可以与其他模块的至少部分功能相结合,并在一个模块 中实现。根据本公开的实施例,旧线同步模块510、数据加工模块520和 新线同步模块530中的至少一个可以至少被部分地实现为硬件电路,例如 现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板 上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进 行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬 件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实 现。或者,旧线同步模块510、数据加工模块520和新线同步模块530中 的至少一个可以至少被部分地实现为计算机程序模块,当该计算机程序模 块被运行时,可以执行相应的功能。
图6示意性示出了根据本公开实施例的适于实现数据迁移方法的电子 设备600的方框图。
本公开的实施例还提供了一种电子设备,包括:一个或多个处理器; 存储器,用于存储一个或多个程序,其中,当所述一个或多个程序被所述 一个或多个处理器执行时,使得一个或多个处理器执行上述数据迁移方法。
如图6所示,根据本公开实施例的电子设备600包括处理器601,其 可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加 载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。 处理器601例如可以包括通用微处理器(例如CPU)、指令集处理器和/或 相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC))等等。处理器601还可以包括用于缓存用途的板载存储器。处理器601可以包括用 于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是 多个处理单元。
在RAM 603中,存储有电子设备600操作所需的各种程序和数据。 处理器601、ROM602以及RAM 603通过总线604彼此相连。处理器601 通过执行ROM 602和/或RAM 603中的程序来执行根据本公开实施例的方 法流程的各种操作。需要注意,所述程序也可以存储在除ROM 602和RAM 603以外的一个或多个存储器中。处理器601也可以通过执行存储在所述 一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种 操作。
根据本公开的实施例,电子设备600还可以包括输入/输出(I/O)接 口605,输入/输出(I/O)接口605也连接至总线604。电子设备600还可 以包括连接至I/O接口605的以下部件中的一项或多项:包括键盘、鼠标 等的输入部分606;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等 以及扬声器等的输出部分607;包括硬盘等的存储部分608;以及包括诸 如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609 经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O 接口605。可拆卸介质611,诸如磁盘、光盘、磁光盘、半导体存储器等 等,根据需要安装在驱动器610上,以便于从其上读出的计算机程序根据 需要被安装入存储部分608。
本公开的实施例还提供了一种计算机可读存储介质,其上存储有可执 行指令,该指令被处理器执行时使处理器执行上述数据迁移方法。
本公开实施例的计算机可读存储介质可以是上述实施例中描述的设 备/装置/系统中所包含的;也可以是单独存在,而未装配入该设备/装置/ 系统中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个 或者多个程序被执行时,实现根据本公开实施例的方法。
根据本公开的实施例,计算机可读存储介质可以是非易失性的计算机 可读存储介质,例如可以包括但不限于:便携式计算机磁盘、硬盘、随机 访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器 (EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器 件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读 存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行 系统、装置或者器件使用或者与其结合使用。例如,根据本公开的实施例, 计算机可读存储介质可以包括上文描述的ROM 602和/或RAM 603和/或 ROM 602和RAM 603以外的一个或多个存储器。
本公开的实施例还提供了一种计算机程序产品,包括计算机程序,该 计算机程序被处理器执行时实现上述数据迁移方法。
本公开实施例的计算机程序产品包括计算机程序,该计算机程序包含 用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统 中运行时,该程序代码用于使计算机系统实现本公开实施例的上述方法。
在该计算机程序被处理器601执行时执行本公开实施例的系统/装置 中限定的上述功能。根据本公开的实施例,上文描述的系统、装置、模块、 单元等可以通过计算机程序模块来实现。
在一种实施例中,该计算机程序可以依托于光存储器件、磁存储器件 等有形存储介质。在另一种实施例中,该计算机程序也可以在网络介质上 以信号的形式进行传输、分发,并通过通信部分609被下载和安装,和/ 或从可拆卸介质611被安装。该计算机程序包含的程序代码可以用任何适 当的网络介质传输,包括但不限于:无线、有线等等,或者上述的任意合 适的组合。
在这样的实施例中,该计算机程序可以通过通信部分609从网络上被 下载和安装,和/或从可拆卸介质611被安装。在该计算机程序被处理器 601执行时,执行本公开实施例的系统中限定的上述功能。根据本公开的 实施例,上文描述的系统、设备、装置、模块、单元等可以通过计算机程 序模块来实现。
根据本公开的实施例,可以以一种或多种程序设计语言的任意组合来 编写用于执行本公开实施例提供的计算机程序的程序代码,具体地,可以 利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些 计算程序。程序设计语言包括但不限于诸如Java,C++,python,“C”语言 或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部 分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可 以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到 用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提 供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法 和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程 图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上 述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功 能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注 的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示 的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行, 这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以 及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的 基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解,本公开的各个实施例和/或权利要求中记载 的特征可以进行多种组合或/或结合,即使这样的组合或结合没有明确记载 于本公开中。特别地,在不脱离本公开精神和教导的情况下,本公开的各 个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有 这些组合和/或结合均落入本公开的范围。
以上对本公开的实施例进行了描述。但是,这些实施例仅仅是为了说 明的目的,而并非为了限制本公开的范围。尽管在以上分别描述了各实施 例,但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开 的范围由所附权利要求及其等同物限定。不脱离本公开的范围,本领域技 术人员可以做出多种替代和修改,这些替代和修改都应落在本公开的范围 之内。

Claims (13)

1.一种数据迁移方法,其中,包括:
将旧线服务器的待迁移数据同步至孤岛服务器,生成所述孤岛服务器的中间数据;
根据跨组件服务器的跨组件数据,对所述孤岛服务器的所述中间数据执行加工,生成所述孤岛服务器的目标新线数据;以及
将所述孤岛服务器的所述目标新线数据同步至新线服务器,实现所述数据迁移。
2.根据权利要求1所述的方法,其中,在所述将旧线服务器的待迁移数据同步至孤岛服务器,生成所述孤岛服务器的中间数据中,还包括:
将所述旧线服务器的待迁移数据转换为所述旧线服务器的第一数据文件;
对所述旧线服务器的所述第一数据文件执行载数加工,生成所述孤岛服务器的所述中间数据。
3.根据权利要求2所述的方法,其中,在所述对所述旧线服务器的所述第一数据文件执行载数加工,生成所述孤岛服务器的所述中间数据之后,还包括:
对所述孤岛服务器的所述中间数据执行第一技术检核,其中,所述第一技术检核包括数据量检核。
4.根据权利要求1所述的方法,其中,在所述根据跨组件服务器的跨组件数据,对所述孤岛服务器的所述中间数据执行加工,生成所述孤岛服务器的目标新线数据之前,还包括:
将所述跨组件服务器的跨组件数据同步至所述孤岛服务器,生成所述孤岛服务器的迁移映射数据;
对所述孤岛服务器的所述迁移映射数据执行第二技术检核,其中,所述第二技术检核包括数据量检核。
5.根据权利要求4所述的方法,其中,在所述将所述跨组件服务器的跨组件数据同步至所述孤岛服务器,生成所述孤岛服务器的迁移映射数据中,包括:
将所述跨组件服务器的所述跨组件数据转换为所述跨组件服务器的第二数据文件;
对所述跨组件服务器的所述第二数据文件执行载数加工,生成所述孤岛服务器的所述迁移映射数据。
6.根据权利要求4所述的方法,其中,在所述根据跨组件服务器的跨组件数据,对所述孤岛服务器的所述中间数据执行加工,生成所述孤岛服务器的目标新线数据中,包括:
根据与所述跨组件服务器的跨组件数据对应的所述孤岛服务器的迁移映射数据,对所述孤岛服务器的所述中间数据执行加工,生成所述孤岛服务器的目标新线数据;
对所述孤岛服务器的目标新线数据执行第三技术检核,其中,所述第三技术检核包括唯一检核、非空检核、代码检核以及外键检核。
7.根据权利要求1所述的方法,其中,在所述将所述孤岛服务器的所述目标新线数据同步至新线服务器,实现所述数据迁移中,包括:
将所述孤岛服务器的所述目标新线数据迁移至所述新线服务器,生成目标存量数据;
对所述新线服务器的目标存量数据依次执行第四技术检核、静态检核以及动态检核,其中,所述第四技术检核包括数据量检核。
8.根据权利要求7所述的方法,其中,在所述将所述孤岛服务器的所述目标新线数据同步至新线服务器,实现所述数据迁移的同时,还包括:
将所述孤岛服务器的所述目标新线数据同步至所述跨组件服务器,生成新线同步数据。
9.根据权利要求8所述的方法,其中,在所述将所述孤岛服务器的所述目标新线数据同步至所述跨组件服务器,生成新线同步数据中,包括:
对所述目标新线数据执行卸数加工,生成所述跨组件服务器的第三数据文件;
将所述第三数据文件转换为所述跨组件服务器的新线同步数据。
10.一种数据迁移装置,其中,包括:
旧线同步模块,用于将旧线服务器的待迁移数据同步至孤岛服务器,生成所述孤岛服务器的中间数据;
数据加工模块,用于根据跨组件服务器的跨组件数据,对所述孤岛服务器的所述中间数据执行加工,生成所述孤岛服务器的目标新线数据;以及
新线同步模块,用于将所述孤岛服务器的所述目标新线数据同步至新线服务器,实现所述数据迁移。
11.一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器执行根据权利要求1~9中任一项所述的方法。
12.一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器执行根据权利要求1~9中任一项所述的方法。
13.一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现根据权利要求1~9中任一项所述的方法。
CN202111489073.8A 2021-12-07 2021-12-07 数据迁移方法、装置、设备、介质及程序产品 Pending CN114116678A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111489073.8A CN114116678A (zh) 2021-12-07 2021-12-07 数据迁移方法、装置、设备、介质及程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111489073.8A CN114116678A (zh) 2021-12-07 2021-12-07 数据迁移方法、装置、设备、介质及程序产品

Publications (1)

Publication Number Publication Date
CN114116678A true CN114116678A (zh) 2022-03-01

Family

ID=80367378

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111489073.8A Pending CN114116678A (zh) 2021-12-07 2021-12-07 数据迁移方法、装置、设备、介质及程序产品

Country Status (1)

Country Link
CN (1) CN114116678A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115344565A (zh) * 2022-08-19 2022-11-15 中国建设银行股份有限公司 流量数据质量检核方法、装置、电子设备及存储介质
CN116431566A (zh) * 2023-06-09 2023-07-14 北京随信云链科技有限公司 数据迁移方法、装置、电子设备及介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115344565A (zh) * 2022-08-19 2022-11-15 中国建设银行股份有限公司 流量数据质量检核方法、装置、电子设备及存储介质
CN116431566A (zh) * 2023-06-09 2023-07-14 北京随信云链科技有限公司 数据迁移方法、装置、电子设备及介质
CN116431566B (zh) * 2023-06-09 2023-09-22 北京随信云链科技有限公司 数据迁移方法、装置、电子设备及介质

Similar Documents

Publication Publication Date Title
US10853338B2 (en) Universal data pipeline
US10102229B2 (en) Validating data integrations using a secondary data store
US9158782B2 (en) Cloud based master data management system with configuration advisor and method therefore
US9218387B2 (en) Cloud based master data management system and method therefor
US10540383B2 (en) Automatic ontology generation
KR101621137B1 (ko) 아파치 하둡을 위한 로우 레이턴시 쿼리 엔진
US9015106B2 (en) Cloud based master data management system and method therefor
US9606995B2 (en) Cloud based master data management system with remote data store and method therefor
CN104517181B (zh) 一种核电站企业内容管理系统及方法
CN114116678A (zh) 数据迁移方法、装置、设备、介质及程序产品
CN111966692A (zh) 针对数据仓库的数据处理方法、介质、装置和计算设备
CN114201718A (zh) 可动态配置的表单实例生成方法及装置
US20210263920A1 (en) Rapid importation of data including temporally tracked object recognition
US9632837B2 (en) Systems and methods for system consolidation
CN101339506A (zh) 一种实现软件产品资源与版本管理的装置
Ramuka Data analytics with Google Cloud platform
US11188228B1 (en) Graphing transaction operations for transaction compliance analysis
US20230177280A1 (en) Methods and systems for translating product or service information
US20210064637A1 (en) Systems and methods for comparing data across data sources and platforms
CN115203027A (zh) 基于数据集成模型的测试方法及装置
CN115934657A (zh) 微服务管理方法、装置、设备及存储介质
CN116303620A (zh) 基于轻型数据库的对账方法、系统、设备、介质及产品
CN117149259A (zh) 应用配置库创建方法、应用发布方法及装置、电子设备
CN116701204A (zh) 服务资源测试方法、装置、设备及存储介质
CN114461716A (zh) 数据加载方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination