CN113326247B - 云端数据的迁移方法、装置及电子设备 - Google Patents

Abstract

本公开涉及一种云端数据的迁移方法、装置、电子设备及计算机可读介质。该方法包括：实时获取本地业务数据库中待同步的数据表的二进制日志文件；将所述二进制日志文件同步至云端数据库中以生成日志表；由所述云端数据库中提取所述日志表和其对应的基础表；对所述日志表进行解析以生成数据同步脚本；基于所述数据同步脚本对所述基础表进行处理，以将本地业务数据库中的待同步的数据表同步到云端数据库中。本公开涉及的云端数据的迁移方法、装置、电子设备及计算机可读介质，能够在业务数据库中的数据导入和导出云端数据库的过程中，保证数据的一致性、及时性、准确性、提高工作效率。

Description

云端数据的迁移方法、装置及电子设备

技术领域

本公开涉及计算机信息处理领域，具体而言，涉及一种云端数据的迁移方法、装置、电子设备及计算机可读介质。

背景技术

ETL，Extraction-Transformation-Loading的缩写，即数据抽取(Extract)、转换(Transform)、装载(Load)的过程，ETL是构建数据仓库的重要环节，但其对象并不限于数据仓库。ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。ETL是BI(Business Intelligence，商业智能)项目重要的一个环节。通过ETL，可以基于源系统中的数据来生成数据仓库。ETL搭建了OLTP(on-line transaction processing，联机事务处理)系统和OLAP(On-Line Analytical Processing，联机分析处理)系统之间的桥梁，是数据从源系统流入数据仓库的通道。通常情况下，在BI项目中ETL会花掉整个项目的1/3的时间,ETL设计的好坏直接关接到BI项目的成败。

一般在大型公司中，数据仓库实例中ETL主要分为入口和出口俩个环节。入口环节：即将公司内部的业务库数据同步至第三方云存储器的环节，出口环节：数据在进入第三方云存储器之后经过DW(数据仓库)层生成应用层数据再导出到本地的报表数据库的过程。这两个环节中都涉及很多的数据操作，出错率很高。迫切需要一种新的云端数据的迁移方法、装置、电子设备及计算机可读介质。

在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

有鉴于此，本公开提供一种云端数据的迁移方法、装置、电子设备及计算机可读介质，能够在业务数据库中的数据导入和导出云端数据库的过程中，保证数据的一致性、及时性、准确性、提高工作效率。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一方面，提出一种云端数据的迁移方法，该方法包括：实时获取本地业务数据库中待同步的数据表的二进制日志文件；将所述二进制日志文件同步至云端数据库中以生成日志表；由所述云端数据库中提取所述日志表和其对应的基础表；对所述日志表进行解析以生成数据同步脚本；基于所述数据同步脚本对所述基础表进行处理，以将本地业务数据库中的待同步的数据表同步到云端数据库中。

可选地，还包括：确定待导出的数据表的标识；基于所述标识由本地报表数据库获取所述数据表的结构；基于所述数据表的结构生成数据导出脚本；基于所述数据导出脚本由所述云端数据库中提取所述标识对应数据表，以将其导出到本地报表数据库。

可选地，将所述二进制日志文件同步至云端数据库中以生成日志表，包括：由所述二进制文件中提取所述数据表的修改记录；由所述修改记录中提取递增标识、更新前数据、更新后数据、操作指令、修改时间以基于所述修改记录生成所述日志表。

可选地，由所述云端数据库中提取所述日志表和其对应的基础表，包括：由所述云端数据库中提取预设时间段内的所述日志表；提取所述日志表对应的基础表。

可选地，对所述日志表进行解析以生成数据同步脚本，包括：提取预设的同步脚本模板；将所述日志表中的递增标识、更新前数据、更新后数据、操作指令、修改时间对应的字段按照预设策略取出；将取出的数据填入到所述同步脚本模板中以生成所述数据同步脚本。

可选地，基于所述数据同步脚本对所述基础表进行处理，包括：基于所述数据同步脚本对所述基础表进行归并排序处理。

可选地，基于所述标识由本地报表数据库获取所述数据表的结构之前，还包括：基于所述标识确定所述待导出的数据表的存储位置；基于所述存储位置和同步状态监控表确定所述待导出的数据表是否处理完成；在所述待导出的数据表处理完成时，获取所述数据表的结构。

可选地，还包括：在所述待导出的数据表未处理完成时，定时进行检测，在预设时间内未处理完成时，生成警告信息。

可选地，基于所述数据导出脚本由所述云端数据库中提取所述标识对应数据表，以将其导出到本地报表数据库之后，还包括：在云端数据库中提取所述标识对应的第一数据表；在本地业务数据库提取所述标识对应的第二数据表；对所述第一数据表和所述第二数据表进行一致性校验；在校验成功后，生成数据导出信息。

可选地，还包括：在校验失败后，基于所述第一数据表和所述第二数据表生成数据量差异信息；基于所述数据量差异信息生成警告信息。

根据本公开的一方面，提出一种云端数据的迁移装置，该装置包括：日志模块，用于实时获取本地业务数据库中待同步的数据表的二进制日志文件；日志表模块，用于将所述二进制日志文件同步至云端数据库中以生成日志表；基础表模块，用于由所述云端数据库中提取所述日志表和其对应的基础表；解析模块，用于对所述日志表进行解析以生成数据同步脚本；同步模块，用于基于所述数据同步脚本对所述基础表进行处理，以将本地业务数据库中的待同步的数据表同步到云端数据库中。

可选地，还包括：标识模块，用于确定待导出的数据表的标识；结构模块，用于基于所述标识由本地报表数据库获取所述数据表的结构；导出脚本模块，用于基于所述数据表的结构生成数据导出脚本；导出模块，用于基于所述数据导出脚本由所述云端数据库中提取所述标识对应数据表，以将其导出到本地报表数据库。

可选地，所述日志表模块，包括：记录单元，用于由所述二进制文件中提取所述数据表的修改记录；生成单元，用于由所述修改记录中提取递增标识、更新前数据、更新后数据、操作指令、修改时间以基于所述修改记录生成所述日志表。

可选地，所述基础表模块，还用于由所述云端数据库中提取预设时间段内的所述日志表；提取所述日志表对应的基础表。

可选地，所述解析模块，还用于模板单元，用于提取预设的同步脚本模板；提取单元，用于将所述日志表中的递增标识、更新前数据、更新后数据、操作指令、修改时间对应的字段按照预设策略取出；填入单元，用于将取出的数据填入到所述同步脚本模板中以生成所述数据同步脚本。

可选地，所述同步模块，还用于基于所述数据同步脚本对所述基础表进行归并排序处理。

可选地，还包括：判断模块，用于基于所述标识确定所述待导出的数据表的存储位置；基于所述存储位置和同步状态监控表确定所述待导出的数据表是否处理完成；在所述待导出的数据表处理完成时，获取所述数据表的结构。

可选地，判断模块，还用于在所述待导出的数据表未处理完成时，定时进行检测，在预设时间内未处理完成时，生成警告信息。

可选地，还包括：校验模块，用于在云端数据库中提取所述标识对应的第一数据表；在本地业务数据库提取所述标识对应的第二数据表；对所述第一数据表和所述第二数据表进行一致性校验；在校验成功后，生成数据导出信息。

可选地，校验模块，还用于在校验失败后，基于所述第一数据表和所述第二数据表生成数据量差异信息；基于所述数据量差异信息生成警告信息。

根据本公开的一方面，提出一种电子设备，该电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上文的方法。

根据本公开的一方面，提出一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上文中的方法。

根据本公开的云端数据的迁移方法、装置、电子设备及计算机可读介质，实时获取本地业务数据库中待同步的数据表的二进制日志文件；将所述二进制日志文件同步至云端数据库中以生成日志表；由所述云端数据库中提取所述日志表和其对应的基础表；对所述日志表进行解析以生成数据同步脚本；基于所述数据同步脚本对所述基础表进行处理，以将本地业务数据库中的待同步的数据表同步到云端数据库中的方式，能够在业务数据库中的数据导入和导出云端数据库的过程中，保证数据的一致性、及时性、准确性、提高工作效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。

附图说明

通过参照附图详细描述其示例实施例，本公开的上述和其它目标、特征及优点将变得更加显而易见。下面描述的附图仅仅是本公开的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据一示例性实施例示出的一种云端数据的迁移方法及装置的系统框图。

图2是根据一示例性实施例示出的一种云端数据的迁移方法的流程图。

图3是根据另一示例性实施例示出的一种云端数据的迁移方法的流程图。

图4是根据另一示例性实施例示出的一种云端数据的迁移方法的流程图。

图5是根据一示例性实施例示出的一种云端数据的迁移装置的框图。

图6是根据另一示例性实施例示出的一种云端数据的迁移装置的框图。

图7是根据一示例性实施例示出的一种电子设备的框图。

图8是根据一示例性实施例示出的一种计算机可读介质的框图。

具体实施方式

现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本公开将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

应理解，虽然本文中可能使用术语第一、第二、第三等来描述各种组件，但这些组件不应受这些术语限制。这些术语乃用以区分一组件与另一组件。因此，下文论述的第一组件可称为第二组件而不偏离本公开概念的教示。如本文中所使用，术语“及/或”包括相关联的列出项目中的任一个及一或多者的所有组合。

本领域技术人员可以理解，附图只是示例实施例的示意图，附图中的模块或流程并不一定是实施本公开所必须的，因此不能用于限制本公开的保护范围。

本公开涉及的技术缩略语解释如下：

ETL(Extract-Transform-Load)，用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。

数据仓库：英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。

上游节点：在这里指某个任务的上游节点，即上游任务如未运行完成，该节点不运行。

下游节点：在这里指某个任务的下游节点，即该任务如未运行完成，该节点下游节点不运行。

Binlog：MySQL业务数据库的数据的增删改操作的日志(增：写一条日志；改：写俩条数据一条修改前，一条修改后；删：记录删除前的数据)。

MySQL：关系型数据库。

SQL：开发语言的一种。

Python：开发语言一种。

图1是根据一示例性实施例示出的一种云端数据的迁移方法及装置的系统框图。

如图1所示，系统架构10可以包括终端设备101、102、103，服务器104、数据仓库105、106、云端数据库107。网络用以在终端设备101、102、103和服务器104之间；服务器104、数据仓库105、106之间；数据仓库105、106、云端数据库107之间提供通信链路的介质。网络可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络与服务器104交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如金融服务类应用、购物类应用、网页浏览器应用、即时通信工具、邮箱客户端、社交平台软件等。终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器104可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的金融服务类网站提供支持的后台管理服务器。后台管理服务器可以对用户产生的业务数据进行分析等处理，并将处理结果同步至云端数据库107。

服务器104可例如实时获取数据仓库105(本地业务数据库)中待同步的数据表的二进制日志文件；服务器104可例如将所述二进制日志文件同步至云端数据库107中以生成日志表；服务器104可例如由所述云端数据库107中提取所述日志表和其对应的基础表；服务器104可例如对所述日志表进行解析以生成数据同步脚本；服务器104可例如基于所述数据同步脚本对所述基础表进行处理，以将数据仓库105中的待同步的数据表同步到云端数据库107中。

服务器104可例如确定待导出的数据表的标识；服务器104可例如基于所述标识由数据仓库106(本地报表数据库)获取所述数据表的结构；服务器104可例如基于所述数据表的结构生成数据导出脚本；服务器104可例如基于所述数据导出脚本由所述云端数据库107中提取所述标识对应数据表，以将其导出到数据仓库106中。

服务器104可以是一个实体的服务器，还可例如为多个服务器组成，需要说明的是，本公开实施例所提供的云端数据的迁移方法可以由服务器104执行，相应地，云端数据的迁移装置可以设置于服务器104中。

图2是根据一示例性实施例示出的一种云端数据的迁移方法的流程图。云端数据的迁移方法20至少包括步骤S202至S210。

如图2所示，在S202中，实时获取本地业务数据库中待同步的数据表的二进制日志文件。其中，二进制日志文件可为binlog文件。业务数据库中不同的数据表对应这不同的binlog文件，可设定数据表的提取顺序，依次获取本地业务数库的数据表的binlog文件已进行同步。

在S204中，将所述二进制日志文件同步至云端数据库中以生成日志表。包括：由所述二进制文件中提取所述数据表的修改记录；由所述修改记录中提取递增标识、更新前数据、更新后数据、操作指令、修改时间以基于所述修改记录生成所述日志表。

云端数据库中存在两种表：base表(初始化，静态)和log表(业务表的增删改操作会记录到其中)。base表的字段和业务库表的字段保持一致，log表用于记录业务表的增删改操作。

Log表中可记录：

record_id(log表中的递增ID)；

after_flag(更新后的数据为Y)；

before_flag(更新前的数据为Y)；

operation_flag(I：insert,U:update,D:delete)；

修改时间(modifytime_year，modifytime_month，modifytime_day，modifytime_hour)。

在S206中，由所述云端数据库中提取所述日志表和其对应的基础表。包括：由所述云端数据库中提取预设时间段内的所述日志表；提取所述日志表对应的基础表。

最初业务数据库的数据量级比较小，所以最初的开发人员开发的merge作业都是基于base表,log表取数然后写到数据库的表格中，随着数据量级的增加，有的表已经单表到达数千万，并且每次读取log表都是全表扫描，会极大的浪费资源，影响下游，所以可每次读取log表最近俩天的日志与(base)表做数据处理，这种方式极大的优化了数据处理任务，部分大任务从3小时缩短到5分钟。

在S208中，对所述日志表进行解析以生成数据同步脚本。包括：提取预设的同步脚本模板；将所述日志表中的递增标识、更新前数据、更新后数据、操作指令、修改时间对应的字段按照预设策略取出；将取出的数据填入到所述同步脚本模板中以生成所述数据同步脚本。

根据Log表中记录的格式和规律，生成关于数据仓库中数据处理命令的SQL的格式的模板，可以将原表中的字段看为一个代码块，其他的部分由于record_id等字段也是统一规范的，只需要将表中字段取出，然后放到指定的位置即可自动生成该表的数据处理命令的相关语句，无需人工开发。

在S210中，基于所述数据同步脚本对所述基础表进行处理，以将本地业务数据库中的待同步的数据表同步到云端数据库中。包括：基于所述数据同步脚本对所述基础表进行归并排序处理(merge)。

merge是建立在归并操作上的一种有效的排序算法。它将多个排序列表作为输入并生成单个列表作为输出，包含按排序顺序排列的输入列表的所有元素。

在上述操作完成后，还可将优化后的merge_sql打印。在将一个新表同步至云端数据库的时候，可先手动建立base表，并且进行初始化，在后续脚本语言调用中，首先会拿到表结构，然后建造真正意义的ods表，并且对表进行数据初始化插入，之后会将merge_sql按照规范的格式打印到控制台。

解决随着业务的日益增长，需要将更多表的binlog数据在云端数据库进行merge处理生成真正意义的操作型数据仓库数据，并且合并binlog对于分表的情况更为复杂，也更为消耗资源。根据本公开的云端数据的迁移方法，实时获取本地业务数据库中待同步的数据表的二进制日志文件；将所述二进制日志文件同步至云端数据库中以生成日志表；由所述云端数据库中提取所述日志表和其对应的基础表；对所述日志表进行解析以生成数据同步脚本；基于所述数据同步脚本对所述基础表进行处理，以将本地业务数据库中的待同步的数据表同步到云端数据库中的方式，能够在业务数据库中的数据导入和导出云端数据库的过程中，保证数据的一致性、及时性、准确性、提高工作效率，

根据本公开的云端数据的迁移方法，极大的减少了开发人员的工作量，减少工作量的同时也降低了出错率，使得ods层数据生成问题，另外优化了merge逻辑，对云端数据库中的资源的处理时效有了很大保障(在大约处理500个任务时，单个任务运行时间平均降低至原来百分之20)，避免了资源浪费也提前了数据产出时间。工作占用人力更少，出错率更低。

应清楚地理解，本公开描述了如何形成和使用特定示例，但本公开的原理不限于这些示例的任何细节。相反，基于本公开公开的内容的教导，这些原理能够应用于许多其它实施例。

图3是根据另一示例性实施例示出的一种云端数据的迁移方法的流程图。云端数据的迁移方法30至少包括步骤S302至S308。

如图3所示，在S302中，确定待导出的数据表的标识。

其中，还包括：基于所述标识确定所述待导出的数据表的存储位置；基于所述存储位置和同步状态监控表确定所述待导出的数据表是否处理完成；在所述待导出的数据表处理完成时，获取所述数据表的结构。可接收输入的表名，获取表名之后去指定MySQL中查看同步状态监控表中查找是不是已经生成了该表这一天的SUCCESS标识数据。如果没有生成则开始定时进行检测，超过预定时间还没有超时SUCCESS标识数据则发送报警邮件。

在S304中，基于所述标识由本地报表数据库获取所述数据表的结构。

在S306中，基于所述数据表的结构生成数据导出脚本。由表名从MySQL中获取了该表的表结构，按照表结构生成DataX所需最新的json文件。

在S308中，基于所述数据导出脚本由所述云端数据库中提取所述标识对应数据表，以将其导出到本地报表数据库。可通过DataX的方式同步，DataX将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，以及向目标端写入数据的Writer插件，DataX框架可以支持任意数据源类型的数据同步工作。同时DataX插件体系作为一套生态系统,每接入一套新数据源该新加入的数据源即可实现和现有的数据源互通。

在一个实施例中，还包括：在所述待导出的数据表未处理完成时，定时进行检测，在预设时间内未处理完成时，生成警告信息。同步完成后，开始数据一致性校验功能，分别在云端数据库与MySQL中查询该表的数据量，并对比，如果相等则整个流程处理完成，如果数据不一致则生成俩方数据量差异以及告警任务信息。

在一个实施例中，还包括：在云端数据库中提取所述标识对应的第一数据表；在本地业务数据库提取所述标识对应的第二数据表；对所述第一数据表和所述第二数据表进行一致性校验；在校验成功后，生成数据导出信息。

在一个实施例中，还包括：在校验失败后，基于所述第一数据表和所述第二数据表生成数据量差异信息；基于所述数据量差异信息生成警告信息。

在现有技术中，云端的数据导出到报表MySQL库是通过DataX的方式同步，最初的时候是通过人工去查表的字段，然后配置DataX所需的json，使用crontab调度，没有办法感知同步是否成功，以及云端该表是否已经按时生成，同步的时候有没有数据丢失。根据本公开的云端数据的迁移方法，完善了报表数据导出的流程，将数据同步开发工作从最初的开发DataXjson简化到工作人员输入表名即可，极大程度减少了开发人员的工作，并且在此基础完成了对同步任务状态监控，同步完成后的数据质量监控。确保数据的准确性，一致性，完整性。

图4是根据另一示例性实施例示出的一种云端数据的迁移方法的流程图。图4所示的流程40是对图3所示的流程的详细描述。

如图4所示，在S401中，云端数据生成完成。

在S402中，云端数据集成。

在S403中，检测数据是否处理完成。首先接收输入的表名，拿到表名之后去指定MySQL中查看同步状态监控表中查找是不是已经生成了该表这一天的SUCCESS标识数据。如果没有生成则开始3小时的每分钟检测，超时发送报警邮件。

在S404中，生成脚本文件。

在S405中，定时检测。

在S406中，同步是否成功。由表名从MySQL中获取了该表的表结构，按照表结构生成DataX所需最新的json文件。并且调用DataX脚本，同步该表的数据。如未成功则发送异常告警。

在S407中，数据是否一致。

在S408中，报警。同步完成后，开始数据一致性校验功能，分别在云端数据库与MySQL中查询该表的数据量，并对比，如果相等则整个流程处理完成，如果数据不一致则并将俩方数据量差异以及告警任务信息发送至责任人。

在S409中，完成。

本公开的云端数据的迁移方法中，数据导出的数据走向为从MaxCompute至odpsdata(外网MySQL)至insurance(内网MySQL),odpsMySQL相当于中间件打通了内网和外网，直接将数据通过DataX将MaxCompute中的数据拉取到hulk MySQL中，会使得数据导出环节优化，使得流程更短，数据安全性更高。

本领域技术人员可以理解实现上述实施例的全部或部分步骤被实现为由CPU执行的计算机程序。在该计算机程序被CPU执行时，执行本公开提供的上述方法所限定的上述功能。所述的程序可以存储于一种计算机可读存储介质中，该存储介质可以是只读存储器，磁盘或光盘等。

此外，需要注意的是，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。

图5是根据一示例性实施例示出的一种云端数据的迁移装置的框图。如图5所示，云端数据的迁移装置50包括：日志模块502，日志表模块504，基础表模块506，解析模块508，同步模块510。

日志模块502用于实时获取本地业务数据库中待同步的数据表的二进制日志文件；

日志表模块504用于将所述二进制日志文件同步至云端数据库中以生成日志表；所述日志表模块504包括：记录单元，用于由所述二进制文件中提取所述数据表的修改记录；生成单元，用于由所述修改记录中提取递增标识、更新前数据、更新后数据、操作指令、修改时间以基于所述修改记录生成所述日志表。

基础表模块506用于由所述云端数据库中提取所述日志表和其对应的基础表；所述基础表模块506还用于由所述云端数据库中提取预设时间段内的所述日志表；提取所述日志表对应的基础表。

解析模块508用于对所述日志表进行解析以生成数据同步脚本；所述解析模块508还包括：模板单元，用于提取预设的同步脚本模板；提取单元，用于将所述日志表中的递增标识、更新前数据、更新后数据、操作指令、修改时间对应的字段按照预设策略取出；填入单元，用于将取出的数据填入到所述同步脚本模板中以生成所述数据同步脚本。

同步模块510用于基于所述数据同步脚本对所述基础表进行处理，以将本地业务数据库中的待同步的数据表同步到云端数据库中。所述同步模块510还用于基于所述数据同步脚本对所述基础表进行归并排序处理。

图6是根据另一示例性实施例示出的一种云端数据的迁移装置的框图。如图6所示，云端数据的迁移装置60包括：标识模块602，结构模块604，导出脚本模块606，导出模块608，判断模块610，校验模块612。

标识模块602用于确定待导出的数据表的标识；

结构模块604用于基于所述标识由本地报表数据库获取所述数据表的结构；

导出脚本模块606用于基于所述数据表的结构生成数据导出脚本；

导出模块608用于基于所述数据导出脚本由所述云端数据库中提取所述标识对应数据表，以将其导出到本地报表数据库。

判断模块610用于基于所述标识确定所述待导出的数据表的存储位置；基于所述存储位置和同步状态监控表确定所述待导出的数据表是否处理完成；在所述待导出的数据表处理完成时，获取所述数据表的结构。

判断模块610还用于在所述待导出的数据表未处理完成时，定时进行检测，在预设时间内未处理完成时，生成警告信息。

校验模块612用于在云端数据库中提取所述标识对应的第一数据表；在本地业务数据库提取所述标识对应的第二数据表；对所述第一数据表和所述第二数据表进行一致性校验；在校验成功后，生成数据导出信息。

校验模块612还用于在校验失败后，基于所述第一数据表和所述第二数据表生成数据量差异信息；基于所述数据量差异信息生成警告信息。

根据本公开的云端数据的迁移装置，实时获取本地业务数据库中待同步的数据表的二进制日志文件；将所述二进制日志文件同步至云端数据库中以生成日志表；由所述云端数据库中提取所述日志表和其对应的基础表；对所述日志表进行解析以生成数据同步脚本；基于所述数据同步脚本对所述基础表进行处理，以将本地业务数据库中的待同步的数据表同步到云端数据库中的方式，能够在业务数据库中的数据导入和导出云端数据库的过程中，保证数据的一致性、及时性、准确性、提高工作效率。

图7是根据一示例性实施例示出的一种电子设备的框图。

下面参照图7来描述根据本公开的这种实施方式的电子设备700。图7显示的电子设备700仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图7所示，电子设备700以通用计算设备的形式表现。电子设备700的组件可以包括但不限于：至少一个处理单元710、至少一个存储单元720、连接不同系统组件(包括存储单元720和处理单元710)的总线730、显示单元740等。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元710执行，使得所述处理单元710执行本说明书中的根据本公开各种示例性实施方式的步骤。例如，所述处理单元710可以执行如图2，图3，图4中所示的步骤。

所述存储单元720可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)7201和/或高速缓存存储单元7202，还可以进一步包括只读存储单元(ROM)7203。

所述存储单元720还可以包括具有一组(至少一个)程序模块7205的程序/实用工具7204，这样的程序模块7205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线730可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备700也可以与一个或多个外部设备700’(例如键盘、指向设备、蓝牙设备等)通信，使得用户能与该电子设备700交互的设备通信，和/或该电子设备700能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口750进行。并且，电子设备700还可以通过网络适配器760与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器760可以通过总线730与电子设备700的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备700使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，如图8所示，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本公开实施方式的上述方法。

所述软件产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该计算机可读介质实现如下功能：实时获取本地业务数据库中待同步的数据表的二进制日志文件；将所述二进制日志文件同步至云端数据库中以生成日志表；由所述云端数据库中提取所述日志表和其对应的基础表；对所述日志表进行解析以生成数据同步脚本；基于所述数据同步脚本对所述基础表进行处理，以将本地业务数据库中的待同步的数据表同步到云端数据库中。

本领域技术人员可以理解上述各模块可以按照实施例的描述分布于装置中，也可以进行相应变化唯一不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施例的方法。

以上具体地示出和描述了本公开的示例性实施例。应可理解的是，本公开不限于这里描述的详细结构、设置方式或实现方法；相反，本公开意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。

Claims (20)

1.一种云端数据的迁移方法，其特征在于，包括：

实时获取本地业务数据库中待同步的数据表的二进制日志文件；

将所述二进制日志文件同步至云端数据库中以生成日志表，其中，日志表为log表；

由所述云端数据库中提取所述日志表和其对应的基础表，其中，基础表为base表；

提取预设的同步脚本模板；

将所述日志表中的递增标识、更新前数据、更新后数据、操作指令、修改时间对应的字段按照预设策略取出；

将取出的数据填入到所述同步脚本模板中以生成所述数据同步脚本；

基于所述数据同步脚本对所述基础表进行处理，以将本地业务数据库中的待同步的数据表同步到云端数据库中。

2.如权利要求1所述的迁移方法，其特征在于，还包括：

确定待导出的数据表的标识；

基于所述标识由本地报表数据库获取所述数据表的结构；

基于所述数据表的结构生成数据导出脚本；

基于所述数据导出脚本由所述云端数据库中提取所述标识对应数据表，以将其导出到本地报表数据库。

3.如权利要求1所述的迁移方法，其特征在于，将所述二进制日志文件同步至云端数据库中以生成日志表，包括：

由所述二进制文件中提取所述数据表的修改记录；

由所述修改记录中提取递增标识、更新前数据、更新后数据、操作指令、修改时间以基于所述修改记录生成所述日志表。

4.如权利要求1所述的迁移方法，其特征在于，由所述云端数据库中提取所述日志表和其对应的基础表，包括：

由所述云端数据库中提取预设时间段内的所述日志表；

提取所述日志表对应的基础表。

5.如权利要求1所述的迁移方法，其特征在于，基于所述数据同步脚本对所述基础表进行处理，包括：

基于所述数据同步脚本对所述基础表进行归并排序处理。

6.如权利要求2所述的迁移方法，其特征在于，基于所述标识由本地报表数据库获取所述数据表的结构之前，还包括：

基于所述标识确定所述待导出的数据表的存储位置；

基于所述存储位置和同步状态监控表确定所述待导出的数据表是否处理完成；

在所述待导出的数据表处理完成时，获取所述数据表的结构。

7.如权利要求6所述的迁移方法，其特征在于，还包括：

在所述待导出的数据表未处理完成时，定时进行检测，在预设时间内未处理完成时，生成警告信息。

8.如权利要求2所述的迁移方法，其特征在于，基于所述数据导出脚本由所述云端数据库中提取所述标识对应数据表，以将其导出到本地报表数据库之后，还包括：

在云端数据库中提取所述标识对应的第一数据表；

在本地业务数据库提取所述标识对应的第二数据表；

对所述第一数据表和所述第二数据表进行一致性校验；

在校验成功后，生成数据导出信息。

9.如权利要求8所述的迁移方法，其特征在于，还包括：

在校验失败后，基于所述第一数据表和所述第二数据表生成数据量差异信息；

基于所述数据量差异信息生成警告信息。

10.一种云端数据的迁移装置，其特征在于，包括：

日志模块，用于实时获取本地业务数据库中待同步的数据表的二进制日志文件；

日志表模块，用于将所述二进制日志文件同步至云端数据库中以生成日志表，其中，日志表为log表；

基础表模块，用于由所述云端数据库中提取所述日志表和其对应的基础表，其中，基础表为base表；

解析模块，用于提取预设的同步脚本模板；将所述日志表中的递增标识、更新前数据、更新后数据、操作指令、修改时间对应的字段按照预设策略取出；将取出的数据填入到所述同步脚本模板中以生成所述数据同步脚本；

同步模块，用于基于所述数据同步脚本对所述基础表进行处理，以将本地业务数据库中的待同步的数据表同步到云端数据库中。

11.如权利要求10所述的迁移装置，其特征在于，还包括：

标识模块，用于确定待导出的数据表的标识；

结构模块，用于基于所述标识由本地报表数据库获取所述数据表的结构；

导出脚本模块，用于基于所述数据表的结构生成数据导出脚本；

导出模块，用于基于所述数据导出脚本由所述云端数据库中提取所述标识对应数据表，以将其导出到本地报表数据库。

12.如权利要求10所述的迁移装置，其特征在于，所述日志表模块，包括：

记录单元，用于由所述二进制文件中提取所述数据表的修改记录；

生成单元，用于由所述修改记录中提取递增标识、更新前数据、更新后数据、操作指令、修改时间以基于所述修改记录生成所述日志表。

13.如权利要求10所述的迁移装置，其特征在于，所述基础表模块，还用于

由所述云端数据库中提取预设时间段内的所述日志表；提取所述日志表对应的基础表。

14.如权利要求10所述的迁移装置，其特征在于，所述同步模块，还用于

基于所述数据同步脚本对所述基础表进行归并排序处理。

15.如权利要求11所述的迁移装置，其特征在于，还包括：

判断模块，用于基于所述标识确定所述待导出的数据表的存储位置；基于所述存储位置和同步状态监控表确定所述待导出的数据表是否处理完成；在所述待导出的数据表处理完成时，获取所述数据表的结构。

16.如权利要求15所述的迁移装置，其特征在于，判断模块，还用于

在所述待导出的数据表未处理完成时，定时进行检测，在预设时间内未处理完成时，生成警告信息。

17.如权利要求11所述的迁移装置，其特征在于，还包括：

校验模块，用于在云端数据库中提取所述标识对应的第一数据表；在本地业务数据库提取所述标识对应的第二数据表；对所述第一数据表和所述第二数据表进行一致性校验；在校验成功后，生成数据导出信息。

18.如权利要求17所述的迁移装置，其特征在于，所述校验模块，还用于

在校验失败后，基于所述第一数据表和所述第二数据表生成数据量差异信息；基于所述数据量差异信息生成警告信息。

19.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的方法。

20.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-9中任一所述的方法。

Images