CN116627899A - 一种数据导出方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明实施例提供了一种数据导出方法、装置、电子设备及存储介质，通过接收所述快照元数据；当所述目标集群通过所述快照导出脚本参数导出所述待发送数据，且通过所述指定配置文件判定所述快照元数据不兼容时，基于所述指定配置文件从所述快照元数据中确定出可用快照元数据；导出所述可用快照元数据，以生成与所述可用快照元数据对应的目标待发送数据，从而实现了在元数据信息不兼容的情况下针对表数据进行快照迁移，提升了快照迁移的可用性。

Description

一种数据导出方法、装置、电子设备及存储介质

技术领域

本发明涉及数据导出技术领域，特别是涉及一种数据导出方法、一种数据导出装置、一种电子设备以及一种计算机可读存储介质。

背景技术

HBase是一种大数据领域常用的分布式的、面向列的开源数据库，在HBase表数据迁移时，通常采用Snapshot迁移，又称快照迁移，快照迁移具有简单、易操作、对生产集群影响小的优势，相当于将源集群表完全拷贝一份到目标集群中，但同时，也会给某些特殊场景下的表数据迁移带来一些问题，如在跨版本和跨平台场景下，因为HBase的版本、平台和自研特性等的差异，会导致表的元数据信息不兼容，从而表数据自源集群导出后，在目标集群中不可用的情况。

因此，如何进行针对表数据的快照迁移是本领域内技术人员需要克服的问题。

发明内容

本发明实施例是提供一种数据导出方法、装置、电子设备以及计算机可读存储介质，以解决元数据信息不兼容的情况下如何进行快照迁移的问题。

本发明实施例公开了一种数据导出方法，应用于目标集群，所述目标集群具有对应的初始集群，所述初始集群用于，确定待发送数据，以及针对所述待发送数据的快照导出脚本参数；基于所述快照导出脚本参数构建针对所述待发送数据的快照元数据；所述快照元数据包括针对用于表达所述目标集群和所述初始集群之间排他性的指定配置文件；向所述目标集群发送所述快照元数据，可以包括：

接收所述快照元数据；

当所述目标集群通过所述快照导出脚本参数导出所述待发送数据，且通过所述指定配置文件判定所述快照元数据不兼容时，基于所述指定配置文件从所述快照元数据中确定出可用快照元数据；

导出所述可用快照元数据，以生成与所述可用快照元数据对应的目标待发送数据。

可选地，所述快照导出脚本参数可以包括：针对所述待发送数据的表名信息和认证信息，以及针对所述目标集群的互联网协议地址信息和导出路径信息。

可选地，所述快照元数据具有对应的第一快照表，所述基于所述指定配置文件从所述快照元数据中确定出可用快照元数据的步骤可以包括：

采用所述指定配置文件和所述第一快照表构建针对所述可用快照元数据的第二快照表；

基于所述第二快照表从所述快照元数据中确定出可用快照元数据。

可选地，还可以包括：

基于所述导出路径信息确定针对所述快照元数据的目录层级；

将所述可用快照元数据保存于所述目录层级。

可选地，所述初始集群和所述目标集群为分布式数据库HBase，所述快照元数据包括数据显示文件，还可以包括：

当所述目标集群通过所述快照导出脚本参数导出所述待发送数据，且通过所述指定配置文件判定所述快照元数据兼容时，读取所述数据显示文件；所述数据显示文件包括区域信息region，和，针对所述待发送数据的底层数据单元文件信息HFile；

基于所述区域信息region和所述底层数据单元文件信息HFile导出所述待发送数据。

本发明实施例还公开了一种数据导出方法，应用于初始集群，所述初始集群具有对应的目标集群，可以包括：

确定待发送数据，以及针对所述待发送数据的快照导出脚本参数；

基于所述快照导出脚本参数构建针对所述待发送数据的快照元数据；所述快照元数据包括针对用于表达所述目标集群和所述初始集群之间排他性的指定配置文件；

向所述目标集群发送所述快照元数据，所述目标集群用于接收所述快照元数据；当所述目标集群通过所述快照导出脚本参数导出所述待发送数据，且通过所述指定配置文件判定所述快照元数据不兼容时，基于所述指定配置文件从所述快照元数据中确定出可用快照元数据；导出所述可用快照元数据，以生成与所述可用快照元数据对应的目标待发送数据。

本发明实施例还公开了一种数据导出装置，应用于目标集群，所述目标集群具有对应的初始集群，所述初始集群用于，确定待发送数据，以及针对所述待发送数据的快照导出脚本参数；基于所述快照导出脚本参数构建针对所述待发送数据的快照元数据；所述快照元数据包括针对用于表达所述目标集群和所述初始集群之间排他性的指定配置文件；向所述目标集群发送所述快照元数据，可以包括：

快照元数据接收模块，用于接收所述快照元数据；

可用快照元数据确定模块，用于当所述目标集群通过所述快照导出脚本参数导出所述待发送数据，且通过所述指定配置文件判定所述快照元数据不兼容时，基于所述指定配置文件从所述快照元数据中确定出可用快照元数据；

可用快照元数据导出模块，用于导出所述可用快照元数据，以生成与所述可用快照元数据对应的目标待发送数据。

可选地，所述快照导出脚本参数可以包括：针对所述待发送数据的表名信息和认证信息，以及针对所述目标集群的互联网协议地址信息和导出路径信息。

可选地，所述快照元数据具有对应的第一快照表，所述可用快照元数据确定模块可以包括：

第二快照表构建子模块，用于采用所述指定配置文件和所述第一快照表构建针对所述可用快照元数据的第二快照表；

可用快照元数据确定子模块，用于基于所述第二快照表从所述快照元数据中确定出可用快照元数据。

可选地，还可以包括：

目录层级确定模块，用于基于所述导出路径信息确定针对所述快照元数据的目录层级；

可用快照元数据保存模块，用于将所述可用快照元数据保存于所述目录层级。

可选地，所述初始集群和所述目标集群为分布式数据库HBase，所述快照元数据包括数据显示文件，还可以包括：

数据显示文件读取模块，用于当所述目标集群通过所述快照导出脚本参数导出所述待发送数据，且通过所述指定配置文件判定所述快照元数据兼容时，读取所述数据显示文件；所述数据显示文件包括区域信息region，和，针对所述待发送数据的底层数据单元文件信息HFile；

待发送数据导出模块，用于基于所述区域信息region和所述底层数据单元文件信息HFile导出所述待发送数据。

本发明实施例还公开了一种数据导出装置，应用于初始集群，所述初始集群具有对应的目标集群，可以包括：

待发送数据确定模块，用于确定待发送数据，以及针对所述待发送数据的快照导出脚本参数；

快照元数据构建模块，用于基于所述快照导出脚本参数构建针对所述待发送数据的快照元数据；所述快照元数据包括针对用于表达所述目标集群和所述初始集群之间排他性的指定配置文件；

快照元数据发送模块，用于向所述目标集群发送所述快照元数据，所述目标集群用于接收所述快照元数据；当所述目标集群通过所述快照导出脚本参数导出所述待发送数据，且通过所述指定配置文件判定所述快照元数据不兼容时，基于所述指定配置文件从所述快照元数据中确定出可用快照元数据；导出所述可用快照元数据，以生成与所述可用快照元数据对应的目标待发送数据。

本发明实施例还公开了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口以及所述存储器通过所述通信总线完成相互间的通信；

所述存储器，用于存放计算机程序；

所述处理器，用于执行存储器上所存放的程序时，实现如本发明实施例所述的方法。

本发明实施例还公开了一种计算机可读存储介质，其上存储有指令，当由一个或多个处理器执行时，使得所述处理器执行如本发明实施例所述的方法。

本发明实施例包括以下优点：

本发明实施例，通过接收所述快照元数据；当所述目标集群通过所述快照导出脚本参数导出所述待发送数据，且通过所述指定配置文件判定所述快照元数据不兼容时，基于所述指定配置文件从所述快照元数据中确定出可用快照元数据；导出所述可用快照元数据，以生成与所述可用快照元数据对应的目标待发送数据，从而实现了在元数据信息不兼容的情况下针对表数据进行快照迁移，提升了快照迁移的可用性。

附图说明

图1是本发明实施例一中提供的一种数据导出方法的步骤流程图；

图2是本发明实施例中提供的一种特殊场景下HBase跨集群迁移方案示意图；

图3是本发明实施例中提供的一种快照兼容解析模块示意图；

图4是本发明实施例二中提供的一种数据导出方法的步骤流程图；

图5是本发明实施例三中提供的一种数据导出装置的结构框图；

图6是本发明实施例四中提供的一种数据导出装置的结构框图；

图7是本发明各实施例中提供的一种电子设备的硬件结构框图；

图8是本发明实施例中提供的一种计算机可读介质的示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

HBase是一个分布式的、面向列的开源数据库，HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库，并且，HBase基于列的而不是基于行的模式，在HBase又包含数据库表，并且以表为组织单位存储数据，其中，表数据即是根据表字段所规定的数据类型，在HBase当中，针对表数据进行数据迁移时，通常会采用Snapshot迁移，又称快照迁移，是HBase表数据迁移时最常用的方案，包含表的元数据信息和实际数据文件2部分，当采用快照迁移进行HBase跨集群数据迁移时，新、旧集群表会因为存储策略，和/或，模式不兼容等原因，导致无法使用快照迁移，或者使用快照迁移后，表的元数据信息不兼容，从而源集群导出后，在目标集群中不可用的情况，本发明实施例提供一种数据导出方法，结合快照导出脚本参数和指定配置文件从快照元数据中确定出可用快照元数据，从而提高了当元数据信息不兼容时表数据快照迁移的可用性。

实施例一

参照图1，示出了本发明实施例一中提供的一种数据导出方法的步骤流程图，具体可以包括如下步骤：

步骤101，接收所述快照元数据；

步骤102，当所述目标集群通过所述快照导出脚本参数导出所述待发送数据，且通过所述指定配置文件判定所述快照元数据不兼容时，基于所述指定配置文件从所述快照元数据中确定出可用快照元数据；

步骤103，导出所述可用快照元数据，以生成与所述可用快照元数据对应的目标待发送数据。

在实际应用中，本发明实施例可以应用于目标集群，目标集群可以具有对应的初始集群，初始集群可以用于，确定待发送数据，以及针对待发送数据的快照导出脚本参数；基于快照导出脚本参数构建针对待发送数据的快照元数据；快照元数据可以包括针对用于表达目标集群和初始集群之间排他性的指定配置文件；向目标集群发送快照元数据，示例性地，目标集群可以是目标HBase集群，目标HBase集群对应的初始集群可以是源HBase集群，源HBase集群可以用于确定待发送数据和针对待发送数据的导出脚本参数，例如，待发送数据可以是源HBase集群中的原始元数据，导出脚本参数可以是“表名、认证信息、目标集群互联网协议地址、目标导出路径”，当导出脚本参数为“表名、认证信息、目标集群互联网协议地址、目标导出路径”时，可以基于“表名、认证信息、目标集群互联网协议地址、目标导出路径”和待发送数据创建快照，将快照作为快照元数据，快照元数据可以包括针对用于表达目标HBase集群和源HBase集群之间排他性的指定配置文件，例如：由“厂商、版本、自研特性”等信息组成的配置文件。

在具体实现中，本发明实施例的目标集群可以用于接收快照元数据，并在目标集群通过快照导出脚本参数导出待发送数据，且通过指定配置文件判定快照元数据不兼容时，基于指定配置文件从快照元数据中确定出可用快照元数据；导出可用快照元数据，以生成与可用快照元数据对应的目标待发送数据，示例性地，当目标集群为目标HBase集群，快照元数据为基于导出脚本参数“表名、认证信息、目标集群互联网协议地址、目标导出路径”而构建的快照元数据，指定配置文件为“厂商、版本、自研特性”时，目标HBase集群可以接收快照元数据，当目标HBase集群通过导出脚本参数“表名、认证信息、目标集群互联网协议地址、目标导出路径”导出待发送数据，且通过指定配置文件“厂商、版本、自研特性”判定快照元数据不兼容时，则可以基于配置文件“厂商、版本、自研特性”从快照元数据中选出和目标HBase集群兼容的元数据作为可用快照元数据，然后，可以导出可用快照元数据，用以生成与可用快照元数据对应的目标待发送数据。

当然，上述仅作为示例，本领域技术人员可以采用包括但不限于厂商、版本、自研特性的参数指标作为判定快照元数据兼容性的依据，对此，本发明实施例不作限制。

本发明实施例，通过接收所述快照元数据；当所述目标集群通过所述快照导出脚本参数导出所述待发送数据，且通过所述指定配置文件判定所述快照元数据不兼容时，基于所述指定配置文件从所述快照元数据中确定出可用快照元数据；导出所述可用快照元数据，以生成与所述可用快照元数据对应的目标待发送数据，从而实现了在元数据信息不兼容的情况下针对表数据进行快照迁移，提升了快照迁移的可用性。

在上述实施例的基础上，提出了上述实施例的变型实施例，在此需要说明的是，为了使描述简要，在变型实施例中仅描述与上述实施例的不同之处。

在本发明的一个可选地实施例中，所述快照导出脚本参数包括：针对所述待发送数据的表名信息和认证信息，以及针对所述目标集群的互联网协议地址信息和导出路径信息。

在实际应用中，基于认证信息可以确保信息的保密性、可靠性和准确性，实现防窃听和防篡改的目的。

在具体实现中，本发明实施例中的快照导出脚本参数可以包括针对待发送数据的表名信息和认证信息，以及针对目标集群的互联网协议地址信息和导出路径信息，示例性地，当初始集群为源HBase集群，目标集群为目标HBase集群，待发送数据为初始集群源HBase集群中的原始元数据时，则快照导出脚本参数可以是针对原始元数据的表名信息和认证信息，以及针对目标HBase集群的IP地址和目标导出路径，其中，IP地址可以作为互联网协议地址信息，目标导出路径可以作为导出路径信息。

本发明实施例通过使快照导出脚本参数包括：针对所述待发送数据的表名信息和认证信息，以及针对所述目标集群的互联网协议地址信息和导出路径信息，从而实现了提高表数据迁移的安全性和准确性，同时，导出路径信息也为后续的表数据迁移流程中将可用快照元数据保存于目录层级这一步骤创造了可实现的条件。

在本发明的一个可选地实施例中，所述快照元数据具有对应的第一快照表，所述基于所述指定配置文件从所述快照元数据中确定出可用快照元数据的步骤包括：

采用所述指定配置文件和所述第一快照表构建针对所述可用快照元数据的第二快照表；

基于所述第二快照表从所述快照元数据中确定出可用快照元数据。

在具体实现中，快照元数据可以具有对应的第一快照表，快照元数据对应的快照表可以为第一快照表，本发明实施例可以采用指定配置文件和第一快照表构建针对可用快照元数据的第二快照表；基于第二快照表从快照元数据中确定出可用快照元数据，示例性地，当第一快照表为“快照表”，指定配置文件为“厂商、版本、自研特性”，则可以采用“厂商、版本、自研特性”和第一快照表“快照表”构建针对可用快照元数据的第二快照表，具体地，可以在初始集群为源HBase集群，目标集群为目标HBase集群时，读取配置文件“厂商、版本、自研特性”，分析对比源HBase集群与目标HBase集群的厂商、版本和自研特性等排他性差异后，可以从第一快照表“快照表”中剔除具有排他性差异的配置，并转换为目标集群同等效果的配置，生成“快照表_new”作为第二快照表。然后基于第二快照表“快照表_new”，可以从快照元数据确定出可用快照元数据。

本发明实施例通过采用所述指定配置文件和所述第一快照表构建针对所述可用快照元数据的第二快照表；基于所述第二快照表从所述快照元数据中确定出可用快照元数据，通过剔除排他性差异配置，并转换为目标集群同等效果的配置，从而实现了最大程度保留源表的参数配置。

在本发明的一个可选地实施例中，还包括：

基于所述导出路径信息确定针对所述快照元数据的目录层级；

将所述可用快照元数据保存于所述目录层级。

在具体实现中，本发明实施例可以基于导出路径信息确定针对快照元数据的目录层级；将可用快照元数据保存于目录层级，示例性地，当初始集群为源HBase集群，目标集群为目标HBase集群，导出路径信息为目标导出路径，第一快照表为“快照表”，配置文件为“厂商、版本、自研特性”时，可以读取配置文件“厂商、版本、自研特性”，分析对比源HBase集群与目标HBase集群的厂商、版本和自研特性等排他性差异后，可以从第一快照表“快照表”中剔除具有排他性差异的配置，并转换为目标集群同等效果的配置，生成“快照表_new”作为第二快照表，然后基于第二快照表“快照表_new”从快照元数据确定出可用快照元数据，可以基于目标导出路径确定针对快照元数的目录层级，将基于第二快照表“快照表_new”从快照元数据中确定出可用快照元数据，并保存于目录层级中。

本发明实施例基于所述导出路径信息确定针对所述快照元数据的目录层级；将所述可用快照元数据保存于所述目录层级。从而实现了避免快照无法恢复，和/或，恢复导致目标集群挂掉等严重问题。

在本发明的一个可选地实施例中，所述初始集群和所述目标集群为分布式数据库HBase，所述快照元数据包括数据显示文件，还包括：

当所述目标集群通过所述快照导出脚本参数导出所述待发送数据，且通过所述指定配置文件判定所述快照元数据兼容时，读取所述数据显示文件；所述数据显示文件包括区域信息region，和，针对所述待发送数据的底层数据单元文件信息HFile；

基于所述区域信息region和所述底层数据单元文件信息HFile导出所述待发送数据。

在实际应用中，由于Hbase是分布式的有很多的节点，因此一大个Hbase的表格一个节点是存不下的，所以Hbase的表格将会以行进行拆分后存放到各个节点中，拆分的部分就叫做Region，又称区域，Region是HBase中分布式存储和负载均衡的最小单元，即不同的Region可以分别在不同的Region Server(区域服务器)上，HFile是HBase存储数据的文件组织形式，在HDFS(Hadoop Distributed File System，又称Hadoop分布式文件系统)表现为一个个的HFile文件，HFile是HBase中KeyValue数据(又称键值数据)的存储格式，是二进制格式文件。

在具体实现中，本发明实施例中初始集群和目标集群可以为分布式数据库HBase，本发明实施例可以在目标集群通过快照导出脚本参数导出待发送数据，且通过指定配置文件判定快照元数据兼容时，读取数据显示文件；数据显示文件包括区域信息region，和，针对待发送数据的底层数据单元文件信息HFile；基于区域信息region和底层数据单元文件信息HFile导出待发送数据，示例性地，当目标集群为目标HBase集群，待发送数据为初始集群源HBase集群中的原始元数据，快照导出脚本参数为针对原始元数据的表名信息和认证信息，指定配置文件为“厂商、版本、自研特性”时，当目标HBase集群通过快照导出脚本参数“针对原始元数据的表名信息和认证信息”导出待发送数据，且通过指定配置文件“厂商、版本、自研特性”判定快照元数据兼容时，可以基于现有的快照元数据文件中“.snapshotinfo/data.manifest”文件读取数据显示文件，记作“data.manifest”，其中，数据显示文件“data.manifest”包括区域信息region，记作“region信息”，和，针对待发送数据的底层数据单元文件信息HFile，记作“HFile文件信息”，基于“region信息”和“HFile文件信息”，将导出的HFile数据文件批量导入到指定表的region中，实现导出待发送数据。

本发明实施例，通过当所述目标集群通过所述快照导出脚本参数导出所述待发送数据，且通过所述指定配置文件判定所述快照元数据兼容时，读取所述数据显示文件；所述数据显示文件包括区域信息region，和，针对所述待发送数据的底层数据单元文件信息HFile；基于所述区域信息region和所述底层数据单元文件信息HFile导出所述待发送数据，从而实现了将导出的数据文件批量导入到表中，完成表的跨集群迁移，提高了快照迁移的效率。

为使本领域技术人员更好地理解本发明实施例，以下用一完整示例对本发明实施例进行说明。

参照图2，图2示出了本发明实施例一中提供的一种特殊场景下HBase跨集群迁移方案示意图；

快照迁移作为HBase数据跨集群迁移的常见方案，以其简单、易操作、对生产集群影响小的优势，作为首选迁移方案。该方案相当于将源集群表完全拷贝一份到目标集群中。但这也给某些特殊场景下的迁移带来困难，如跨版本、跨平台等。这些场景下，因HBase的版本、平台自研特性等，导致表的元数据信息不兼容，从而源集群导出后，在目标集群不可用的情况。

快照导出模块用于执行：

S1.构建对源HBase集群和目标HBase集群通用的脚本，通过执行hbase shell命令及快照导出命令，实现源HBase集群指定表的快照创建、快照导出命令。快照导出时，可灵活配置参数，实现迁移速度、并发度的控制。

具体地，可以包括：

S11.shell脚本配置必须的表名、认证信息、目标集群ip地址、目标导出路径后，执行该脚本

S12.首先，脚本会后台调用hbase shell，执行创建快照操作

S13.其次，根据配置的目标集群ip、目标导出路径，将表数据导出到目标集群指定目录下。

参照图3，图3示出了本发明实施例一中提供的一种快照兼容解析模块示意图：

快照兼容解析模块用于执行：

S2.通过该模块，解析导出快照的元数据文件，分析对比源集群、目标集群的版本、自研特性等排它性差异，最终判断是否兼容，如不兼容，则自动导出目标集群可用的元数据，放在同级目录下。避免快照无法恢复、恢复导致目标集群挂掉等严重问题。

具体地，可以包括：

S21.在指定配置文件中，配置源HBase集群的厂商/平台名，如platform＝A；版本version＝1.3.1；自研特性如二级索引tableIndexEnabled＝true等；

S22.执行快照解析工具包，读取配置文件，分析对比源集群、目标集群的版本、自研特性等排它性差异，输出分析结果：快照元数据是否可用(true/false)。如不可用，则自动导出目标集群可用的元数据，放在同级目录下。避免快照无法恢复、恢复导致目标集群挂掉等严重问题。解析过程中，仅处理排他性配置，并转换为目标集群同等效果的配置，最大程度保留源表的参数配置。

快照恢复模块用于执行：

S3.对HBase恢复快照逻辑进行改造，在恢复快照前，先读取快照元数据兼容性与否，如兼容，则按照正常流程处理；如不兼容，则读取S2导出的元数据文件，完成在目标集群恢复表的操作。并将导出的数据文件批量导入到表中，完成表的跨集群迁移。

具体地，可以包括：

S31.首先读取兼容性分析结果，判断原快照元数据是否可用，如可用，则执行S33；

S32.如不可用，则加载处理后快照表元数据文件；

S33.基于现有的快照元数据文件中.snapshotinfo/data.manifest文件，首先在目标集群恢复表。然后根据data.manifest文件中记录的region信息/HFile文件信息，将导出的HFile数据文件批量导入到指定表的region中，完成表的跨集群迁移。

通过上述方式实现在跨集群快照迁移HBase时，防止因厂商/平台版本/自研特性等导致无法快照迁移的问题。通过快照兼容解析功能，将导出快照中元数据文件进行解析，剔除排他性参数配置，并转换为目标集群同等效果的配置，最大程度保留源表的参数配置，并最终将数据文件批量导入到表中。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

实施例二

参照图4，示出了本发明实施例二中提供的一种数据导出方法的步骤流程图，具体可以包括如下步骤：

步骤401，确定待发送数据，以及针对所述待发送数据的快照导出脚本参数；

步骤402，基于所述快照导出脚本参数构建针对所述待发送数据的快照元数据；

步骤403，向所述目标集群发送所述快照元数据。

在具体实现中，本发明实施例可以应用于初始集群，初始集群可以用于确定待发送数据，以及针对待发送数据的快照导出脚本参数；基于快照导出脚本参数构建针对待发送数据的快照元数据；快照元数据包括针对用于表达目标集群和初始集群之间排他性的指定配置文件；向目标集群发送快照元数据吗，本发明实施例中，快照元数据可以包括针对用于表达目标集群和初始集群之间排他性的指定配置文件，目标集群可以用于接收快照元数据；当目标集群通过快照导出脚本参数导出待发送数据，且通过指定配置文件判定快照元数据不兼容时，基于指定配置文件从快照元数据中确定出可用快照元数据；导出可用快照元数据，以生成与可用快照元数据对应的目标待发送数据。

对于实施例二而言，由于其与实施例一基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

实施例三

参照图5，示出了本发明实施例三中提供的一种数据导出装置的结构框图，具体可以包括如下模块：

快照元数据接收模块501，用于接收所述快照元数据；

可用快照元数据确定模块502，用于当所述目标集群通过所述快照导出脚本参数导出所述待发送数据，且通过所述指定配置文件判定所述快照元数据不兼容时，基于所述指定配置文件从所述快照元数据中确定出可用快照元数据；

可用快照元数据导出模块503，用于导出所述可用快照元数据，以生成与所述可用快照元数据对应的目标待发送数据。

可选地，所述快照导出脚本参数可以包括：针对所述待发送数据的表名信息和认证信息，以及针对所述目标集群的互联网协议地址信息和导出路径信息。

可选地，所述快照元数据具有对应的第一快照表，所述可用快照元数据确定模块可以包括：

第二快照表构建子模块，用于采用所述指定配置文件和所述第一快照表构建针对所述可用快照元数据的第二快照表；

可用快照元数据确定子模块，用于基于所述第二快照表从所述快照元数据中确定出可用快照元数据。

可选地，还可以包括：

目录层级确定模块，用于基于所述导出路径信息确定针对所述快照元数据的目录层级；

可用快照元数据保存模块，用于将所述可用快照元数据保存于所述目录层级。

可选地，所述初始集群和所述目标集群为分布式数据库HBase，所述快照元数据包括数据显示文件，还可以包括：

数据显示文件读取模块，用于当所述目标集群通过所述快照导出脚本参数导出所述待发送数据，且通过所述指定配置文件判定所述快照元数据兼容时，读取所述数据显示文件；所述数据显示文件包括区域信息region，和，针对所述待发送数据的底层数据单元文件信息HFile；

待发送数据导出模块，用于基于所述区域信息region和所述底层数据单元文件信息HFile导出所述待发送数据。

实施例四

参照图6，示出了本发明实施例四中提供的一种数据导出装置的结构框图，具体可以包括如下模块：

待发送数据确定模块601，用于确定待发送数据，以及针对所述待发送数据的快照导出脚本参数；

快照元数据构建模块602，用于基于所述快照导出脚本参数构建针对所述待发送数据的快照元数据；所述快照元数据包括针对用于表达所述目标集群和所述初始集群之间排他性的指定配置文件；

快照元数据发送模块603，用于向所述目标集群发送所述快照元数据，所述目标集群用于接收所述快照元数据；当所述目标集群通过所述快照导出脚本参数导出所述待发送数据，且通过所述指定配置文件判定所述快照元数据不兼容时，基于所述指定配置文件从所述快照元数据中确定出可用快照元数据；导出所述可用快照元数据，以生成与所述可用快照元数据对应的目标待发送数据。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

另外，本发明实施例还提供了一种电子设备，包括：处理器，存储器，存储在存储器上并可在处理器上运行的计算机程序，该计算机程序被处理器执行时实现上述数据导出方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述数据导出方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。

图7为实现本发明各个实施例的一种电子设备的硬件结构示意图。

该电子设备700包括但不限于：射频单元701、网络模块702、音频输出单元703、输入单元704、传感器705、显示单元706、用户输入单元707、接口单元708、存储器709、处理器710、以及电源711等部件。本领域技术人员可以理解，图7中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。在本发明实施例中，电子设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。

应理解的是，本发明实施例中，射频单元701可用于收发信息或通话过程中，信号的接收和发送，具体的，将来自基站的下行数据接收后，给处理器710处理；另外，将上行的数据发送给基站。通常，射频单元701包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元701还可以通过无线通信系统与网络和其他设备通信。

电子设备通过网络模块702为用户提供了无线的宽带互联网访问，如帮助用户收发电子邮件、浏览网页和访问流式媒体等。

音频输出单元703可以将射频单元701或网络模块702接收的或者在存储器709中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元703还可以提供与电子设备700执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元703包括扬声器、蜂鸣器以及受话器等。

输入单元704用于接收音频或视频信号。输入单元704可以包括图形处理器(Graphics Processing Unit，GPU)7041和麦克风7042，图形处理器7041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元706上。经图形处理器7041处理后的图像帧可以存储在存储器709(或其它存储介质)中或者经由射频单元701或网络模块702进行发送。麦克风7042可以接收声音，并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元701发送到移动通信基站的格式输出。

电子设备700还包括至少一种传感器705，比如光传感器、运动传感器以及其他传感器。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板7061的亮度，接近传感器可在电子设备700移动到耳边时，关闭显示面板7061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别电子设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；传感器705还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等，在此不再赘述。

显示单元706用于显示由用户输入的信息或提供给用户的信息。显示单元706可包括显示面板7061，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板7061。

用户输入单元707可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元707包括触控面板7071以及其他输入设备7072。触控面板7071，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板7071上或在触控面板7071附近的操作)。触控面板7071可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器710，接收处理器710发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板7071。除了触控面板7071，用户输入单元707还可以包括其他输入设备7072。具体地，其他输入设备7072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

进一步的，触控面板7071可覆盖在显示面板7061上，当触控面板7071检测到在其上或附近的触摸操作后，传送给处理器710以确定触摸事件的类型，随后处理器710根据触摸事件的类型在显示面板7061上提供相应的视觉输出。虽然在图7中，触控面板7071与显示面板7061是作为两个独立的部件来实现电子设备的输入和输出功能，但是在某些实施例中，可以将触控面板7071与显示面板7061集成而实现电子设备的输入和输出功能，具体此处不做限定。

接口单元708为外部装置与电子设备700连接的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元708可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到电子设备700内的一个或多个元件或者可以用于在电子设备700和外部装置之间传输数据。

存储器709可用于存储软件程序以及各种数据。存储器709可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器709可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器710是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器709内的软件程序和/或模块，以及调用存储在存储器709内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。处理器710可包括一个或多个处理单元；优选的，处理器710可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器710中。

电子设备700还可以包括给各个部件供电的电源711(比如电池)，优选的，电源711可以通过电源管理系统与处理器710逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

另外，电子设备700包括一些未示出的功能模块，在此不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

如图8所示，在本发明提供的又一实施例中，还提供了一种计算机可读存储介质801，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中所述的一种数据导出方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。

本领域普通技术人员可以意识到，结合本发明实施例中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种数据导出方法，其特征在于，应用于目标集群，所述目标集群具有对应的初始集群，所述初始集群用于，确定待发送数据，以及针对所述待发送数据的快照导出脚本参数；基于所述快照导出脚本参数构建针对所述待发送数据的快照元数据；所述快照元数据包括针对用于表达所述目标集群和所述初始集群之间排他性的指定配置文件；向所述目标集群发送所述快照元数据，包括：

接收所述快照元数据；

当所述目标集群通过所述快照导出脚本参数导出所述待发送数据，且通过所述指定配置文件判定所述快照元数据不兼容时，基于所述指定配置文件从所述快照元数据中确定出可用快照元数据；

导出所述可用快照元数据，以生成与所述可用快照元数据对应的目标待发送数据。

2.根据权利要求1所述的方法，其特征在于，所述快照导出脚本参数包括：针对所述待发送数据的表名信息和认证信息，以及针对所述目标集群的互联网协议地址信息和导出路径信息。

3.根据权利要求2所述的方法，其特征在于，所述快照元数据具有对应的第一快照表，所述基于所述指定配置文件从所述快照元数据中确定出可用快照元数据的步骤包括：

采用所述指定配置文件和所述第一快照表构建针对所述可用快照元数据的第二快照表；

基于所述第二快照表从所述快照元数据中确定出可用快照元数据。

4.根据权利要求2或3所述的方法，其特征在于，还包括：

基于所述导出路径信息确定针对所述快照元数据的目录层级；

将所述可用快照元数据保存于所述目录层级。

5.根据权利要求3所述的方法，其特征在于，所述初始集群和所述目标集群为分布式数据库HBase，所述快照元数据包括数据显示文件，还包括：

当所述目标集群通过所述快照导出脚本参数导出所述待发送数据，且通过所述指定配置文件判定所述快照元数据兼容时，读取所述数据显示文件；所述数据显示文件包括区域信息region，和，针对所述待发送数据的底层数据单元文件信息HFile；

基于所述区域信息region和所述底层数据单元文件信息HFile导出所述待发送数据。

6.一种数据导出方法，其特征在于，应用于初始集群，所述初始集群具有对应的目标集群，包括：

确定待发送数据，以及针对所述待发送数据的快照导出脚本参数；

基于所述快照导出脚本参数构建针对所述待发送数据的快照元数据；所述快照元数据包括针对用于表达所述目标集群和所述初始集群之间排他性的指定配置文件；

向所述目标集群发送所述快照元数据，所述目标集群用于接收所述快照元数据；当所述目标集群通过所述快照导出脚本参数导出所述待发送数据，且通过所述指定配置文件判定所述快照元数据不兼容时，基于所述指定配置文件从所述快照元数据中确定出可用快照元数据；导出所述可用快照元数据，以生成与所述可用快照元数据对应的目标待发送数据。

7.一种数据导出装置，其特征在于，应用于目标集群，所述目标集群具有对应的初始集群，所述初始集群用于，确定待发送数据，以及针对所述待发送数据的快照导出脚本参数；基于所述快照导出脚本参数构建针对所述待发送数据的快照元数据；所述快照元数据包括针对用于表达所述目标集群和所述初始集群之间排他性的指定配置文件；向所述目标集群发送所述快照元数据，包括：

快照元数据接收模块，用于接收所述快照元数据；

可用快照元数据确定模块，用于当所述目标集群通过所述快照导出脚本参数导出所述待发送数据，且通过所述指定配置文件判定所述快照元数据不兼容时，基于所述指定配置文件从所述快照元数据中确定出可用快照元数据；

可用快照元数据导出模块，用于导出所述可用快照元数据，以生成与所述可用快照元数据对应的目标待发送数据。

8.一种数据导出装置，其特征在于，应用于初始集群，所述初始集群具有对应的目标集群，包括：

待发送数据确定模块，用于确定待发送数据，以及针对所述待发送数据的快照导出脚本参数；

快照元数据构建模块，用于基于所述快照导出脚本参数构建针对所述待发送数据的快照元数据；所述快照元数据包括针对用于表达所述目标集群和所述初始集群之间排他性的指定配置文件；

快照元数据发送模块，用于向所述目标集群发送所述快照元数据，所述目标集群用于接收所述快照元数据；当所述目标集群通过所述快照导出脚本参数导出所述待发送数据，且通过所述指定配置文件判定所述快照元数据不兼容时，基于所述指定配置文件从所述快照元数据中确定出可用快照元数据；导出所述可用快照元数据，以生成与所述可用快照元数据对应的目标待发送数据。

9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口以及所述存储器通过所述通信总线完成相互间的通信；

所述存储器，用于存放计算机程序；

所述处理器，用于执行存储器上所存放的程序时，实现如权利要求1-5或6任一项所述的方法。

10.一种计算机可读存储介质，其上存储有指令，当由一个或多个处理器执行时，使得所述处理器执行如权利要求1-5或6任一项所述的方法。