CN112416934A

CN112416934A - hive表增量数据同步方法、装置、计算机设备及存储介质

Info

Publication number: CN112416934A
Application number: CN202011314157.3A
Authority: CN
Inventors: 赵鹏; 徐淑华
Original assignee: Ping An Puhui Enterprise Management Co Ltd
Current assignee: Ping An Puhui Enterprise Management Co Ltd
Priority date: 2020-11-20
Filing date: 2020-11-20
Publication date: 2021-02-26

Abstract

本申请实施例属于大数据领域，涉及一种hive表增量数据同步方法，包括根据触发的数据同步指令，从目标数据表读取待同步增量数据；对于每条待同步增量数据，确定待同步增量数据对应的已存数据在hive表中的分区目录，并将所述分区目录标记为变动目录；对于每个变动目录，调用对应的spark进程提取变动目录中的已存数据；在提取到的已存数据中确定保留数据；将所述待同步增量数据和所述保留数据进行合并得到待存储文件；通过各spark进程并行将各变动目录中的已存数据替换为待存储文件。本申请还提供一种hive表增量数据同步装置、计算机设备及存储介质。此外，本申请还涉及区块链技术，待存储文件可存储于区块链中。本申请提高了hive表增量数据的同步效率。

Description

hive表增量数据同步方法、装置、计算机设备及存储介质

技术领域

本申请涉及大数据技术领域，尤其涉及一种hive表增量数据同步方法、装置、计算机设备及存储介质。

背景技术

随着计算机技术的发展，每天的生产生活都会产生大量的数据，使得大数据技术得到了极大的应用和发展。数据仓库是大数据领域中的重要概念，它出于分析性报告和决策支持目的而创建，可以为企业各级别的决策制定过程，而HIVE又是当前一种主流的数据仓库组件。

当前的数据仓库组件HIVE，只能追加数据，不允许对已经存储的历史数据进行修改。上游数据库中的数据进行了更新修改会产生增量数据，若要对增量数据进行同步，需要将整个HIVE表中的所有已存数据删除，重新从上游同步所有数据，造成IO资源浪费、增量数据同步效率低；且HIVE在执行插入数据的操作时，只能将数据一条一条地插入，耗费时间较长，进一步使得增量数据同步效率低下。

发明内容

本申请实施例的目的在于提出一种hive表增量数据同步方法、装置、计算机设备及存储介质，以解决hive表增量数据同步效率较低的问题。

为了解决上述技术问题，本申请实施例提供一种hive表增量数据同步方法，采用了如下所述的技术方案：

根据触发的数据同步指令，从目标数据表读取待同步增量数据；

对于每条待同步增量数据，确定待同步增量数据对应的已存数据在hive表中的分区目录，并将所述分区目录标记为变动目录；

对于每个变动目录，调用对应的spark进程提取变动目录中的已存数据；

在提取到的已存数据中确定保留数据；

将所述待同步增量数据和所述保留数据进行合并得到待存储文件；

通过各spark进程并行将各变动目录中的已存数据替换为待存储文件。

进一步的，在所述根据触发的数据同步指令，从目标数据表读取待同步增量数据的步骤之前，还包括：

向设置有数据库的存储服务器发送数据查询指令；

获取所述存储服务器根据所述数据查询指令返回的所述数据库的数据统计信息；

当所述数据统计信息未达到预设阈值时，将所述数据库中的数据表设置为目标数据表。

进一步的，所述获取所述存储服务器根据所述数据查询指令返回的所述数据库的数据统计信息的步骤之后，还包括：

当所述数据统计信息达到预设阈值时，对所述数据库进行监测；

当监测到所述目标数据库发生数据变动时，将变动的数据作为待同步增量数据存储到目标数据表中。

进一步的，所述对于每条待同步增量数据，确定待同步增量数据对应的已存数据在hive表中的分区目录，并将所述分区目录标记为变动目录的步骤包括：

对于每条待同步增量数据，获取待同步增量数据的创建时间；

在hive表中查询所述创建时间所对应的分区目录；

将查询到的分区目录标记为变动目录，其中，所述变动目录存储有所述待同步增量数据的已存数据。

进一步的，所述对于每个变动目录，调用对应的spark进程提取变动目录中的已存数据的步骤之前，还包括：

创建与所述目录数量匹配的spark进程，并将所述标记的变动目录与创建的spark进程相关联。

进一步的，所述将所述待同步增量数据和所述保留数据进行合并得到待存储文件的步骤包括：

查询所述变动目录所对应的数据格式；

根据所述数据格式对所述待同步增量数据进行格式转换；

将格式转换后的待同步增量数据与所述保留数据进行合并，得到待存储文件；

在HDFS的临时目录中创建待存储目录，并将所述待存储文件添加到所述待存储目录中。

进一步的，所述通过各spark进程并行将各变动目录中的已存数据替换为待存储文件的步骤包括：

从所述hive表中删除各变动目录，并通过各spark进程将生成的待存储目录并行移动到所述hive表。

为了解决上述技术问题，本申请实施例还提供一种hive表增量数据同步装置，采用了如下所述的技术方案：

数据读取模块，用于根据触发的数据同步指令，从目标数据表读取待同步增量数据；

目录确定模块，用于对于每条待同步增量数据，确定待同步增量数据对应的已存数据在hive表中的分区目录，并将所述分区目录标记为变动目录；

数据提取模块，用于对于每个变动目录，调用对应的spark进程提取变动目录中的已存数据；

数据确定模块，用于在提取到的已存数据中确定保留数据；

数据合并模块，用于将所述待同步增量数据和所述保留数据进行合并得到待存储文件；

数据替换模块，用于通过各spark进程并行将各变动目录中的已存数据替换为待存储文件。

为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：

在提取到的已存数据中确定保留数据；

为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：

在提取到的已存数据中确定保留数据；

与现有技术相比，本申请实施例主要有以下有益效果：读取待同步增量数据后，确定待同步增量数据对应的hive表已存数据所在的分区目录，并将其标记为变动目录；仅对变动目录中的数据进行增量同步更新，而不是将整个hive表中的数据都进行同步更新，减少了hive表增量数据同步时需要处理的数据量，提高了hive表增量数据同步效率；同时，以文件的形式将合并后的数据并行写入hive表，而并非依照hive表原本一条一条插入数据的方式，进一步提高了hive表增量数据同步效率。

附图说明

为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请可以应用于其中的示例性系统架构图；

图2是根据本申请的hive表增量数据同步方法的一个实施例的流程图；

图3是根据本申请的hive表增量数据同步装置的一个实施例的结构示意图；

图4是根据本申请的计算机设备的一个实施例的结构示意图。

具体实施方式

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。

如图1所示，系统架构100可以包括终端设备101，网络102和服务器103，集群服务器104、105，存储服务器106。网络102用以在终端设备101，服务器103，集群服务器104、105，存储服务器106之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101通过网络102与服务器103交互，以接收或发送消息等。终端设备101上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备101可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts Group AudioLayer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts GroupAudio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。

服务器103可以是提供各种服务的服务器，例如对终端设备101上显示的页面提供支持的后台服务器，本申请中的服务器103可以提供hive表增量数据同步的控制服务。集群服务器104、105可以是spark集群中的服务器，实现spark的功能，其中，服务器103也可以是spark集群中的服务器。存储服务器106可以是架设有数据库的服务器。

需要说明的是，本申请实施例所提供的hive表增量数据同步方法一般由服务器执行，相应地，hive表增量数据同步装置一般设置于服务器中。

应该理解，图1中的终端设备、网络、服务器、集群服务器和存储服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络、服务器、集群服务器和存储服务器。

继续参考图2，示出了根据本申请的hive表增量数据同步方法的一个实施例的流程图。所述的hive表增量数据同步方法，包括以下步骤：

步骤S201，根据触发的数据同步指令，从目标数据表读取待同步增量数据。

在本实施例中，hive表增量数据同步方法运行于其上的电子设备(例如图1所示的服务器)可以通过有线连接方式或者无线连接方式进行通信。需要指出的是，上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。

具体地，数据同步指令可以由用户在终端触发，终端将数据同步指令发送至服务器，也可以由服务器自动触发数据同步指令，例如通过定时任务触发数据同步指令。服务器根据数据同步指令，读取预先设定好的目标数据表，并在目标数据表中确定待同步增量数据。

本申请通过spark实现hive表增量数据同步，通过spark访问目标数据表，并在目标数据表中确定待同步增量数据。

在一个实施例中，可以通过更新时间字段确定待同步增量数据。目标数据表中的每条数据记录有多个字段，可以包括更新时间字段。当目标数据表发生数据更新时，更新的数据记录所对应的更新时间字段会发生改变，由此可以确定从上次同步结束到本次同步，产生了哪些待同步增量数据。

步骤S202，对于每条待同步增量数据，确定待同步增量数据对应的已存数据在hive表中的分区目录，并将分区目录标记为变动目录。

具体地，对于每一条待同步增量数据，服务器需要查询待同步增量数据所对应的已存数据在hive表中的分区目录。一条数据A被存储到hive表中得到数据A’后，hive表中的数据A’即为目标数据表中数据A的已存数据，两者具有相同的数据标识，数据标识可以是主键或者UUID(Universally Unique Identifier，通用唯一识别码)等，用于唯一地标识一条数据记录。因此，服务器可以通过查询数据标识，来查找待同步增量数据对应的已存数据，并确定已存数据在hive表中的分区目录，并将该分区目录标记为变动目录。Hive表被分为一个一个的分区，一个分区又叫目录。

步骤S203，对于每个变动目录，调用对应的spark进程提取变动目录中的已存数据。

具体地，对于spark，其运行架构包括集群资源管理器(Cluster Manager)、运行作业任务的工作节点(Worker Node)、每个应用的任务控制节点(Driver)和每个工作节点上负责具体任务的spark进程(Executor)。

每个变动目录均有对应的spark进程负责增量数据的同步处理，服务器通过调用与变动目录对应的spark进程，从变动目录中提取全量的已存数据。

进一步的，上述步骤S203之前，还可以包括：获取标记的变动目录的目录数量；创建与目录数量匹配的spark进程，并将标记的变动目录与创建的spark进程相关联。

具体地，服务器先统计变动目录的目录数量，然后创建与目录数量相匹配的spark进程，具体可以是使spark进程的数量与目录数量相等。创建完spark进程后，将标记的变动目录分别分配给一个spark进程，使每一个变动目录均与一个spark进程相关联，以便实现并行处理。

本实施例中，创建与变动目录的目录数量相匹配的spark进程，并将变动目录与spark进程相关联，以便实现增量数据的并行同步，保证增量数据的同步效率。

步骤S204，在提取到的已存数据中确定保留数据。

其中，保留数据可以是在本次增量数据同步中未发生变化的已存数据。

具体地，提取到变动目录中的已存数据后，可以通过比对待同步增量数据和已存数据的数据标识，确定在本次增量数据同步中未发生变化的已存数据，从而得到保留数据。

步骤S205，将待同步增量数据和保留数据进行合并得到待存储文件。

具体地，将确定的保留数据留下，将已存数据中的非保留数据进行删除，并将待同步增量数据与保留数据进行合并，合并后的数据整体可视为一个文件，即为待存储文件。

步骤S206，通过各spark进程并行将各变动目录中的已存数据替换为待存储文件。

具体地，生成每一个变动目录所对应的待存储文件后，通过变动目录对应的spark进程将变动目录中的已存数据进行删除，并将生成的待存储文件写入变动目录。Spark进程可以将待存储文件以文件的形式移动(mv操作)到变动目录中，而没有使用HiveQL中的insert into语句(只能将数据一条一条地插入hive表)；同时，多个spark进程可以同时工作，并行地将多个待存储文件移动到变动目录中，进一步提高了hive表增量数据同步效率。

需要强调的是，为进一步保证上述待存储文件的私密和安全性，上述待存储文件还可以存储于一区块链的节点中。

本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

本实施例中，读取待同步增量数据后，确定待同步增量数据对应的hive表已存数据所在的分区目录，并将其标记为变动目录；仅对变动目录中的数据进行增量同步更新，而不是将整个hive表中的数据都进行同步更新，减少了hive表增量数据同步时需要处理的数据量，提高了hive表增量数据同步效率；同时，以文件的形式将合并后的数据并行写入hive表，而并非依照hive表原本一条一条插入数据的方式，进一步提高了hive表增量数据同步效率。

进一步的，上述步骤S201之前，还可以包括：向设置有数据库的存储服务器发送数据查询指令；获取存储服务器根据数据查询指令返回的数据库的数据统计信息；当数据统计信息未达到预设阈值时，将数据库中的数据表设置为目标数据表。

具体地，在进行hive表增量数据同步之前，还可以向设置有数据库的存储服务器发送数据查询指令。存储服务器根据数据查询指令返回数据库的数据统计信息，其中，数据统计信息包括数据库的总数据量和更新量；总数据量可以是数据库中全部数据的数据量，更新量可以是预设的单位时间内增量数据的数据量，可以进行历史统计得到。

可以将更新量作为数统计信息的主要因子，当数据统计信息未达到预设阈值时，表明数据库在预设时间内更新量在一定范围内，这种情况下，将数据库中的数据表设置为目标数据表，可以定时从数据库中读取待同步增量数据且不会给spark造成较大的压力；预设阈值可以是预设的一个数据量。

本实施例中，通过数据查询指令获取数据库的数据统计信息，当数据统计信息小于预设阈值时，表明数据库的更新量在较小的范围内，可以将数据库中的数据表设置为目标数据表，实现了数据表读取的配置。

进一步的，上述获取存储服务器根据数据查询指令返回的数据库的数据统计信息的步骤之后，还可以包括：当数据统计信息达到预设阈值时，对数据库进行监测；当监测到目标数据库发生数据变动时，将变动的数据作为待同步增量数据存储到目标数据表中。

具体地，当数据统计信息达到或者超过预设阈值时，表明数据库在预设的单位时间内的更新量较大。在这种情况下，如果在增量数据同步时，一次性从数据库中读取大量数据，可能会带来较大的负载和读取压力。为此，可以对数据库进行监测，当数据库发生数据变动时，即时从数据库读取待同步增量数据，并将其保存到预先在spark集群中建立的目标数据表。在进行增量数据同步时，指示spark读取位于spark集群中的目标数据表，而不是从上游的数据库一次性读取大量的待同步增量数据，减小spark的工作压力。

通常，对于上游的数据库，在预设时间内更新量处于有限范围内，因此，在增量数据同步任务中通常是从存储服务器的数据库读取全部待同步增量数据。可以理解，目标数据表的设置是在增量数据同步前的设置，并且可以变化。

本实施例中，当数据统计信息达到预设阈值时，表明数据库更新量较大，可以监测数据库的数据变动，并即时将待同步增量数据存储到目标数据表，以便可以顺利获取到待同步增量数据，保证了增量数据同步的顺利实现。

进一步的，上述步骤S202可以包括：对于每条待同步增量数据，获取待同步增量数据的创建时间；在hive表中查询创建时间所对应的分区目录；将查询到的分区目录标记为变动目录，其中，变动目录存储有待同步增量数据的已存数据。

具体地，hive表中每个分区目录可以按照数据的创建时间建立，比如数据的创建时间是2020-10-14，这条数据会落到hive表中create_day＝2020-10-14这个分区目录。可以根据待同步增量数据的创建时间字段，确定待同步增量数据对应的已存数据在hive表中的分区目录，并将该分区目录标记为变动目录。

本实施例中，根据数据的创建时间建立hive表中的分区目录，从而可以根据待同步增量数据的创建时间快速地确定待同步增量数据所对应已存数据的分区目录，提高了分区目录的查询效率。

进一步的，上述步骤S205可以包括：查询变动目录所对应的数据格式；根据数据格式对待同步增量数据进行格式转换；将格式转换后的待同步增量数据与保留数据进行合并，得到待存储文件；在HDFS的临时目录中创建待存储目录，并将待存储文件添加到待存储目录中。

具体地，hive表中每个分区目录中的已存数据具有固定的数据格式，需要先查询变动目录所对应的数据格式，然后对待同步增量数据进行转换，以便与分区目录原本的数据格式相匹配。然后将格式转换后的待同步增量数据与确定的保留数据进行合并，得到待存储文件。

Hive表本身并不真正存储数据，Hive表底层其实依赖HDFS(Hadoop DistributedFile System，分布式文件系统)进行数据存储。服务器在HDFS的临时目录中，按照变动目录的目录格式创建待存储目录，并将待存储文件添加到待存储目录中。

在进行hive表增量数据同步时，还可以以操作分区目录的方式实现。在HDFS的临时目录中创建待存储目录，将待存储文件添加到待存储目录中，为最后的hive表存储完成了准备。

本实施例中，对待同步增量数据进行格式转换以便与已存数据进行合并，从而得到待存储文件；创建待存储目录并将待存储文件添加到待存储目录中，为最后的hive表存储完成准备。

进一步的，上述步骤S206可以包括：从hive表中删除各变动目录，并通过各spark进程将生成的待存储目录并行移动到hive表。

具体地，服务器可以对hive表中的各变动目录进行直接删除，然后将HDFS临时目录中的待存储目录移动(mv操作)到hive表中原本对应的变动目录处。待存储目录的移动相当于创建软连接，速度很快，资源消耗少，同时通过多个spark进程对各待存储目录并行移动，进一步提高了hive表数据的写入速度。

本申请通过spark直接操作hive表的底层文件，而不使用hive原生的API，实现了hive表增量数据同步时，可以只修改部分分区目录，而不是重新输入hive表中全部的分区目录；同时以移动文件或目录的方式进行同步，并非使用HiveQL中的insert into语句，避免了一条一条地插入整个hive表中的数据，提高了增量数据同步效率。

本实施例中，从hive表中删除变动目录，并通过各spark进程将待存储目录并行移动到hive表，提高了hive表数据的写入速度。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

进一步参考图3，作为对上述图2所示方法的实现，本申请提供了一种hive表增量数据同步装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图3所示，本实施例所述的hive表增量数据同步装置300包括：数据读取模块301、目录确定模块302、数据提取模块303、数据确定模块304、数据合并模块305以及数据替换模块306，其中：

数据读取模块301，用于根据触发的数据同步指令，从目标数据表读取待同步增量数据。

目录确定模块302，用于对于每条待同步增量数据，确定待同步增量数据对应的已存数据在hive表中的分区目录，并将分区目录标记为变动目录。

数据提取模块303，用于对于每个变动目录，调用对应的spark进程提取变动目录中的已存数据。

数据确定模块304，用于在提取到的已存数据中确定保留数据。

数据合并模块305，用于将待同步增量数据和保留数据进行合并得到待存储文件。

数据替换模块306，用于通过各spark进程并行将各变动目录中的已存数据替换为待存储文件。

在本实施例的一些可选的实现方式中，hive表增量数据同步装置300还包括：指令发送模块、信息获取模块以及数据表设置模块，其中：

指令发送模块，用于向设置有数据库的存储服务器发送数据查询指令。

信息获取模块，用于获取存储服务器根据数据查询指令返回的数据库的数据统计信息。

数据表设置模块，用于当数据统计信息未达到预设阈值条件时，将数据库中的数据表设置为目标数据表。

在本实施例的一些可选的实现方式中，hive表增量数据同步装置300还包括：数据库监测模块以及变动同步模块，其中：

数据库监测模块，用于当数据统计信息达到预设阈值条件时，对数据库进行监测。

变动同步模块，用于当监测到目标数据库发生数据变动时，将变动的数据作为待同步增量数据存储到目标数据表中。

在本实施例的一些可选的实现方式中，目录确定模块302可以包括：时间获取子模块、目录查询子模块以及目录标记子模块，其中：

时间获取子模块，用于对于每条待同步增量数据，获取待同步增量数据的创建时间。

目录查询子模块，用于在hive表中查询创建时间所对应的分区目录。

目录标记子模块，用于将查询到的分区目录标记为变动目录，其中，变动目录存储有待同步增量数据的已存数据。

在本实施例的一些可选的实现方式中，hive表增量数据同步装置300还包括：数量获取模块以及进程创建模块，其中：

数量获取模块，用于获取标记的变动目录的目录数量。

进程创建模块，用于创建与目录数量匹配的spark进程，并将标记的变动目录与创建的spark进程相关联。

在本实施例的一些可选的实现方式中，数据合并模块305可以包括：格式查询子模块、格式转换子模块、数据合并子模块以及目录创建子模块，其中：

格式查询子模块，用于查询变动目录所对应的数据格式。

格式转换子模块，用于根据数据格式对待同步增量数据进行格式转换。

数据合并子模块，用于将格式转换后的待同步增量数据与保留数据进行合并，得到待存储文件。

目录创建子模块，用于在HDFS的临时目录中创建待存储目录，并将待存储文件添加到待存储目录中。

在本实施例的一些可选的实现方式中，数据替换模块306还用于从hive表中删除各变动目录，并通过各spark进程将生成的待存储目录并行移动到hive表。

为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图4，图4为本实施例计算机设备基本结构框图。

所述计算机设备4包括通过系统总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是，图中仅示出了具有组件41-43的计算机设备4，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。

所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。

所述存储器41至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器41可以是所述计算机设备4的内部存储单元，例如该计算机设备4的硬盘或内存。在另一些实施例中，所述存储器41也可以是所述计算机设备4的外部存储设备，例如该计算机设备4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。当然，所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中，所述存储器41通常用于存储安装于所述计算机设备4的操作系统和各类应用软件，例如hive表增量数据同步方法的计算机可读指令等。此外，所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。

所述处理器42在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中，所述处理器42用于运行所述存储器41中存储的计算机可读指令或者处理数据，例如运行所述hive表增量数据同步方法的计算机可读指令。

所述网络接口43可包括无线网络接口或有线网络接口，该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。

本实施例中提供的计算机设备可以执行上述hive表增量数据同步方法的步骤。此处hive表增量数据同步方法的步骤可以是上述各个实施例的hive表增量数据同步方法中的步骤。

本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被至少一个处理器执行，以使所述至少一个处理器执行如上述的hive表增量数据同步方法的步骤。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims

1.一种hive表增量数据同步方法，其特征在于，包括下述步骤：

在提取到的已存数据中确定保留数据；

2.根据权利要求1所述的hive表增量数据同步方法，其特征在于，在所述根据触发的数据同步指令，从目标数据表读取待同步增量数据的步骤之前，还包括：

向设置有数据库的存储服务器发送数据查询指令；

3.根据权利要求2所述的hive表增量数据同步方法，其特征在于，所述获取所述存储服务器根据所述数据查询指令返回的所述数据库的数据统计信息的步骤之后，还包括：

4.根据权利要求1所述的hive表增量数据同步方法，其特征在于，所述对于每条待同步增量数据，确定待同步增量数据对应的已存数据在hive表中的分区目录，并将所述分区目录标记为变动目录的步骤包括：

在hive表中查询所述创建时间所对应的分区目录；

5.根据权利要求1所述的hive表增量数据同步方法，其特征在于，所述对于每个变动目录，调用对应的spark进程提取变动目录中的已存数据的步骤之前，还包括：

6.根据权利要求1所述的hive表增量数据同步方法，其特征在于，所述将所述待同步增量数据和所述保留数据进行合并得到待存储文件的步骤包括：

查询所述变动目录所对应的数据格式；

根据所述数据格式对所述待同步增量数据进行格式转换；

7.根据权利要求6所述的hive表增量数据同步方法，其特征在于，所述通过各spark进程并行将各变动目录中的已存数据替换为待存储文件的步骤包括：

8.一种hive表增量数据同步装置，其特征在于，包括：

数据确定模块，用于在提取到的已存数据中确定保留数据；

9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的hive表增量数据同步方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的hive表增量数据同步方法的步骤。