CN105978949A - 离线数据上传方法及装置 - Google Patents

Abstract

本发明实施例提供一种离线数据上传方法及装置。根据预设的数据源目录，启动定时服务以预设的时间间隔取出待处理数据并将所述待处理数据进行数据切割；将所述数据切割得到的分块数据转移至预设的临时工作目录中；启动预设数据量的线程从所述临时工作目录中读取所述分块数据并将所述分块数据上传至分布式文件系统。实现了快速高效的离线数据上传，提升了分布式处理的效率。

Description

离线数据上传方法及装置

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种离线数据上传方法及装置。

背景技术

在大数据的作业中，通常会有大量离线的文件或数据需要处理，例如大量离线日志。对于单个服务器而言，它是没有能力处理这些数据的，而分布式系统中恰好具有足够的资源来处理这些数据。在分布式系统对这些数据进行处理之前，首先需要将这些大量数据上传至分布式系统进行处理。

数据的产生是不间断的，每一天每一个小时都会产生大量的数据，且这些数据在存储介质中通常是以压缩形式存在的，通常，将其上传至分布式处理系统时，其数据量要翻倍，约10倍左右。若是一次性向一个服务器上传过多的数据，一方面会导致数据上传的过程十分缓慢，从而拖慢整个分布式系统的处理速度；另一方面，接收数据的服务器也可能会因为数据加载过多而导致内存溢出，从而出现故障无法进行数据处理。

因此，一种合理的离线数据上传方法亟待提出。

发明内容

本发明实施例提供一种离线数据上传方法及装置，用以解决现有技术中离线数据上传至分布式系统因数据量大导致的上传缓慢或服务器内存溢出的缺陷，实现大量离线数据的合理高效上传。

本发明实施例提供一种离线数据上传方法，包括：

根据预设的数据源目录，启动定时服务以预设的时间间隔取出待处理数据并将所述待处理数据进行数据切割；

将所述数据切割得到的分块数据转移至预设的临时工作目录中；

启动预设数据量的线程从所述临时工作目录中读取所述分块数据并将所述分块数据上传至分布式文件系统。

本发明实施例提供一种离线数据上传装置，包括：

切割模块，用于根据预设的数据源目录，启动定时服务以预设的时间间隔取出待处理数据并将所述待处理数据进行数据切割；

迁移模块，用于将所述数据切割得到的分块数据转移至预设的临时工作目录中；

上传模块，用于启动预设数据量的线程从所述临时工作目录中读取所述分块数据并将所述分块数据上传至分布式文件系统。

本发明实施例提供的离线数据上传方法及装置，通过启动定时服务对待处理的数据进行定时切割并启动若干线程将数据并发上传至分布式文件系统，改变了现有技术中进行离线数据上传时，用上传速度缓慢以及同一服务器数据加载过度导致的内存溢出，实现了快速高效的离线数据上传，提升了分布式处理的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例一的方法流程图；

图2为本本申请实施例二的方法流程图；

图3为本本申请实施例三的方法流程图；

图4为本申请实施例四的装置实施例结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本申请实施例一的方法流程图，结合图1，本申请实施例一种离线数据上传方法，可由如下的步骤实现：

步骤S110：根据预设的数据源目录，启动定时服务以预设的时间间隔取出待处理数据并将所述待处理数据进行数据切割；

步骤S120：将所述数据切割得到的分块数据转移至预设的临时工作目录中；

步骤S130：启动预设数据量的线程从所述临时工作目录中读取所述分块数据并将所述分块数据上传至分布式文件系统。

具体的，在步骤S110中，所述数据源目录包含存储介质中数据文件的名称、说明信息以及相应的数据内容。当数据消费者，即需要使用数据的用户或者需要使用数据的应用/服务，需要从存储介质中获取目标数据进行数据处理时，首先获取数据消费者需要的目标数据文件的名称或者检索参数，查询所述预设的数据源目录，获取相应的目标数据文件。本申请实施例的应用场景中，数据消费者所消费的目标数据通常都是大量的，大量的数据上传至分布式文件系统很容易造成系统故障，例如上传缓慢或者服务器内存溢出等等，从而影响分布式数据处理的效率，也对数据消费者造成了不良体验。因此，本步骤中，首先启动一个定时服务，以预设的时间及间隔取出待处理的数据进行上传。

数据上传是需要一定时间的，若是连续不断地取数据并进行上传很容易造成某一服务器加载的数据量过大从而导致服务器内存溢出，出现故障。因此，本申请实施例的定时服务，采用定时脚本的方式，每间隔一段预设的时间间隔对数据进行一次切割。在所述预设的时间间隔中，被切割的数据可以上传至分布式文件系统进行处理，当判断所述被切割的数据可能处理完成之后，则启动下一次切割，将新切割得到的数据再上传至分布式文件系统，这样就有足够的网络带宽来推送数据并且分布式文件系统也有足够的资源来处理这些新的数据。

因此，综上描述，所述预设的时间间隔是一个很关键的取值，也是一个与切割数据量有关的经验值。在取值的时候，要保证在这段时间之内已经上传至分布式文件系统的数据大部分已经被处理，从而分布式文件系统能够腾出资源和空间进行下一次数据的处理。所述预设的时间间隔过大，会导致上一次上传的数据已经处理结束而新的数据还未上传至分布式文件系统，这样会拖慢系统的处理效率；若是所述预设的时间间隔过小，则容易导致上一次上传的数据还未处理完，新的数据就已经推送至分布式系统，若是数据量大，则很容易就导致服务器内存溢出。

具体的，将所述待处理数据进行数据切割，具体切割数据的数量阈值大小可以是经验值，也可以通过以下的步骤进行更加精确合理的计算：

首先，对所述数据源目录进行分析，获取下一时刻进行所述数据切割的所述待处理数据的数据量大小；

其次，根据所述待处理数据的数据量大小计算所述数据切割的数量阈值并根据所述数量阈值对所述待处理数据进行数据切割。

本步骤中，对所述数据源目录进行分析，具体可以查询所述数据源目录中保存的每一数据文件的数据量的大小，对于数据量较大的数据文件，其切割数量阈值应当较大，从而将大的数据文件切割成较小的数据块进行上传。然而，对于数据量较小的数据文件，其切割数据阈值应当适当调小，因数据量小的数据文件在上传和处理的过程中都能轻易实现，如果将其切成更小的数据块，对其处理速度而言并没有很明显的提升，反而在数据切割的过程中浪费了较多的时间。因此，估计所述数据切割的数量阈值之前需获取下一时刻进行所述数据切割的所述待处理数据的数据量大小，从而能够得到一个合理的所述数据切割的数量阈值。

具体的，在步骤S120中，所述预设的临时工作目录用于存储已经切割好的分块数据，其目录中可以包含临时存放的数据文件的名称、说明信息以及相应的分块数据。需要说明的是，所述预设的临时工作目录是受监控的，当检测到某一数据文件的所有分块数据都上传至分布式文件系统后，这一数据文件在所述预设的临时工作目录中的所有记录都将删除，从而将清空的空间留给下一次待上传的文件。

具体的，在步骤S130中，启动上传线程从临时工作目录中读取数据并上传至分布式文件系统。其中，线程的数量是预设的，可以是一个定值也可以是一个动态变化的值。

优选的，本申请实施例采用动态数量的线程对所述预设的临时工作目录中的分块数据进行上传，从而能够合理分配数据上传的并行线程数量达到最高上传效率。具体实现方式如下：

获取所述分布式文件系统的系统资源使用量，并根据所述系统资源使用量计算所述线程的数量；其中所述系统资源使用量包括所述分布式系统中服务器的数量、服务器CPU的核数以及CPU的占用率。

例如，某一服务器集群中包含的服务器数量较多且服务CPU的占用率较低，则可以启动较多数量的线程从所述预设的临时文件工作目录中取数据进程上传。

需要说明的是，本申请实施例中，当判定所述线程的数量超过预设线程数阈值时，以所述预设线程数阈值更新所述线程的数量。

数据上传线程的数量并非越多越好，同时启动过多的线程对分布式文件系统而言，并不能够对分布式系统的处理效率有任何提升作用。因数据上传至分布式文件系统时，网络带宽是有限的，上传时首先要保证待上传的离线数据能够被接收服务器接收，其次要保证接收的数据能够及时的上传到分布式文件系统中。多线程上传更合理地使用了CPU资源，因此可以提高数据上传效率。但是上传的离线数据量不能超过网络带宽，所以线程数量达到一定数量了，就会因为去抢占带宽资源，反而影响了效率。

因此，本申请实施例中，设置一个线程数阈值，当根据所述系统资源使用量计算得到所述线程的数量大于所述线程数阈值时，将直接采用所述线程数阈值作为上传线程的数量。

线程的数量的合理值，可以通过一个预先的测试来估算；设服务器的网卡是千兆网卡(单位是bit)，理论上该服务器网络的吞吐量为1000/8＝120M(单位byte)，假设一般是数据进出各占50％的带宽。数据上传是出服务器的流量，理论的最大值是60M。测试一下单线程的上传速度，例如测试单线程的上传速率是5M/秒，那么理论上60/5＝12是线程的最大值，但是效率和线程是不是指数关系，同时要给系统留一定的冗余，可以取理论最优值的80％，所以可以设置最优线程数为9个左右。

本实施例中，通过启动定时服务对待处理的数据进行定时切割并启动若干线程将数据并发上传至分布式文件系统，改变了现有技术中进行离线数据上传时，用上传速度缓慢以及同一服务器数据加载过度导致的内存溢出，实现了快速高效的离线数据上传，提升了分布式处理的效率。

图2是本申请实施例二的方法流程图，结合图2，本申请实施例一种离线数据上传方法，还可由如下的实现步骤：

步骤S210：对数据源目录进行分析，获取下一时刻进行所述数据切割的所述待处理数据的数据量大小；

步骤S220：根据所述待处理数据的数据量大小计算所述数据切割的数量阈值；

步骤S230：根据预设的数据源目录，启动定时服务以预设的时间间隔取出待处理数据并根据所述数据切割的数量阈值将所述待处理数据进行数据切割；

步骤S240：将所述数据切割得到的分块数据转移至预设的临时工作目录中并对所述临时工作目录进行实时监控；

步骤S250：启动预设数据量的线程从所述临时工作目录中读取所述分块数据并将所述分块数据上传至分布式文件系统；

步骤S260：当监测到所述临时工作目录中所述待处理的数据的所有分块数据都上传完成时，从所述临时工作目录中删除所述待处理数据。

上述步骤S210～步骤S260是一个定时服务，在每个所述预设的时间间隔内均会执行一次，例如，当所述预设的时间间隔为10分钟，上述步骤的第一次执行时间为0:00，则当时间到达0:10时，从步骤S210开始，上述步骤重复执行一次，直至数据消费者所需的所有数据均被处理完成。

本实施例中，在数据上传之前，首先判断数据量并根据数量计算应当切得的数据块的多少，保证了切割得到分块数据的大小，从而保证了通过分块数据上传至分布式系统的效率，避免了因一次性加载过多数据造成的服务器内存溢出；与此同时，本申请实施例中，启动定时服务对待处理的数据进行定时切割并启动若干线程将数据并发上传至分布式文件系统，实现了快速高效的离线数据上传，提升了分布式处理的效率。

图3是本申请实施例三的方法流程图，结合图3，本申请实施例一种离线数据上传方法，还可以有如下的实施方式：

步骤S310：对数据源目录进行分析，获取下一时刻进行所述数据切割的所述待处理数据的数据量大小；

步骤S320：根据所述待处理数据的数据量大小计算所述数据切割的数量阈值；

步骤S330：根据预设的数据源目录，取出待处理数据并根据所述数据切割的数量阈值将所述待处理数据进行数据切割；

步骤S340：将所述数据切割得到的分块数据转移至预设的临时工作目录中并对所述临时工作目录进行实时监控；

步骤S350：启动预设数据量的线程从所述临时工作目录中读取所述分块数据并将所述分块数据上传至分布式文件系统；

步骤S360：当监测到所述临时工作目录中所述待处理的数据的所有分块数据都上传完成时，从所述临时工作目录中删除所述待处理数据。

步骤S370：当监测到所述临时工作目录中所述待处理的数据的所有分块数据都上传完成时，根据所述预设的数据源目录，取出下一待处理数据并将所述下一待处理数据进行所述数据切割。

其中，步骤S360和步骤S370是两个并行的步骤，实际无先后顺序，在删除所述临时工作目录中的所述待处理数据的同时即可开始下一待处理数据的提取以及分割，从而，所述临时工作目录中正好能够腾出足够的空间容纳下一次分割得到的分块数据。

不同于实施例一的实现方法，本实施例中，不需要定时服务，而是采用一种监控和提醒的机制对数据文件的切割时刻进行控制。很容易想到，采用定时服务时，定时的时长即所述预设时间间隔的取值是一个不易控制的因素。在取值的时候，若所述预设的时间间隔过大，会导致上一次上传的数据已经处理结束而新的数据还未上传至分布式文件系统，这样会拖慢系统的处理效率；若是所述预设的时间间隔过小，则容易导致上一次上传的数据还未处理完，新的数据就已经推送至分布式系统，若是数据量大，则很容易就导致服务器内存溢出。

因此，本申请的优选实施例中，将定时服务更换成监控提醒服务。所述预设的临时工作目录实际上是一个数据中转站，切割好的分块数据预先存在这个数据中转站中等待着数据上传线程将其上传至分布式文件系统，对所述临时工作目录进行监控就能够实时获知已经切割好的数据是否上传完成。若上传完成之后，则可以通知下一批数据所述临时工作目录中有剩余空间，可以开始进行下一次切割。

这样的优化方式避免了选取定时服务的所述预设时间间隔的繁琐操作，避免所述预设时间间隔选取过大造成的空闲等待时间过多，也可避免所述预设时间间隔选取过小对服务器造成的压力。

本申请实施例中，通过启动定时服务对待处理的数据进行定时切割并启动若干线程将数据并发上传至分布式文件系统，改变了现有技术中进行离线数据上传时，用上传速度缓慢以及同一服务器数据加载过度导致的内存溢出，实现了快速高效的离线数据上传，提升了分布式处理的效率；与此同时，将定时服务更换成监控提醒服务也巧妙避免了选取定时服务的所述预设时间间隔的繁琐操作，从而结束上一次数据分割后能够得到准确的下一次分割时间，节省时间且合理分配了服务器的压力。

图4是本申请实施例四的装置结构示意图，结合图4，本申请实施例一种离线数据上传装置，包括如下的模块：

切割模块410，用于根据预设的数据源目录，启动定时服务以预设的时间间隔取出待处理数据并将所述待处理数据进行数据切割；

迁移模块420，用于将所述数据切割得到的分块数据转移至预设的临时工作目录中；

上传模块430，用于启动预设数据量的线程从所述临时工作目录中读取所述分块数据并将所述分块数据上传至分布式文件系统。

其中，所述切割模块410具体用于：对所述数据源目录进行分析，获取下一时刻进行所述数据切割的所述待处理数据的数据量大小；

根据所述待处理数据的数据量大小计算所述数据切割的数量阈值并根据所述数量阈值对所述待处理数据进行数据切割。

其中，所述上传模块430具体用于：获取所述分布式文件系统的系统资源使用量，并根据所述系统资源使用量计算所述线程的数量；其中所述系统资源使用量包括所述分布式系统中服务器的数量、服务器CPU的核数以及CPU的占用率。

其中，所述装上传模块430具体用于：当判定所述线程的数量超过预设线程数阈值时，以所述预设线程数阈值更新所述线程的数量。

其中，所述装置还包括监测模块440，所述检测模块440具体用于：

实时监测所述临时工作目录中每一所述待处理数据的所述分块数据的上传过程；当监测到所述临时工作目录中所述待处理的数据的所有分块数据都上传完成时，从所述临时工作目录中删除所述待处理数据。

其中，当所述监测模块440监测到所述临时工作目录中所述待处理的数据的所有分块数据都上传完成时，所述切割模块410还用于根据所述预设的数据源目录，取出下一待处理数据并将所述下一待处理数据进行所述数据切割。

图4所示装置可以执行图1～图3所示实施例的方法，实现原理和技术效果参考图1～图3所示实施例，不再赘述。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (12)

1.一种离线数据上传方法，其特征在于，包括如下的步骤：

根据预设的数据源目录，启动定时服务，以预设的时间间隔取出待处理数据并将所述待处理数据进行数据切割；

将所述数据切割得到的分块数据转移至预设的临时工作目录中；

启动预设数据量的线程，从所述临时工作目录中读取所述分块数据并将所述分块数据上传至分布式文件系统。

2.根据权利要求1所述的方法，其特征在于，以预设的时间间隔将待处理数据进行数据切割，具体包括：

对所述数据源目录进行分析，获取下一时刻进行所述数据切割的所述待处理数据的数据量大小；

根据所述待处理数据的数据量大小计算所述数据切割的数量阈值，并根据所述数量阈值对所述待处理数据进行数据切割。

3.根据权利要求1所述的方法，其特征在于，启动预设数据量的线程，具体包括：

获取所述分布式文件系统的系统资源使用量，并根据所述系统资源使用量计算所述线程的数量；其中所述系统资源使用量包括所述分布式系统中服务器的数量、服务器CPU的核数以及CPU的占用率。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

当判定所述线程的数量超过预设线程数阈值时，以所述预设线程数阈值更新所述线程的数量。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

实时监测所述临时工作目录中每一所述待处理数据的所述分块数据的上传过程；

当监测到所述临时工作目录中所述待处理的数据的所有分块数据都上传完成时，从所述临时工作目录中删除所述待处理数据。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

当监测到所述临时工作目录中所述待处理的数据的所有分块数据都上传完成时，根据所述预设的数据源目录，取出下一待处理数据并将所述下一待处理数据进行所述数据切割。

7.一种离线数据上传装置，其特征在于，包括如下的模块：

切割模块，用于根据预设的数据源目录，启动定时服务，以预设的时间间隔取出待处理数据并将所述待处理数据进行数据切割；

迁移模块，用于将所述数据切割得到的分块数据转移至预设的临时工作目录中；

上传模块，用于启动预设数据量的线程，从所述临时工作目录中读取所述分块数据并将所述分块数据上传至分布式文件系统。

8.根据权利要求7所述的装置，其特征在于，所述切割模块具体用于：

对所述数据源目录进行分析，获取下一时刻进行所述数据切割的所述待处理数据的数据量大小；

根据所述待处理数据的数据量大小计算所述数据切割的数量阈值并根据所述数量阈值对所述待处理数据进行数据切割。

9.根据权利要求7所述的装置，其特征在于，所述上传模块具体用于：

获取所述分布式文件系统的系统资源使用量，并根据所述系统资源使用量计算所述线程的数量；其中所述系统资源使用量包括所述分布式系统中服务器的数量、服务器CPU的核数以及CPU的占用率。

10.根据权利要求9所述的装置，其特征在于，所述装上传模块具体用于：

当判定所述线程的数量超过预设线程数阈值时，以所述预设线程数阈值更新所述线程的数量。

11.根据权利要求7所述的装置，其特征在于，所述装置还包括监测模块，所述检测模块具体用于：

实时监测所述临时工作目录中每一所述待处理数据的所述分块数据的上传过程；

当监测到所述临时工作目录中所述待处理的数据的所有分块数据都上传完成时，从所述临时工作目录中删除所述待处理数据。

12.根据权利要求11所述的装置，其特征在于，当所述监测模块监测到所述临时工作目录中所述待处理的数据的所有分块数据都上传完成时，所述切割模块还用于根据所述预设的数据源目录，取出下一待处理数据并将所述下一待处理数据进行所述数据切割。