CN103647837A - 多线程报告下载方法和装置 - Google Patents

Abstract

本发明公开了一种多线程报告下载方法和装置。所述方法包括：在第一阶段线程中，向服务器发送下载数据报告请求，以指示所述服务器处理待下载的报告；在第一阶段线程中，接收服务器根据所述下载数据报告请求返回的所述报告的报告标识，释放所述第一阶段线程；如果发生设定的等待触发条件，则在第二阶段线程中，根据所述报告标识向服务器发送报告状态查询请求；在所述第二阶段线程中，如果所述服务器返回报告状态为处理完毕，则从所述服务器下载所述报告。本发明大大减少了客户端在下载报告过程中的空等待时间，提高了线程资源的利用率，也提高了多线程下载资源的速度。

Description

多线程报告下载方法和装置

技术领域

本发明实施例涉及计算机数据处理技术，尤其涉及一种多线程报告下载方法和装置。

背景技术

随着互联网的迅速发展，数据的存储逐渐从终端向云端进行转移。博客、相册、网盘、大容量邮箱等业务的发展使得在云端存储的用户数据规模越来越大。一般来说，终端用户可以通过API（Application Programming Interface，应用编程接口）接口来管理云端服务器（API服务器）中的云资源。

在现有技术中，当对应于多个账户或设备的多个客户端需要同时对API服务器中存储的多个资源进行下载时，例如下载报告，则每个客户端需要和API服务器进行一次整体的交互才能将所需的报告下载下来。在整体的交互过程中包含了如下的逻辑步骤：

申请占用一个线程资源，在此线程发送下载数据报告请求到API服务器并获得一个唯一报告ID（Identity，身份标识号码）；

通过唯一报告ID再次向API服务器发出报告状态查询请求；

如果API服务器返回的报告状态为正在处理，则等待一定时间，然后重新向API服务器发出报告状态查询请求；如果API服务器返回的报告状态为处理完毕，则下载相应的报告。

不同的客户端或不同的下载请求均需要占用一个线程来完成下载过程。

现有技术存在的主要缺陷是，API服务器处理报告需要一定的时间，当一个客户端通过唯一报告ID向API服务器发出报告状态查询请求时，API服务器可能并没有完成对该报告的处理过程，因此每个客户端都要等待一定的时间才能从API服务器上下载相应的报告，所以当多个客户端需要同时对API服务器中存储的多个报告进行下载时，由于线程数量有限，所以往往导致下载极为缓慢。

发明内容

有鉴于此，本发明提供一种多线程报告下载方法和装置，以提高多客户端占用多线程下载资源的速度。

第一方面，本发明实施例提供了一种多线程报告下载方法，包括：

在第一阶段线程中，向服务器发送下载数据报告请求，以指示所述服务器处理待下载的报告；

在第一阶段线程中，接收服务器根据所述下载数据报告请求返回的所述报告的报告标识，释放所述第一阶段线程；

如果发生设定的等待触发条件，则在第二阶段线程中，根据所述报告标识向服务器发送报告状态查询请求；

在所述第二阶段线程中，如果所述服务器返回报告状态为处理完毕，则从所述服务器下载所述报告。

第二方面，本发明实施例提供了一种多线程报告下载装置，包括：

下载请求发送单元，用于在第一阶段线程中，向服务器发送下载数据报告请求，以指示所述服务器处理待下载的报告；

报告标识接收单元，用于在第一阶段线程中，接收服务器根据所述下载数据报告请求返回的所述报告的报告标识，释放所述第一阶段线程；

查询请求发送单元，用于如果发生设定的等待触发条件，则在第二阶段线程中，根据所述报告标识向服务器发送报告状态查询请求；

报告下载单元，用于在所述第二阶段线程中，如果所述服务器返回报告状态为处理完毕，则从所述服务器下载所述报告。

本发明实施例将各客户端的报告下载线程分为两个阶段线程进行异步处理，在第一阶段线程中，客户端仅向服务器发送下载数据报告请求，接收服务器根据所述下载数据报告请求返回的所述报告的报告标识，不会向服务器发送报告状态查询请求，在第一阶段线程的时间内，服务器会根据下载数据报告请求，处理一部分的报告；在第二阶段线程中，如果发生设定的等待触发条件，客户端根据所述报告标识向服务器发送报告状态查询请求，此时，一部分报告已经被服务器处理完成，发送该部分报告的客户端可以直接下载报告而无需等待，大大减少了客户端在下载报告过程中的空等待时间，提高了线程资源的利用率，也提高了多线程下载的速度。

附图说明

图1是本发明第一实施例的一种多线程报告下载方法的流程图；

图2是本发明第二实施例的一种多线程报告下载方法的流程图；

图3是本发明第三实施例的一种多线程报告下载装置的结构图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

第一实施例

图1为本发明第一实施例提供的一种多线程报告下载方法的流程图，本实施例的方法可以由多线程报告下载装置来执行，该装置可通过硬件和/或软件的方式实现，一般可以集成于API请求方中。API请求方通常提供有设定数量的线程资源，构成线程池，可供不同的客户端占用。API请求方通过网络与API服务方一起交互配合，进行报告下载。典型的，API请求方为终端设备，API服务方为服务器。本实施例的方法具体包括如下步骤：

步骤110、在第一阶段线程中，向服务器发送下载数据报告请求，以指示所述服务器处理待下载的报告。

在本实施例中，第一阶段线程是任意一个线程，由某客户端申请占用，客户端向服务器发送下载数据报告请求，以指示所述服务器处理待下载的报告。当服务器接收到下载数据报告请求后，开始处理相应的待下载报告。

在本实施例中，上述待下载报告可以为图形、数字报表文件也可以为其他类型的资源文件，对此并不限定。典型的，上述待下载报告为服务器需要进行大量计算，消耗大量时间生成的数据报告。

其中，服务器对待下载报告的处理过程可以包括：根据下载数据报告请求中的关键词，例如：时间区间、报告类型、限定条件模板类型等，对自身存储的数据进行处理，生成特定的数据报告，举例而言：下载数据报告请求中请求下载2006年7月某网站的流量明细报告，服务器根据该请求对存储的数据进行筛选，按照预定的计算公式，自动计算得到与该请求相适应的数据报告。

在本实施例中，与下载数据报告请求对应的报告可以为一个或者多个，对此并不限定。

其中，当服务器根据下载数据报告请求生成相应的数据报告时，需要对相应的数据进行筛选处理和计算，因此，需要占用CPU的资源并且消耗一定的时间，此时，如果同一客户端向服务器发送报告状态查询请求时，会有空等待的情况发生。

步骤120、在第一阶段线程中，接收服务器根据所述下载数据报告请求返回的所述报告的报告标识，释放所述第一阶段线程。

在本实施例中，在第一阶段线程中，客户端接收服务器根据所述下载数据报告请求返回的所述报告的报告标识，而后即结束所述第一阶段线程。

其中，当服务器接收到下载数据报告的请求后，会向与该下载数据报告请求对应的客户端发送一个唯一的报告标识，客户端可以根据上述报告标识向服务器查询与该报告标识对应的报告的处理状态。

当一个客户端接收到服务器返回的报告标识后，会释放掉第一阶段线程，将该线程的使用权交给其他的客户端使用。

可以理解的是，当一个客户端接收到服务器返回的报告标识后，如果该线程继续处于等待状态不结束时，线程池内将无法启动新线程。这时等待的线程继续占用资源但不进行计算，从而造成计算资源的浪费。因此，在本实施例中，当一个客户端接收到服务器返回的报告标识后，线程结束，同时释放掉该线程使用的硬件资源，例如CPU、内存和IO带宽等，将该线程的使用权交给其他的线程使用，可以尽可能的减少该线程以等待方式占用资源，进而提高资源的利用率。

举例而言，终端设备共包括5个并行线程，可以以并行的方式进行相应的数据处理，在一段预定的时间内，100个并发请求通过大小为5的线程池向服务器发送下载数据报告请求，终端设备首先将该收到的下载数据报告请求进行缓存，将其中的5个下载数据报告请求（典型的，最先接收的5个下载数据报告请求）向服务器发送，并接收返回的报告标识，当一个客户端收到对应的报告标识后，释放占用的线程，使得终端设备可以处理其他客户端的下载数据报告请求。

步骤130、判断是否发生设定的等待触发条件，若是，执行步骤140；否则，返回步骤130。

在本实施例中，为了防止客户端在收到报告标识后，直接向服务器发送报告状态查询时，产生的空等待时间，首先需要判断是否满足设定的等待触发条件，若是，才会向服务器发送报告状态查询。

在本实施例中，所述判断是否满足设定的等待触发条件可以为：

判断服务器是否将预定时间间隔内接收到的全部下载数据报告请求处理完成，或者；

判断服务器是否将预定时间间隔内接收到的预定个数的下载数据报告请求处理完成，或者

判断自身发送下载数据报告请求后的设定等待时间是否到达等，对此并不限定。

服务器是否将下载数据报告请求处理完成，可通过判断是否所有缓存的或设定个数的下载数据报告请求均接收到了对应的报告标识来确定。预定时间间隔、预定个数和设定等待时间均可根据经验设定，既能够避免空等待，也能尽量及时的下载报告。

步骤140、在第二阶段线程中，根据所述报告标识向服务器发送报告状态查询请求。

在本实施例中，当判断满足设定的等待触发条件后，客户端根据接收到的报告标识向服务器发送报告状态查询请求。其中，所述报告状态查询请求用于查询与报告标识对应的报告是否被处理完毕，典型的，是否已经被读入服务器的内存缓冲区中等。服务器可以对处理完毕的报告返回相应的报告状态，对未处理完毕的报告不返回相应的报告状态；服务器也可以根据报告状态查询请求返回不同的报告状态，其中，所述报告状态可以包括：处理完毕、处理中和出错等，对此并不限定。

步骤150、在所述第二阶段线程中，如果所述服务器返回报告状态为处理完毕，则从所述服务器下载所述报告。

在本实施例中，如果客户端接收到所述服务器返回报告状态为处理完毕，客户端将直接从服务器下载所述报告。

在本实施例的一个优选的实施方式中，在所述第二阶段线程中，如果所述客户端接收到所述服务器返回报告状态为正在处理，则等待设定时长，重复向服务器发送报告状态查询请求，直至所述服务器返回报告状态为处理完毕。作为示例而非限定，可以将等待时长设置为5s、10s或者15s等，对此并不限定。

本发明实施例将各客户端的报告下载线程分为两个阶段线程进行异步处理，在第一阶段线程中，客户端仅向服务器发送下载数据报告请求，接收服务器根据所述下载数据报告请求返回的所述报告的报告标识，不会向服务器发送报告状态查询请求，在第一阶段线程的时间内，服务器会根据下载数据报告请求，处理一部分的报告；在第二阶段线程中，如果发生设定的等待触发条件，客户端根据所述报告标识向服务器发送报告状态查询请求，此时，一部分报告已经被服务器处理完成，发送该部分报告的客户端可以直接下载报告而无需等待，大大减少了客户端在下载报告过程中的空等待时间，提高了线程资源的利用率，也提高了多线程下载的速度。

第二实施例

图2为本发明第二实施例的一种多线程下载方法的流程图，本实施例以上述实施例为基础进行优化，在本实施例中，优选的将步骤：如果发生设定的等待触发条件，则在第二阶段线程中，根据所述报告标识向服务器发送报告状态查询请求优化为：在监测到设定数量的下载数据报告请求处理完成后，则在第二阶段线程中，根据所述报告标识向服务器发送报告状态查询请求；如果发生设定的等待触发条件，则在第二阶段线程中，按照各下载数据报告请求的发送顺序，根据所述报告标识向服务器顺序发送报告状态查询请求。

相应地，本实施例的方法具体包括如下步骤：

步骤210、在第一阶段线程中，向服务器发送下载数据报告请求，以指示服务器处理待下载的报告。

步骤220、在第一阶段线程中，接收服务器根据下载数据报告请求返回的报告的报告标识，释放第一阶段线程。

步骤230、判断是否监测到设定数量的下载数据报告请求处理完成：若是,执行步骤240；否则，返回步骤230。

在本实施例中，服务器可以每收到一个数据报告请求就进行相应的处理，也可以当收到预定多个数据报告请求后统一集中处理。

举例而言，当服务器收到1000个下载数据报告请求后，开始对该1000个请求集中处理，返回相应的报告标识，对与报告标识对应的报告进行处理，其中，当服务器处理了预定多个报告后，会向各客户端发送一个消息，指示各客户端可以开始发送报告状态查询请求。

步骤240、判断是否到达发送报告状态查询请求的时机：若是，执行步骤250；否则，返回步骤240。

在本实施例中，在第二阶段线程中，各客户端按照各下载数据报告请求的发送顺序，根据所述报告标识向服务器顺序发送报告状态查询请求。

在本实施例中，服务器按照接收到下载数据报告请求的顺序，对相应的报告进行处理，也就是说，最先发送数据报告请求的客户端对应的报告最先被处理完毕。

举例而言，客户端1、客户端2和客户端3按照顺序向服务器发送下载数据报告请求，当服务器处理了一定数量的报告后，会依次向客户端1、客户端2和客户端3发送触发报文，指示客户端1、客户端2和客户端3顺序发送报告查询请求。

步骤250、在第二阶段线程中，根据所述报告标识向服务器发送报告状态查询请求。

步骤260、在第二阶段线程中，如果服务器返回报告状态为处理完毕，则从服务器下载所述报告。

本发明实施例将各客户端的报告下载线程分为两个阶段线程进行异步处理，在第一阶段线程中，客户端仅向服务器发送下载数据报告请求，接收服务器根据所述下载数据报告请求返回的所述报告的报告标识，不会向服务器发送报告状态查询请求，在第一阶段线程的时间内，服务器会根据下载数据报告请求，处理一部分的报告；在第二阶段线程中，如果发生设定的等待触发条件，客户端根据所述报告标识向服务器发送报告状态查询请求，此时，一部分报告已经被服务器处理完成，发送该部分报告的客户端可以直接下载报告而无需等待，大大减少了客户端在下载报告过程中的空等待时间，提高了多线程资源的利用率和下载速度。

在上述各实施例的基础上，优选是将步骤：如果发生设定的等待触发条件，则在第二阶段线程中，根据所述报告标识向服务器发送报告状态查询请求进一步优化为：在发送所述下载数据报告请求后的设定等待时间到达时，则在第二阶段线程中，根据所述报告标识向服务器发送报告状态查询请求。这样设置的好处是客户端不需要与服务器再进行交互以确定发送报告查询请求的时机，仅仅根据时间经验常数设定定时器，当满足计时要求时，就会向服务器发送报告状态查询请求，进一步简化了实现方法。

在上述各实施例的基础上，优选是将步骤：在所述第二阶段线程中，如果所述服务器返回报告状态为处理完毕，则从所述服务器下载所述报告进一步优化为：在所述第二阶段线程中，如果所述服务器返回报告状态为正在处理，则等待设定时长，重复向服务器发送报告状态查询请求，直至所述服务器返回报告状态为处理完毕；根据所述报告标识获取报告对应的文件标识；根据所述文件标识从所述服务器进行报告下载。

在一个例子中，比较现有技术的报告下载方法和本发明第一实施例的报告下载方法中的服务器处理时间。

例如：每个客户端下载每个报告需要一个线程来完成，由于网络带宽限制，下载的线程池的容量为10，线程池关联到一个阻塞队列，现在有1000个客户端需要下载5种类型的消费报告。

现有技术中，报告下载方法包括如下两个步骤：

步骤1、发送下载数据报告请求到API服务器并获得一个唯一报告ID；

步骤2、通过唯一报告ID再次向API服务器发出报告状态查询请求如果API服务器返回的报告状态为正在处理，则等待一定时间，然后重新向API服务器发出报告状态查询请求；如果API服务器返回的报告状态为处理完毕，则下载相应的报告。

使用现有技术的方法，服务器的消耗时间包括：

10个客户端同步任务启动，在1秒完成第一步；

10个任务到达第二步处在等待状态，同时平均等待10*3秒；

4990个任务被阻塞在队列里面；

等待完成后下载数据需要花费平均5秒

然后线程执行结束，其他客户端同步任务可以进入执行池开始运行；

以此类推，全部任务下载完成至少需要5000*（1+10*3+5）/10＝18000秒（5个小时左右时间）。

在本发明实施例中，将报告下载分为两个阶段线程，在这两个阶段线程中，服务器消耗的时间包括：

第一阶段线程：

10个同步任务启动，在1秒完成第一阶段，马上第二批10个任务进行执行，花费时间也为1秒，以此类推4980个任务依此发送到服务器完毕，总花费时间为500秒；

第二阶段线程：

因为请求发送的提前性，那些首先发送的请求已经被服务器提前处理，已经直接可以下载，无需再行等待；

10个任务可以直接并行开始下载数据，平均花费5秒；

随着下载的进行，后续发送的任务请求也被服务器进行处理；

接下来的10个任务也无需再等待，可以直接下载；

所以5000个任务在第二阶段的第5步种总共花费时间为(5000/10)*5=2500秒，所有同步任务完成第二阶段花费时间总共为500+2500=3000秒（约1个小时左右时间），从而可以得出的优化时间为18000/3000约6倍的时间。

第三实施例

在图3中示出了一种多线程报告下载装置的结构图。如图3所示，所述装置包括：

下载请求发送单元31，用于在第一阶段线程中，向服务器发送下载数据报告请求，以指示所述服务器处理待下载的报告。

报告标识接收单元32，用于在第一阶段线程中，接收服务器根据所述下载数据报告请求返回的所述报告的报告标识，释放所述第一阶段线程。

查询请求发送单元33，用于如果发生设定的等待触发条件，则在第二阶段线程中，根据所述报告标识向服务器发送报告状态查询请求。

报告下载单元34，用于在所述第二阶段线程中，如果所述服务器返回报告状态为处理完毕，则从所述服务器下载所述报告。

本发明实施例将各客户端的报告下载线程分为两个阶段线程进行异步处理，在第一阶段线程中，客户端仅向服务器发送下载数据报告请求，接收服务器根据所述下载数据报告请求返回的所述报告的报告标识，不会向服务器发送报告状态查询请求，在第一阶段线程的时间内，服务器会根据下载数据报告请求，处理一部分的报告；在第二阶段线程中，如果发生设定的等待触发条件，客户端根据所述报告标识向服务器发送报告状态查询请求，此时，一部分报告已经被服务器处理完成，发送该部分报告的客户端可以直接下载报告而无需等待，大大减少了客户端在下载报告过程中的空等待时间，提高了多线程资源的利用率和下载速度。

在上述各实施例的基础上，所述查询请求发送单元具体用于：

在监测到设定数量的下载数据报告请求处理完成后，则在第二阶段线程中，根据所述报告标识向服务器发送报告状态查询请求。

在上述各实施例的基础上，所述查询请求发送单元具体用于：

在发送所述下载数据报告请求后的设定等待时间到达时，则在第二阶段线程中，根据所述报告标识向服务器发送报告状态查询请求。

在上述各实施例的基础上，所述查询请求发送单元具体用于：

如果发生设定的等待触发条件，则在第二阶段线程中，按照各下载数据报告请求的发送顺序，根据所述报告标识向服务器顺序发送报告状态查询请求。

在上述各实施例的基础上，所述报告下载单元具体用于：

在所述第二阶段线程中，如果所述服务器返回报告状态为正在处理，则等待设定时长，重复向服务器发送报告状态查询请求，直至所述服务器返回报告状态为处理完毕；

根据所述报告标识获取报告对应的文件标识；

根据所述文件标识从所述服务器进行报告下载。

上述装置可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种多线程报告下载方法，其特征在于，包括：

在第一阶段线程中，向服务器发送下载数据报告请求，以指示所述服务器处理待下载的报告；

在第一阶段线程中，接收服务器根据所述下载数据报告请求返回的所述报告的报告标识，释放所述第一阶段线程；

如果发生设定的等待触发条件，则在第二阶段线程中，根据所述报告标识向服务器发送报告状态查询请求；

在所述第二阶段线程中，如果所述服务器返回报告状态为处理完毕，则从所述服务器下载所述报告。

2.根据权利要求1所述的方法，其特征在于，如果发生设定的等待触发条件，则在第二阶段线程中，根据所述报告标识向服务器发送报告状态查询请求，包括：

在监测到设定数量的下载数据报告请求处理完成后，则在第二阶段线程中，根据所述报告标识向服务器发送报告状态查询请求。

3.根据权利要求1所述的方法，其特征在于，如果发生设定的等待触发条件，则在第二阶段线程中，根据所述报告标识向服务器发送报告状态查询请求，包括：

在发送所述下载数据报告请求后的设定等待时间到达时，则在第二阶段线程中，根据所述报告标识向服务器发送报告状态查询请求。

4.根据权利要求1-3任一所述的方法，其特征在于，如果发生设定的等待触发条件，则在第二阶段线程中，根据所述报告标识向服务器发送报告状态查询请求包括：

如果发生设定的等待触发条件，则在第二阶段线程中，按照各下载数据报告请求的发送顺序，根据所述报告标识向服务器顺序发送报告状态查询请求。

5.根据权利要求1-3任一所述的方法，其特征在于，在所述第二阶段线程中，如果所述服务器返回报告状态为处理完毕，则从所述服务器下载所述报告包括：

在所述第二阶段线程中，如果所述服务器返回报告状态为正在处理，则等待设定时长，重复向服务器发送报告状态查询请求，直至所述服务器返回报告状态为处理完毕；

根据所述报告标识获取报告对应的文件标识；

根据所述文件标识从所述服务器进行报告下载。

6.一种多线程报告下载装置，其特征在于，包括：

下载请求发送单元，用于在第一阶段线程中，向服务器发送下载数据报告请求，以指示所述服务器处理待下载的报告；

报告标识接收单元，用于在第一阶段线程中，接收服务器根据所述下载数据报告请求返回的所述报告的报告标识，释放所述第一阶段线程；

查询请求发送单元，用于如果发生设定的等待触发条件，则在第二阶段线程中，根据所述报告标识向服务器发送报告状态查询请求；

报告下载单元，用于在所述第二阶段线程中，如果所述服务器返回报告状态为处理完毕，则从所述服务器下载所述报告。

7.根据权利要求6所述的装置，其特征在于，所述查询请求发送单元具体用于：

在监测到设定数量的下载数据报告请求处理完成后，则在第二阶段线程中，根据所述报告标识向服务器发送报告状态查询请求。

8.根据权利要求6所述的装置，其特征在于，所述查询请求发送单元具体用于：

在发送所述下载数据报告请求后的设定等待时间到达时，则在第二阶段线程中，根据所述报告标识向服务器发送报告状态查询请求。

9.根据权利要求6-8任一所述的装置，其特征在于，所述查询请求发送单元具体用于：

如果发生设定的等待触发条件，则在第二阶段线程中，按照各下载数据报告请求的发送顺序，根据所述报告标识向服务器顺序发送报告状态查询请求。

10.根据权利要求6-8任一所述的装置，其特征在于，所述报告下载单元具体用于：

在所述第二阶段线程中，如果所述服务器返回报告状态为正在处理，则等待设定时长，重复向服务器发送报告状态查询请求，直至所述服务器返回报告状态为处理完毕；

根据所述报告标识获取报告对应的文件标识；

根据所述文件标识从所述服务器进行报告下载。

Images