CN110704517A

CN110704517A - 一种生成任务的方法、装置、存储介质及处理器

Info

Publication number: CN110704517A
Application number: CN201810645100.8A
Authority: CN
Inventors: 魏智华
Original assignee: Beijing Gridsum Technology Co Ltd
Current assignee: Beijing Gridsum Technology Co Ltd
Priority date: 2018-06-21
Filing date: 2018-06-21
Publication date: 2020-01-17
Anticipated expiration: 2038-06-21
Also published as: CN110704517B

Abstract

本发明公开了一种生成任务的方法及装置，在获取目标数据之前，获取目标数据的数据总量和每页数据量，并根据目标数据的数据总量和每页数据量，计算所述目标数据的分页数；创建与所述目标数据的分页数数量相同的多个数据获取任务，以使得多个数据获取任务并行执行，而不是采用串联型的数据获取方式，一个数据获取任务完成后再创建另外一个数据获取任务，大幅度降低了完成目标数据获取任务需要耗费的时间。

Description

一种生成任务的方法、装置、存储介质及处理器

技术领域

本发明涉及计算机技术领域，更具体的，涉及一种生成任务的方法、装置、存储介质及处理器。

背景技术

在通过微博接口获取数据时，数据是分页返回的，每页可返回固定数量的数据，且每次返回的数据中包含数据的总数量，而数据只能逐页获取。

现有的一种技术方案为一种串联型的数据获取方式。先有一个任务程序获取到第1页的数据，存储成功后会判断当前页数是否小于总页数。如果当前页数小于总页数，则再创建获取下一页数据的任务；如果当前的页数等于总页数，则不再获取下一页，任务结束。

然而这种串联型的数据获取方式中，获取数据的任务是串联创建的，一个数据获取任务完成后再创建另外一个数据获取任务，需要执行多个任务创建步骤，这将导致完成所有数据获取任务需要耗费很长时间。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的并行生成任务的方法、装置、存储介质及处理器。

为了实现上述发明目的，本发明提供的具体技术方案如下：

一种生成任务的方法，包括：

获取目标数据的数据总量和每页数据量；

根据所述目标数据的数据总量和每页数据量，计算所述目标数据的分页数；

创建与所述目标数据的分页数数量相同的多个数据获取任务。

优选的，在所述创建与所述目标数据的分页数数量相同的多个数据获取任务之前，所述方法还包括：

创建生成任务，以通过所述生成任务创建与所述目标数据的分页数数量相同的多个数据获取任务，所述生成任务与所述数据获取任务之间的层级关系为父子关系。

优选的，所述方法还包括：

并行执行每个所述数据获取任务，获得所述目标数据的每个分页数据；

将每个所述分页数据进行拼接，得到所述目标数据。

优选的，在所述并行执行每个所述数据获取任务之前，所述方法还包括：

根据所述目标数据的分页数，分别向每个所述数据获取任务分配一个任务标识，每个所述任务标识对应所述目标数据的一个分页数据；

所述并行执行每个所述数据获取任务，包括：

通过预设接口同步向数据源发送携带有所述任务标识的数据获取请求，并通过所述预设接口接收所述数据源反馈的所述目标数据的相应分页数据。

优选的，所述方法还包括：

监视所述并行任务生成任务的状态和每个所述数据获取任务的执行状态。

一种生成任务的装置，包括：

获取单元，用于获取目标数据的数据总量和每页数据量；

计算单元，用于根据所述目标数据的数据总量和每页数据量，计算所述目标数据的分页数；

创建单元，用于创建与所述目标数据的分页数数量相同的多个数据获取任务。

优选的，所述创建单元，还用于在创建与所述目标数据的分页数数量相同的多个数据获取任务之前创建生成任务，以通过所述生成任务创建与所述目标数据的分页数数量相同的多个数据获取任务，所述生成任务与所述数据获取任务之间的层级关系为父子关系。

优选的，所述装置还包括：

并行执行单元，用于并行执行每个所述数据获取任务，获得所述目标数据的每个分页数据；将每个所述分页数据进行拼接，得到所述目标数据。

优选的，所述装置还包括：

分配单元，用于根据所述目标数据的分页数，分别向每个所述数据获取任务分配一个任务标识，每个所述任务标识对应所述目标数据的一个分页数据；

其中，所述并行执行单元包括：

发送子单元，用于通过预设接口同步向数据源发送携带有所述任务标识的数据获取请求；

接收子单元，用于通过所述预设接口接收所述数据源反馈的所述目标数据的相应分页数据。

优选的，所述装置还包括：

监视单元，用于监视所述并行任务生成任务的状态和每个所述数据获取任务的执行状态。

一种存储介质，所述存储介质包括存储的程序，

其中，在所述程序运行时控制所述存储介质所在的设备执行如上述中任一项所述的生成任务的方法。

一种处理器，所述处理器用于运行程序，

其中，所述程序运行时执行如上述中任一项所述的生成任务的方法。

借由上述技术方案，本发明提供的一种生成任务的方法及装置，在获取目标数据之前，获取目标数据的数据总量和每页数据量，并根据目标数据的数据总量和每页数据量，计算所述目标数据的分页数；创建与所述目标数据的分页数数量相同的多个数据获取任务，以使得多个数据获取任务并行执行，而不是采用串联型的数据获取方式一个数据获取任务完成后再创建另外一个数据获取任务，大幅度降低了完成目标数据获取任务需要耗费的时间。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例公开的一种并行生成任务的方法流程图；

图2示出了本发明实施例公开的另一种并行生成任务的方法流程图；

图3示出了本发明实施例公开的一种并行生成任务的装置结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

请参阅图1，本实施例公开了一种生成任务的方法，具体包括以下步骤：

S101：获取目标数据的数据总量和每页数据量；

其中，目标数据为需要获取的数据，例如微博或者网页上的数据等。

具体的，获取目标数据的数据总量和每页数据量，包括：

其中，数据总量可以是需要获取的目标数据的总条数，例如，需要爬取某明星博客中的所有数据，则该明星账号下发布的所有微博的条数为该处的数据总量。可以通过预先设置的特定接口向数据源发送携带有目标数据标识的数据总量获取请求，并通过所述特定接口接收所述数据源反馈的目标数据的数据总量。

在获取目标数据时，数据是分页获取的，每页包括固定数量的数据，即每页数据量。

数据源为存储目标数据的数据库或者服务器等，目标数据标识为数据源中目标数据的唯一标识，通过数据标识可以对数据源中不同数据进行区分。

以通过微博接口获取数据为例，数据源为微博服务器，目标数据可以为某条微博对应的评论，目标数据的数据总量可以为相应微博的评论总量等，以目标数据的数据总量为1000条为例，分页获取目标数据，每页包括100条数据。

S102：根据所述目标数据的数据总量和每页数据量，计算所述目标数据的分页数；

需要说明的是，目标数据是分页返回的，每页可返回固定数量的目标数据，目标数据的分页数为需要返回的数据页数，具体的，所述目标数据的分页数为目标数据总量与目标数据的每页数据量的比值。如目标数据为1000条，每页数据量为100条，则目标数据的分页数为10。

S103：创建与所述目标数据的分页数数量相同的多个数据获取任务。

当目标数据的分页数为10，则会创建10个数据获取任务，需要说明的是，目标数据对应的多个数据获取任务是同时创建的。

在创建与所述目标数据的分页数数量相同的多个数据获取任务之前，所述方法还包括：

其中，通过生成任务创建数据获取任务，生成任务与数据获取任务之间的层级关系为父子关系，从而在进行任务状态监控时，对两个任务层级实施监控即可，与现有技术中串行建立数据获取任务的方式相比，不会随着任务层级加深，导致无法及时更新任务状态的情况发生。

本实施例公开的一种生成任务的方法，在获取目标数据之前，获取目标数据的数据总量和每页数据量，并根据目标数据的数据总量和每页数据量，计算所述目标数据的分页数；创建与所述目标数据的分页数数量相同的多个数据获取任务，而不是采用串联型的数据获取方式一个数据获取任务完成后再创建另外一个数据获取任务，大幅度降低了完成目标数据获取任务需要耗费的时间。

请参阅图2，本实施例公开了另一种并行生成任务的方法，具体包括以下步骤S201-S205：

S201：获取目标数据的数据总量和每页数据量；

通过特定接口向数据源发送携带有目标数据标识的数据总量获取请求；

通过所述特定接口接收所述数据源反馈的目标数据的数据总量。

S202：根据目标数据的数据总量和每页数据量，计算所述目标数据的分页数；

S203：创建与所述目标数据的分页数数量相同的多个数据获取任务；

S204：并行执行每个所述数据获取任务，获得所述目标数据的每个分页数据；

S205：将每个所述分页数据进行拼接，得到所述目标数据。

其中，任务标识可以采用数字、字母、符号等任意一种或者多种形式进行表示。

所述并行执行每个所述数据获取任务，包括：

需要说明的是，为了保证数据获取任务的执行效率，可以通过预设接口同步发送多个数据获取请求，以便多个数据获取请求能够同步执行，考虑到每个分页数据内容可能不同，数据获取的难度、耗时往往会存在不同，从而使得数据源反馈每个分页数据的时间可能相同，也可能存在一定差异，因此，预设接口可以实时接收反馈的每个分页数据，也可以按照预设时间间隔分批次接收反馈时间不同的分页数据，还可以在数据源反馈所有的分页数据后，一次性接收所有的分页数据，具体可以根据需要任意选定接收方式，此处不做具体限定。

以目标数据的分页数为3，任务标识采用数字(或称序号)表示为例，分别向每个所述数据获取任务分配一个序号，分别为1、2、3，则序号为1的数据获取任务获取目标数据的第一个分页数据，序号为2的数据获取任务获取目标数据的第二个分页数据，序号为3的数据获取任务获取目标数据的第三个分页数据。

需要说明的是，特定接口和预设接口可以为同一个接口，也可以为不同的接口。

在一个实施例中，可以在任务执行过程中，单独开启一个独立于任务执行线程的监视线程，以便监视所述生成任务的状态和每个所述数据获取任务的执行状态。其中，监视线程与任务执行线程并行工作，互不发生干扰。

任务的状态包括等待执行、执行中、等待子任务执行、执行完成和执行出错。所述生成任务为每一个数据获取任务的父任务，每一个数据获取任务都是生成任务的子任务，且每一个数据获取任务处于同一层级。

本实施例公开的一种生成任务的方法，在所述生成任务创建与所述目标数据的分页数数量相同的多个数据获取任务之后，并行执行每个所述数据获取任务。相对于串行执行多个数据获取任务，并行执行多个数据获取任务大幅度降低了完成目标数据获取任务需要耗费的时间。

同时，现有的串联型的数据获取方式中，监视系统监视数据获取任务的执行状态及各获取任务之间的父子关系，这种监视任务需要在更新任务时更新其所监视的数据获取任务的状态。其中，第一个数据获取任务为第二个数据获取任务的父任务，第二个数据获取任务为第三个数据获取任务的父任务，以此类推。当最后一个数据获取任务完成时，最后一个数据获取任务之前的父任务的状态更新为已完成，父任务的父任务的状态为已完成，依次类推，父子关系之上的父任务祖父任务…直到更新祖先任务的状态，监视任务的更新任务量大。

本实施例公开的生成任务的方法中，监视生成任务的状态和每个所述数据获取任务的状态，生成任务与每个数据获取任务之间为父子层级关系，层级关系简单，当每个所述数据获取任务的状态都为已完成时，将生成任务的状态更新为已完成，因此，不需要频繁的更新串行任务中的父子关系，降低了监视的任务量，方便更新所监视的任务的状态。

基于上述实施例公开的一种生成任务的方法，请参阅图3，本实施例对应公开了一种并行生成任务的装置，包括：

获取单元301，用于获取目标数据的数据总量和每页数据量；

计算单元302，用于根据目标数据的数据总量和每页数据量，计算目标数据的分页数；

创建单元303，用于创建与目标数据的分页数数量相同的多个数据获取任务。

优选的，所述装置还包括：

其中，所述并行执行单元包括：

优选的，所述装置还包括：

本实施例公开了一种生成任务的装置，在获取目标数据之前，获取目标数据的数据总量和每页数据量，并根据目标数据的数据总量和每页数据量，计算所述目标数据的分页数；创建与所述目标数据的分页数数量相同的多个数据获取任务，以使得多个数据获取任务并行执行，而不是采用串联型的数据获取方式一个数据获取任务完成后再创建另外一个数据获取任务，大幅度降低了完成目标数据获取任务需要耗费的时间。

所述生成任务的装置包括处理器和存储器，上述获取单元、计算单元、创建单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来提高目标数据的所有数据获取任务的执行效率。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述生成任务的方法。

本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述生成任务的方法。

本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：

获取目标数据的数据总量和每页数据量；

根据目标数据的数据总量和每页数据量，计算目标数据的分页数；

创建与目标数据的分页数数量相同的多个数据获取任务。

进一步，在所述创建与所述目标数据的分页数数量相同的多个数据获取任务之前，所述方法还包括：

进一步，所述方法还包括：

将每个所述分页数据进行拼接，得到所述目标数据。

进一步，在所述并行执行每个所述数据获取任务之前，所述方法还包括：

所述并行执行每个所述数据获取任务，包括：

通过预设接口同步向数据源发送携带有任务标识的数据获取请求，并通过所述预设接口接收所述数据源反馈的所述目标数据的相应分页数据。

进一步，所述方法还包括：

监视所述生成任务的状态和每个所述数据获取任务的状态。

本文中的设备可以是服务器、PC、PAD、手机等。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：

获取目标数据的数据总量和每页数据量；

创建与目标数据的分页数数量相同的多个数据获取任务。

进一步，所述方法还包括：

将每个所述分页数据进行拼接，得到所述目标数据。

所述并行执行每个所述数据获取任务，包括：

进一步，所述方法还包括：

监视所述生成任务的状态和每个所述数据获取任务的状态。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims

1.一种生成任务的方法，其特征在于，包括：

获取目标数据的数据总量和每页数据量；

2.根据权利要求1所述的方法，其特征在于，在所述创建与所述目标数据的分页数数量相同的多个数据获取任务之前，所述方法还包括：

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将每个所述分页数据进行拼接，得到所述目标数据。

4.根据权利要求3所述的方法，其特征在于，在所述并行执行每个所述数据获取任务之前，所述方法还包括：

所述并行执行每个所述数据获取任务，包括：

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

监视所述生成任务的状态和每个所述数据获取任务的执行状态。

6.一种生成任务的装置，其特征在于，包括：

获取单元，用于获取目标数据的数据总量和每页数据量；

7.根据权利要求6所述的装置，其特征在于，

所述创建单元，还用于在创建与所述目标数据的分页数数量相同的多个数据获取任务之前创建生成任务，以通过所述生成任务创建与所述目标数据的分页数数量相同的多个数据获取任务，所述生成任务与所述数据获取任务之间的层级关系为父子关系。

8.根据权利要求6所述的装置，其特征在于，所述装置还包括：

9.一种存储介质，其特征在于，所述存储介质包括存储的程序，

其中，在所述程序运行时控制所述存储介质所在的设备执行如权利要求1-5中任一项所述的生成任务的方法。

10.一种处理器，其特征在于，所述处理器用于运行程序，

其中，所述程序运行时执行如权利要求1-5中任一项所述的生成任务的方法。