CN111177221B - 一种统计数据采集方法、装置及设备 - Google Patents

Abstract

本发明涉及一种统计数据采集方法，包括：获取目标统计数据的采集任务信息；根据目标统计数据的采集任务信息配置目标统计数据采集主任务；执行目标统计数据采集主任务，并根据获取到的目标统计数据生成目标统计数据集；根据目标统计数据集获取目标统计数据遗漏信息；根据目标统计数据遗漏信息配置目标遗漏数据采集次任务；执行目标遗漏数据采集次任务，并获取采集到的目标遗漏数据；将目标遗漏数据添加至目标统计数据集中，并更新目标统计数据集。本发明通过对统计任务的自动配置，极大地减少了数据恢复的时间，降低了人工处理成本。

Description

一种统计数据采集方法、装置及设备

技术领域

本发明涉及数据采集领域，尤其涉及一种统计数据采集方法、装置及设备。

背景技术

数据的统计分析一直是企业或产品运营中的重要一环。通过采集、整理大量的数据可以对实际运营的客观情况进行更为准确和完整的反映。同时对数据的统计分析还承担着对企业或产品运营状态的监督功能，进一步地，数据分析还有利于制定正确的决策和计划，为企业或产品的运营提供参考方向和应对措施。但是，这一切都需要建立在进行统计分析的数据是完整全面无缺漏的情况下。大量数据缺漏情况下的统计分析结果也就失去了可信度。这对数据采集的完整性提出了更高的要求。

实际应用中，对于租用服务器厂商提供的服务器的企业或者应用而言，统计分析系统需要从多个服务器多个数据库中采集各个类型的数据并将其进行汇总，才能进一步地进行统计分析。但是在采集过程中，容易发生数据遗漏的情况。原因有很多种，比如服务器提供商在对数据进行备份时对数据库进行锁表导致数据无法被采集；又或者是服务器断开连接，导致无法采集到该服务器中存储的数据；再有可能是在一开始配置数据采集任务的时候遗漏一部分数据的采集任务，到统计分析阶段才发现缺失部分数据，需要重新采集。可见，在数据采集过程中，这种数据遗漏的情况常会发生。

对于统计分析中的数据缺失，一种方式是在分析阶段，利用各种数学方式进行数据的模拟填充，但这种方式在一定程度上会偏离数据的真实内容。另一种方式是在采集阶段，更改数据采集的时间点，从头全部重新采集一遍，但是这种方式中间有大量的重复采集的工作，数据采集的效率不高。尤其是当遗漏的数据较多，时间范围不一、数据类型不一时，人为地更改采集的时间点也是一项繁复的工作。

发明内容

为解决在统计分析时数据在采集环节出现的遗漏问题并提高数据采集的效率，本发明公开了一种统计数据采集方法、装置及设备。所述技术方案如下：

第一方面，本发明公开了一种统计数据采集方法，所述方法包括：

获取目标统计数据的采集任务信息；

根据所述目标统计数据的采集任务信息配置至少一个目标统计数据采集主任务；

执行所述至少一个目标统计数据采集主任务，并根据获取到的目标统计数据生成目标统计数据集；

根据所述目标统计数据集获取目标统计数据遗漏信息；

根据所述目标统计数据遗漏信息配置至少一个目标遗漏数据采集次任务；

执行所述至少一个目标遗漏数据采集次任务，并获取采集到的目标遗漏数据；

将所述目标遗漏数据添加至所述目标统计数据集中，并更新所述目标统计数据集。

进一步地，所述根据所述目标统计数据的采集任务信息配置至少一个目标统计数据采集主任务包括：

获取目标统计数据的历史采集任务信息；

根据所述历史采集任务信息确定目标统计数据采集主任务的任务时间；

根据所述目标统计数据的采集任务信息确定目标统计数据的数据类型；

根据所述目标统计数据的采集任务信息确定目标统计数据的数据源服务器；

根据所述任务时间、数据类型和数据源服务器配置至少一个目标统计数据采集主任务。

进一步地，获取目标统计数据遗漏信息包括：

通过将所述目标统计数据与历史统计数据进行对比，获取目标统计数据遗漏信息；

和/或，对目标统计数据集进行针对关键指标的统计分析，得到分析结果，并根据分析结果确定目标统计数据遗漏信息。

进一步地，所述根据所述目标统计数据遗漏信息配置至少一个目标遗漏数据采集次任务包括：

根据所述目标统计数据遗漏信息确定目标遗漏数据的数据类型；

根据所述目标统计数据遗漏信息确定目标遗漏数据的数据源服务器；

根据所述目标统计数据遗漏信息确定目标遗漏数据的时间范围；

根据所述数据类型、所述数据源服务器和所述时间范围配置至少一个目标遗漏数据采集子任务；

根据所述至少一个目标遗漏数据采集子任务配置至少一个目标遗漏数据采集次任务。

进一步地，所述根据所述至少一个目标遗漏数据采集子任务配置至少一个目标遗漏数据采集次任务还包括：

确定所述至少一个目标遗漏数据采集子任务中的任务依赖关系；

确定所述至少一个目标遗漏数据采集子任务中的任务阶段关系；

和/或确定所述至少一个目标遗漏数据采集子任务中的任务批次关系；

根据所述任务依赖关系、所述任务阶段关系和/或所述任务批次关系配置至少一个目标遗漏数据采集次任务。

进一步地，所述方法还包括：

所述至少一个目标遗漏数据采集子任务根据所述任务依赖关系、任务阶段关系和/或任务批次关系自动排队和并发处理，实时更新所述目标统计数据集；

所述至少一个目标统计数据采集主任务和所述至少一个目标遗漏数据采集次任务并行处理，实时更新所述目标统计数据集。

第二方面，本发明公开了一种统计数据采集装置，所述装置包括：

第一获取模块，用于获取目标统计数据的采集任务信息；

第一配置模块，用于根据所述目标统计数据的采集任务信息配置至少一个目标统计数据采集主任务；

第一执行模块，用于执行所述至少一个目标统计数据采集主任务，并根据获取到的目标统计数据生成目标统计数据集；

第二获取模块，用于根据所述目标统计数据集获取目标统计数据遗漏信息；

第二配置模块，用于根据所述目标统计数据遗漏信息配置至少一个目标遗漏数据采集次任务；

第二执行模块，用于执行目标遗漏数据采集次任务，并获取采集到的目标遗漏数据；

更新模块，用于将所述目标遗漏数据添加至所述目标统计数据集中，并更新所述目标统计数据集。

进一步地，所述第二配置模块还包括：

数据类型确定单元，用于根据所述目标统计数据遗漏信息确定目标遗漏数据的数据类型；

数据源确定单元，用于根据所述目标统计数据遗漏信息确定目标遗漏数据的数据源服务器；

时间确定单元，用于根据所述目标统计数据遗漏信息确定目标遗漏数据的时间范围；

子任务配置单元，用于根据所述数据类型、所述数据源服务器和所述时间范围配置至少一个目标遗漏数据采集子任务；

次任务配置单元，用于根据所述至少一个目标遗漏数据采集子任务配置至少一个目标遗漏数据采集次任务。

进一步地，所述次任务配置单元还包括：

依赖关系确定子单元，用于确定所述至少一个目标遗漏数据采集子任务中的任务依赖关系；

阶段关系确定子单元，用于确定所述至少一个目标遗漏数据采集子任务中的任务阶段关系；

批次关系确定子单元，用于确定所述至少一个目标遗漏数据采集子任务中的任务批次关系。

第三方面，本发明公开了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现第一方面所述的一种统计数据采集方法。

第四方面，本发明公开了一种计算机存储介质，所述计算机存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现第一方面所述的一种统计数据采集方法。

采用上述技术方案，本发明所述的一种统计数据采集方法、装置及设备具有如下有益效果：本发明通过对统计数据采集任务的配置，高效地采集目标统计数数据。数据采集主任务能不被打断地一直进行数据的采集；同时针对随时出现的数据遗漏情况，根据遗漏数据的特点自动配置数据采集次任务并能对它们进行顺序排队和并发处理。数据采集次任务采集到的目标遗漏数据自动添加至数据采集主任务生成的数据统计集中，能及时地更新统计数据，更好地为统计分析环节服务。本发明所提供的一种统计数据采集方法能较快地恢复遗漏的数据，并降低了人工处理的时间和成本。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种统计数据采集方法的流程示意图；

图2是本发明实施例提供的一种统计数据采集方法中配置至少一个目标统计数据采集主任务的流程示意图；

图3是本发明实施例提供的通过将目标统计数据与历史统计数据进行对比获取目标统计数据遗漏信息的数据对比图；

图4是本发明实施例提供的一种统计数据采集方法中配置至少一个目标遗漏数据采集次任务的流程示意图；

图5是本发明实施例提供的一种统计数据采集方法中另一种配置至少一个目标遗漏数据采集次任务的流程示意图；

图6是本发明实施例提供的一种统计数据采集装置的结构示意图；

图7是本发明实施例提供的运行一种统计数据采集方法的计算机设备的硬件结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本发明的描述中，需要理解的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

图1是本发明实施例提供的一种统计数据采集方法的流程示意图，本说明书提供了如实施例或流程示意图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图1所示，所述统计数据采集方法可以包括：

S110：获取目标统计数据的采集任务信息。

在一些可行的实施方式中，统计分析系统的数据采集单元可以每天定点自动开始采集多个服务器多个数据库中的目标统计数据，或者由操作人员对采集任务进行目标统计数据的类型、采集任务时间点等事项的设定。

S120：根据所述目标统计数据的采集任务信息配置至少一个目标统计数据采集主任务。

在一些可行的实施方式中，如图2所示，本发明实施例提供的步骤S120可以包括以下步骤：

S121：获取目标统计数据的历史采集任务信息。

S122：根据所述历史采集任务信息确定目标统计数据采集主任务的任务时间。

可以理解的是，数据采集是指统计分析系统的采集单元每隔一定时间访问各服务器的各数据库并从中拉取目标统计数据。对于设置了定时工作的统计分析系统而言，则需要从历史采集任务信息中的任务结束时间点开始继续目标统计数据的采集任务。

S123：根据所述目标统计数据的采集任务信息确定目标统计数据的数据类型。

S124：根据所述目标统计数据的采集任务信息确定目标统计数据的数据源服务器。

S125：根据所述任务时间、数据类型和数据源服务器配置至少一个目标统计数据采集主任务。

在一些可行的实施方式中，对所述目标统计数据采集主任务的配置依据不限定于任务时间、数据类型和数据源服务器，此处只做示例说明。

优选地，可以根据所述至少一个目标统计数据的采集主任务之间的任务依赖关系、任务阶段关系和/或任务批次关系等，进行采集主任务的自动排队和/或并行处理，提高数据采集的效率。

S130：执行所述至少一个目标统计数据采集主任务，并根据获取到的目标统计数据生成目标统计数据集。

可以理解的是，统计分析系统将跨服务器跨数据库采集到的目标统计数据进行汇总得到所述目标统计数据集，并根据目标统计数据集进行统计分析得到目标统计数据的分析报表。

可以理解的是，目标统计数据集可以包含多个数据子集，并将所述多个数据子集存入数据库的多个表中，并分别对多个表的内容进行数据的统计分析。

S140：根据所述目标统计数据集获取目标统计数据遗漏信息。

可以理解的是，在采集过程中，容易发生数据遗漏的情况。原因有很多种，比如服务器提供商在对数据进行备份时需要对数据库进行锁表从而导致此时无法采集数据；也有可能是服务器断开连接，导致无法采集到该服务器中存储的数据；再有可能是在一开始配置数据采集任务的时候人为地遗漏一部分数据的采集任务，到统计分析阶段才发现缺失部分数据，需要重新采集。

在一些可行的实施方式中，本发明实施例提供的步骤S140可以包括以下步骤：

S141：通过将所述目标统计数据与历史统计数据进行对比，获取目标统计数据遗漏信息。

在一具体可行的实施方式中，如图3所示，实线系列1表示12月21日在线用户人数曲线图，虚线系列2表示12月22日在线用户曲线图。对于用户基数较为稳定的游戏应用而言，每日的在线用户人数曲线图应大致匹配，其中用户人数峰值时间段集中在19点至21点。但在图3中，虚线所表示的22日的在线用户人数在19点至21点之间并不是当天的峰值时间段。排出活动企划或者节假日的影响因素，数据特征出现差异的很大原因是在采集数据的过程中缺失了部分服务器中的数据，需要重新采集12月22日在线用户人数的相关数据进行验证。

S142：和/或，对目标统计数据集进行针对关键指标的统计分析，得到分析结果，并根据分析结果确定目标统计数据遗漏信息。

在另一些可行的实施方式中，还可以根据统计分析的结果，对超出误差范围阈值的数据重新采集。又或者人工根据统计分析的结果进行自主判定，给出目标统计数据遗漏信息。

S150：根据所述目标统计数据遗漏信息配置至少一个目标遗漏数据采集次任务。

在一些可行的实施方式中，如图4所示，本发明实施例提供的步骤S150可以包括以下步骤：

S151：根据所述目标统计数据遗漏信息确定目标遗漏数据的数据类型。

S152：根据所述目标统计数据遗漏信息确定目标遗漏数据的数据源服务器。

S153：根据所述目标统计数据遗漏信息确定目标遗漏数据的时间范围。

S154：根据所述数据类型、所述数据源服务器和所述时间范围配置至少一个目标遗漏数据采集子任务。

S155：根据所述至少一个目标遗漏数据采集子任务配置至少一个目标遗漏数据采集次任务。

在一些可行的实施方式中，所述目标统计数据遗漏信息根据统计分析的各个结果而来，所给出的遗漏信息中可能存在重复的遗漏数据的类型、时间范围或数据源，对所述目标统计数据遗漏信息进行分析识别，进一步地确定遗漏数据的相关属性并对其进行汇总分类，能够避免遗漏数据的重复采集，进一步地减少数据恢复的时间，提高数据采集的效率。

在一具体可行的实施方式中，以游戏数据库为具体的应用场景，游戏数据库中存储有充值数据、注册数据、留存数据、登录数据、注销数据等，以数据类型为主要对象配置目标遗漏数据采集子任务，执行所述目标遗漏数据采集子任务并根据数据类型的标识将采集到的目标遗漏数据添加到所述目标统计数据集中缺失该类型数据的至少一个数据子集中，并更新所述至少一个数据子集和所述目标统计数据集。

进一步地，如图5所示，本发明实施例提供的步骤S155还可以包括以下步骤：

S1551：确定所述至少一个目标遗漏数据采集子任务中的任务依赖关系。

S1552：确定所述至少一个目标遗漏数据采集子任务中的任务阶段关系。

S1553：和/或确定所述至少一个目标遗漏数据采集子任务中的任务批次关系。

S1554：根据所述任务依赖关系、所述任务阶段关系和/或所述任务批次关系配置至少一个目标遗漏数据采集次任务。

在一具体可行的实施方式中，可以直接执行所述各目标遗漏数据采集子任务，并将所述目标遗漏数据采集子任务获取的目标遗漏数据添加至目标数据统计数据集中。但这种简单的方式在一定程度上降低了数据采集的效率，同时不考虑任务时间上的顺序还会对数据分析的准确性造成影响。

可以理解的是，上述根据所述任务依赖关系、所述任务阶段关系和/或所述任务批次关系配置至少一个目标遗漏数据采集次任务能更高地提高数据采集的效率，减少数据恢复的时间，同时考虑到任务之间的依赖关系和阶段关系能以更正确的顺序更新目标统计数据集中的数据，满足实时统计分析的应用需要。

在一具体可行的实施方式中，已知需要重新采集2019年十一月份的新注册用户数据和用户留存数据，分别配置遗漏数据采集子任务，子任务1的数据类型为新注册用户数据，采集时间范围为2019年十一月，子任务2的数据类型为用户留存数据，采集时间范围为2019年十一月。现依据统计分析应用的实际需求，该两种数据类型的数据采集需要交替进行，则实际任务执行过程中，先执行子任务1并采集十一月一日的新注册用户数据，完成后触发子任务2，采集十一月一日的用户留存数据；在之后触发子任务1并采集十一月二日的新注册用户数据，完成后触发子任务2，采集十一月二日的用户留存数据......直至完成这个十一月份新注册用户数据和用户留存数据的采集。

在一具体可行的实施方式中，游戏软件的运行数据一般一个游戏服(或称一个游戏社区)对应一个数据库，多个数据库存储的数据类型相同。对于相同数据类型和时间范围但是不同数据源服务器的目标遗漏数据采集次任务，也可以多批次进行以提高数据采集效率。根据统计分析应用的实际需求配置目标遗漏数据采集子任务之间的依赖关系、阶段关系和/或批次关系能更好地服务于统计分析，也能更快恢复遗漏数据，减少重复采集的过程。

S160：执行所述至少一个目标遗漏数据采集次任务，并获取采集到的目标遗漏数据。

优选地，还可以根据所述目标统计数据遗漏信息计算目标遗漏数据采集次任务中的采集频率，在不影响所述目标统计数据采集主任务的情况下尽快地采集、恢复遗漏数据，以满足实时统计分析的应用需要。

S170：将所述目标遗漏数据添加至所述目标统计数据集中，并更新所述目标统计数据集。

优选地，根据遗漏数据的数据类型，将所述目标遗漏数据添加至所述目标统计数据集中缺失该类型数据的数据子集中，并以表的形式存入用于统计分析的数据库中。

可以理解的是，统计分析系统根据更新后的目标统计数据集重新进行统计分析，得到目标统计数据的分析结果。所述分析结果基于更为完整的数据，具有更高的真实性和可信度。

优选地，本发明实施例提供的一种统计数据采集方法所述方法还可以包括：

所述至少一个目标遗漏数据采集子任务根据所述任务依赖关系、任务阶段关系和/或任务批次关系自动排队和并发处理，实时更新所述目标统计数据集；

所述至少一个目标统计数据采集主任务和所述至少一个目标遗漏数据采集次任务并行处理，实时更新所述目标统计数据集。

本发明实施例还提供了一种统计数据采集装置，如图6所示，所述装置包括：

第一获取模块610，用于获取目标统计数据的采集任务信息。

第一配置模块620，用于根据所述目标统计数据的采集任务信息配置至少一个目标统计数据采集主任务。

第一执行模块630，用于执行所述至少一个目标统计数据采集主任务，并根据获取到的目标统计数据生成目标统计数据集。

第二获取模块640，用于根据所述目标统计数据集获取目标统计数据遗漏信息。

第二配置模块650，用于根据所述目标统计数据遗漏信息配置至少一个目标遗漏数据采集次任务。

在一些可行的实施方式中，所述第二配置模块650还包括：

数据类型确定单元651，用于根据所述目标统计数据遗漏信息确定目标遗漏数据的数据类型。

数据源确定单元652，用于根据所述目标统计数据遗漏信息确定目标遗漏数据的数据源服务器。

时间确定单元653，用于根据所述目标统计数据遗漏信息确定目标遗漏数据的时间范围。

子任务配置单元654，用于根据所述数据类型、所述数据源服务器和所述时间范围配置至少一个目标遗漏数据采集子任务。

次任务配置单元655，用于根据所述至少一个目标遗漏数据采集子任务配置至少一个目标遗漏数据采集次任务。

在一些可行的实施方式中，所述次任务配置单元655还包括：

依赖关系确定子单元6551，用于确定所述至少一个目标遗漏数据采集子任务中的任务依赖关系。

阶段关系确定子单元6552，用于确定所述至少一个目标遗漏数据采集子任务中的任务阶段关系。

批次关系确定子单元6553，用于确定所述至少一个目标遗漏数据采集子任务中的任务批次关系。

第二执行模块660，用于执行目标遗漏数据采集次任务，并获取采集到的目标遗漏数据。

更新模块670，用于将所述目标遗漏数据添加至所述目标统计数据集中，并更新所述目标统计数据集。

本发明实施例所述的一种统计数据采集装置与方法实施例基于相同的发明构思，详情请参考方法实施例，在此不再赘述。

本发明实施例还提供了一种计算机设备，所述设备包括：处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如本发明实施例的一种统计数据采集方法。

存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。

本发明实施例所提供的方法实施例可以在计算机终端、服务器或者类似的运算装置中执行，即上述计算机设备可以包括计算机终端、服务器或者类似的运算装置。图7是本发明实施例提供的运行一种统计数据采集方法的计算机设备的硬件结构框图，如图7所示，该计算机设备的内部结构可包括但不限于：处理器、网络接口及存储器。其中，计算机设备内的处理器、网络接口及存储器可通过总线或其他方式连接，在本说明书实施例所示图7中以通过总线连接为例。

其中，处理器(或称CPU(Central Processing Unit，中央处理器))是计算机设备的计算核心以及控制核心。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI、移动通信接口等)。存储器(Memory)是计算机设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的存储器可以是高速RAM存储设备，也可以是非不稳定的存储设备(non-volatile memory)，例如至少一个磁盘存储设备；可选的还可以是至少一个位于远离前述处理器的存储装置。存储器提供存储空间，该存储空间存储了电子设备的操作系统，可包括但不限于：Windows系统(一种操作系统)，Linux(一种操作系统)，Android(安卓，一种移动操作系统)系统、IOS(一种移动操作系统)系统等等，本发明对此并不作限定；并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。在本说明书实施例中，处理器加载并执行存储器中存放的一条或一条以上指令，以实现上述方法实施例提供的统计数据采集方法。

本发明实施例还提供了一种计算机存储介质，所述计算机存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行如本发明实施例所述的一种统计数据采集方法。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、系统和服务器实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种统计数据采集方法，其特征在于，所述方法包括：

获取目标统计数据的采集任务信息；

根据所述目标统计数据的采集任务信息配置至少一个目标统计数据采集主任务，所述目标统计数据采集主任务包括任务时间、数据类型和数据源服务器；

执行所述至少一个目标统计数据采集主任务，并根据获取到的目标统计数据生成目标统计数据集；

对所述目标统计数据集进行关键指标的分析，确定目标统计数据遗漏信息；

根据所述目标统计数据遗漏信息确定目标遗漏数据的数据类型、数据源服务器和时间范围；

根据所述数据类型、所述数据源服务器和所述时间范围配置至少一个目标遗漏数据采集子任务；

确定所述至少一个目标遗漏数据采集子任务中的任务依赖关系、任务阶段关系和/或任务批次关系；

根据所述任务依赖关系、所述任务阶段关系和/或所述任务批次关系配置至少一个目标遗漏数据采集次任务；

所述至少一个目标遗漏数据采集子任务根据所述任务依赖关系、任务阶段关系和/或任务批次关系自动排队和并发处理，以及所述至少一个目标统计数据采集主任务和所述至少一个目标遗漏数据采集次任务并行处理，实时更新所述目标统计数据集。

2.根据权利要求1所述的统计数据采集方法，其特征在于，所述根据所述目标统计数据的采集任务信息配置至少一个目标统计数据采集主任务包括：

获取目标统计数据的历史采集任务信息；

根据所述历史采集任务信息确定目标统计数据采集主任务的任务时间；

根据所述目标统计数据的采集任务信息确定目标统计数据的数据类型；

根据所述目标统计数据的采集任务信息确定目标统计数据的数据源服务器；

根据所述任务时间、数据类型和数据源服务器配置至少一个目标统计数据采集主任务。

3.一种统计数据采集装置，其特征在于，所述装置包括：

第一获取模块，用于获取目标统计数据的采集任务信息；

第一配置模块，用于根据所述目标统计数据的采集任务信息配置至少一个目标统计数据采集主任务，所述目标统计数据采集主任务包括任务时间、数据类型和数据源服务器；

第一执行模块，用于执行所述至少一个目标统计数据采集主任务，并根据获取到的目标统计数据生成目标统计数据集；

第二获取模块，用于对所述目标统计数据集进行关键指标的分析，确定目标统计数据遗漏信息；

第二配置模块，用于根据所述目标统计数据遗漏信息确定目标遗漏数据的数据类型、数据源服务器和时间范围；

根据所述数据类型、所述数据源服务器和所述时间范围配置至少一个目标遗漏数据采集子任务；

确定所述至少一个目标遗漏数据采集子任务中的任务依赖关系、任务阶段关系和/或任务批次关系；

根据所述任务依赖关系、所述任务阶段关系和/或所述任务批次关系配置至少一个目标遗漏数据采集次任务；

第二执行模块，用于所述至少一个目标遗漏数据采集子任务根据所述任务依赖关系、任务阶段关系和/或任务批次关系自动排队和并发处理，以及所述至少一个目标统计数据采集主任务和所述至少一个目标遗漏数据采集次任务并行处理，实时更新所述目标统计数据集。

4.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行如权利要求1至2中任一项所述的一种统计数据采集方法。

Images