CN110298001B - 日志数据包的获取方法和装置及计算机可读存储介质 - Google Patents

Abstract

本申请实施例提供了一种日志数据包的获取方法、装置及计算机可读存储介质，应用于日志采集终端向服务器发送至少一个日志数据包的过程中，所述方法执行于所述服务器中，所述方法包括：获取所述日志采集终端发送的第一日志数据包的数据包总数量；根据所述数据包总数量和所述日志采集终端的预设发包总数量，获取第一日志完成率；根据所述第一日志完成率，获取第一日志获取时长；在所述第一日志获取时长内继续等待接收第二日志数据包，并在所述第一日志获取时长内接收到所述第二日志数据包的情况下，根据所述第一日志数据包和所述第二日志数据包获取最终日志数据包。

Description

日志数据包的获取方法和装置及计算机可读存储介质

技术领域

本申请涉及数据处理技术领域，特别是涉及一种日志数据包的获取方法和装置及计算机可读存储介质。

背景技术

随着视频业务的快速发展，产生了大量的日志(如用户是否点击观看视频广告，或者用户观看视频广告的观看时间等日志)，这样，服务器需要对产生的大量日志进行日志处理，其中，考虑到日志可能为不同类型，从而需要日志采集终端首先采集日志，然后对采集到的日志进行格式转换并打包得到日志数据包，最后将日志数据包发送至服务器，以便服务器可以根据接收到的日志数据包进行日志分析。

由于日志采集终端可能发生故障，或者日志采集终端与服务器之间的网络连接异常等，使得服务器接收到的日志数据包的数据包总数量存在不确定性，在现有技术中，通常通过设置预设完成系数，以使得服务器在接收到的日志数据包的数据包总数量和日志采集终端的预设发包总数量的比值，达到该预设完成系数的情况下，对该日志数据包进行日志分析，例如，若该预设完成系数为60％，则在接收到的数据包总数量和预设发包总数量的比值为60％的情况下，即可以对该日志数据包进行日志分析。

但是，发明人在研究上述方案中发现，日志采集终端还可能存在发包延迟，从而使得服务器在延迟一段时间后才能够接收到延迟日志数据包，而通过设置预设完成系数，使得服务器进行日志分析的日志数据包可能并未包括延迟日志数据包，导致进行日志分析的日志数据包不准确，从而造成日志分析的准确率较低的问题。

发明内容

鉴于上述问题，本申请实施例提供一种日志数据包的获取方法和装置及计算机可读存储介质，以解决现有技术中服务器获取到的日志数据包不准确导致的日志分析效率较低的问题。

根据本申请实施例的第一方面，提供一种日志数据包的获取方法，应用于日志采集终端向服务器发送至少一个日志数据包的过程中，所述方法执行于所述服务器中，所述方法包括：

获取所述日志采集终端发送的第一日志数据包的数据包总数量；

根据所述数据包总数量和所述日志采集终端的预设发包总数量，获取第一日志完成率；

根据所述第一日志完成率，获取第一日志获取时长；

在所述第一日志获取时长内继续等待接收第二日志数据包，并在所述第一日志获取时长内接收到所述第二日志数据包的情况下，根据所述第一日志数据包和所述第二日志数据包获取最终日志数据包。

根据本申请实施例的第二方面，提供一种日志数据包的获取装置，应用于日志采集终端向服务器发送至少一个日志数据包的过程中，所述装置部署于所述服务器中，所述装置包括：

总数量获取模块，用于获取所述日志采集终端发送的第一日志数据包的数据包总数量；

完成率获取模块，用于根据所述数据包总数量和所述日志采集终端的预设发包总数量，获取第一日志完成率；

时长获取模块，用于根据所述第一日志完成率，获取第一日志获取时长；

数据包等待接收模块，用于在所述第一日志获取时长内继续等待接收第二日志数据包；

最终数据包获取模块，用于在所述第一日志获取时长内接收到所述第二日志数据包的情况下，根据所述第一日志数据包和所述第二日志数据包获取最终日志数据包。

根据本申请实施例的第三方面，提供一种日志数据包的获取装置，包括处理器以及存储器，其中，

所述处理器执行所述存储器所存放的计算机程序代码，以实现本申请所述的日志数据包的获取方法的步骤。

根据本申请实施例的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现本申请所述的日志数据包的获取方法的步骤。

本申请实施例包括以下优点：本申请实施例应用于日志采集终端向服务器发送至少一个日志数据包的过程中，所述方法执行于所述服务器中，首先获取所述日志采集终端发送的第一日志数据包的数据包总数量；接着根据所述数据包总数量和所述日志采集终端的预设发包总数量，获取第一日志完成率；然后根据所述第一日志完成率，获取第一日志获取时长；最后在所述第一日志获取时长内继续等待接收第二日志数据包，并在所述第一日志获取时长内接收到所述第二日志数据包的情况下，根据所述第一日志数据包和所述第二日志数据包获取最终日志数据包。综上，由于本申请通过数据统计方法预先对不同完成率范围设置有对应的日志获取时长，该日志获取时长为继续获取相对完整的日志数据包的时长，因此，可以根据第一日志完成率确定第一日志获取时长，并在第一日志获取时长内继续等待接收第二日志数据包，该第二日志数据包即为延迟日志数据包，从而实现了获取到延迟日志数据包，使得最终日志数据包中可以包括延迟日志数据包，进而可以基于相对完整的最终日志数据包进行日志分析，避免了日志采集终端发包延迟造成的延迟日志数据包未被获取导致日志分析准确率较低的问题。

附图说明

图1是本申请的一种日志数据包的获取方法实施例的步骤流程图；

图2是本申请的一种日志数据包的获取方法可选实施例的步骤流程图；

图3是本申请的一种日志数据包的获取方法的流程示意图；

图4是本申请的一种日志数据包的获取装置实施例的结构框图；

图5是本申请的一种日志数据包的获取装置可选实施例的结构框图；

图6是本申请的一种日志数据包的获取装置可选实施例的结构框图；

图7是本申请的一种日志数据包的获取装置可选实施例的结构框图；

图8为本申请的一种日志数据包的获取装置可选实施例的结构框图；

图9是本申请的一种日志数据包的获取装置可选实施例的结构框图；

图10为本申请的另一实施例提供的日志数据包的获取装置的硬件结构示意图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。

下面将结合具体实施例对本申请进行详细说明。

参照图1，示出了本申请的一种日志数据包的获取方法实施例的步骤流程图，应用于日志采集终端向服务器发送至少一个日志数据包的过程中，所述方法执行于所述服务器中，具体可以包括如下步骤：

步骤101，获取所述日志采集终端发送的第一日志数据包的数据包总数量。

在本申请实施例中，该日志数据包可以为离线日志的数据包。其中，在该日志采集终端为单个日志采集终端的情况下，该单个日志采集终端按照预设时间间隔将该日志数据包发送至服务器；在该日志采集终端为多个日志采集终端的情况下，每个日志采集终端均可以按照预设时间间隔将日志数据包发送至服务器。示例地，若该预设时间间隔为5分钟，则每个日志采集终端均可以每隔5分钟将获取到的日志数据包发送至服务器。其中，可以预先设置有终端列表，该终端列表中包括各个日志采集终端的终端标识，该各个日志采集终端中存在可能发生故障的终端，这样，本申请可以获取终端列表中各个终端标识对应的日志采集终端的发包数量，并获取全部日志采集终端的发包数量的和值得到该数据包总数量。

需要说明的是，由于日志采集终端需要发送不同时间段的日志数据包至服务器，因此，服务器针对每个时间段分别执行本申请中的日志数据包的获取过程。为了便于服务器对不同时间段的日志数据包进行管理，服务器可以针对不同时间段设置对应的日志文件夹，以使得各个日志文件夹用于存储对应的时间段内的日志数据包。综上，本申请中的日志数据包可以设置有时间段标识，使得服务器可以根据时间段标识将指定时间段内的日志数据包发送至对应的日志文件夹。示例地，若该日志数据包为12:00～13:00之间的数据包，则对应的日志文件夹为doc.1，若该日志数据包为13:00～14:00之间的数据包，则对应的日志文件夹为doc.2，若该日志数据包为14:00～15:00之间的数据包，则对应的日志文件夹为doc.3，若该日志数据包为15:00～16:00之间的数据包，则对应的日志文件夹为doc.4，这样，若本申请需要针对当前时间段15:00～16:00执行日志数据包的获取过程，则日志文件夹doc.4中存储的数据包为该第一日志数据包，此时，可以在日志文件夹doc.4中获取该第一日志数据包的数据包总数量。

在另一种可能的实现方式中，还可以设置与日志采集终端和服务器分别连接的分布式文件系统，并且在服务器上部署有日志检测服务，这样，日志采集终端可以通过网络传输，按照预设时间间隔将日志数据包发送至分布式文件系统，由服务器中部署的日志检测服务从分布式文件系统中存储的日志数据包，获取该第一日志数据包的数据包总数量，该分布式文件系统也可以将该日志数据包按照不同时间段存储至对应的日志文件夹中，不再赘述。

步骤102，根据所述数据包总数量和所述日志采集终端的预设发包总数量，获取第一日志完成率。

在本申请实施例中，由于可以预先设置有终端列表，该终端列表中包括各个日志采集终端的终端标识，该各个日志采集终端中存在可能发生故障的终端，这样，本申请可以获取终端列表中各个终端标识对应的日志采集终端的预设发包数量。其中，由于日志采集终端每次发送一个日志数据包，这样，该日志采集终端的预设发包数量可以根据上述预设时间间隔和当前时间段的时长确定，即计算该当前时间段的时长与该预设时间间隔的比值，若该比值为整数，则确定该比值为该预设发包数量；若该比值为小数，则确定该小数中的整数部分对应的数值为该预设发包数量，其中，该预设发包数量为理论上计算得到的日志采集终端的发包数量。此时，该预设发包总数量为该终端列表中包括的全部日志采集终端的预设发包数量的和值。

示例地，在每个日志采集终端对应的预设时间间隔为5分钟，且该当前时间段为15:00～16:00的情况下，该某个日志采集终端的预设发包数量即为12个，此时，该预设发包总数量即为日志采集终端的终端数量和12的乘积；在每个日志采集终端对应的预设时间间隔为10分钟，且该当前时间段为15:00～16:00的情况下，每个日志采集终端的预设发包数量即为6个，此时，该预设发包总数量即为日志采集终端的终端数量和6的乘积；在每个日志采集终端对应的预设时间间隔为10分钟，且该当前时间段为14:00～16:00的情况下，每个日志采集终端的预设发包数量即为12个，此时，该预设发包总数量即为日志采集终端的终端数量和12的乘积，等等。

由于可能存在日志采集终端发生故障，或者日志采集终端与服务器之间网络连接异常，或者日志采集终端存在发包延迟等问题，从而造成服务器接收到的数据包总数量与预设发包总数量可能存在差异，因此，在本步骤前，首先判断数据包总数量和预设发包总数量是否相同；然后在数据包总数量和预设发包总数量不相同的情况下，根据数据包总数量和日志采集终端的预设发包总数量，获取第一日志完成率，即计算数据包总数量和预设发包总数量之间的比值得到第一日志完成率，该目标日志完成率应该小于1。

在本申请的另一实施例中，该日志数据包中还可以包括对应的日志采集终端的终端标识，如日志采集终端包括终端C1、终端C2、…、终端Cn，则终端C1设置的终端标识可以为IP1，终端C2设置的终端标识可以为IP2，…，终端Cn设置的终端标识可以为IPn，此时，可以根据终端标识获取每个日志采集终端在该当前时间段内发送的第一日志数据包的数据包数量，本申请还可以获取到每个日志采集终端的预设发包数量，这样，可以确定每个日志采集终端对应的数据包数量和每个日志采集终端对应的预设发包数量是否相同，并在任一日志采集终端对应的数据包数量和任一日志采集终端对应的预设发包数量不相同的情况下，首先计算每个日志采集终端的数据包数量的和值得到数据包总数量；然后计算每个日志采集终端的预设发包数量的和值得到预设发包总数量；最后根据数据包总数量和预设发包总数量得到第一日志完成率。示例地，若每个日志采集终端的预设发包数量均为12个，日志采集终端的终端数量为100个，则可以得到预设发包总数量为1200个，然后在获取到数据包总数量为1150个的情况下，计算数据包总数量与预设发包总数量的比值得到第一日志完成率95.8％，上述示例只是举例说明，本申请对此不作限定。

步骤103，根据第一日志完成率，获取第一日志获取时长。

本申请可以预先设置完成率范围与日志获取时长之间的对应关系；该对应关系中的数值可以根据数据统计得到，这样，可以根据该对应关系，获取第一日志完成率所在完成率范围对应的第一日志获取时长。其中，所述第一日志获取时长与所述第一日志完成率之间成反比关系，即若该第一日志完成率越高，则该第一日志获取时长越短，若该第一日志完成率越低，则该第一日志获取时长越长。

示例地，该对应关系可以包括：若完成率范围为：(0，95％]，则对应的日志获取时长为30分钟；若完成率范围为：(95％，97％]，则对应的日志获取时长为15分钟；若完成率范围为：(97％，99％]，则对应的日志获取时长为5分钟；若完成率范围为：(99％，1)，则对应的日志获取时长为2分钟。这样，在第一日志完成率为95.8％的情况下，该第一日志获取时长为15分钟，上述示例只是举例说明，本申请对此不作限定。

步骤104，在所述第一日志获取时长内继续等待接收第二日志数据包，并在所述第一日志获取时长内接收到所述第二日志数据包的情况下，根据所述第一日志数据包和所述第二日志数据包获取最终日志数据包。

在本申请实施例中，由于日志采集终端可以将不同时间段的日志数据包发送至服务器，以便服务器针对每个时间段分别执行本申请中的日志数据包的获取过程，因此，本步骤中的第一日志数据包与该第二日志数据包均为该日志采集终端发送的当前时间段的日志数据包。

另外，该日志采集终端可以按照预设时间间隔发送当前时间段的日志数据包，可见，该第一日志数据包的发送时间早于该第二日志数据包的发送时间，以使得服务器在接收到发送时间较早的第一日志数据包的情况下，继续等待接收第二日志数据包，以使得本申请可以得到相对完整的最终日志数据包。

采用上述方法，由于本申请通过数据统计方法预先对不同完成率范围设置有对应的日志获取时长，该日志获取时长为继续获取相对完整的日志数据包的时长，因此，可以根据第一日志完成率确定第一日志获取时长，并在第一日志获取时长内继续等待接收第二日志数据包，该第二日志数据包即为延迟日志数据包，从而实现了获取到延迟日志数据包，使得最终日志数据包中可以包括延迟日志数据包，进而可以基于相对完整的最终日志数据包进行日志分析，避免了日志采集终端发包延迟造成的延迟日志数据包未被获取导致日志分析准确率较低的问题。

参照图2，示出了本申请的一种日志数据包的获取方法可选实施例的步骤流程图，首先，对本申请的应用场景进行说明，本申请可以应用于海量日志处理的场景，在该场景下，首先，可以通过多个日志采集终端采集日志数据，并按照预设时间间隔，将采集到的日志数据进行格式转换以及压缩打包得到日志数据包，以及将采集到的日志数据包通过网络传输发送至服务器，接着，由于服务器上预先部署有日志检测服务和日志处理服务，因此，可以由日志检测服务采用本申请中的日志数据包的获取方法获取到当前时间段内相对完整的最终日志数据包，并由日志处理服务将最终日志数据包中的各个字段进行抽取、相互转换并加载到基础表中，然后对基础表进行降维和聚合，生成中间表，以提取有效日志数据，并减少数据量，再次服务器可以根据中间表生成数据报表，最后用户通过查询服务从数据报表中查询需要的信息数据，例如，可以通过查询服务获取到用户行为特征等信息(如用户点击次数和广告曝光次数等)，从而可以根据用户行为特征得到用户的计费信息数据，或者可以根据用户行为特征得到投放信息数据，如广告投资方通过查询某一个广告订单的用户点击次数和广告曝光次数，分析出该广告订单的投放信息数据(如广告转化率)，以便确定后续的投放策略。

如图2所示，该方法应用于日志采集终端向服务器发送至少一个日志数据包的过程中，所述方法执行于服务器中，具体可以包括如下步骤：

步骤201，获取所述日志采集终端发送的第一日志数据包的数据包总数量。具体内容可以参考步骤101，不再赘述。

其中，本申请中的数据包总数量可以包括在当前时间段对应的时间段终止时刻，获取到的第一日志数据包的数量；由于日志采集器间断地向服务器发送日志数据包，因此，服务器可以在该当前时间段内的某一时刻获取该第一日志数据包的数据包总数量，该某一时刻与该时间段终止时刻之间的时长小于或者等于预设时长；另外，考虑到日志采集器与服务器存在通信延迟，本申请中的数据包总数量还可以包括在当前时间段之后的某一时刻，获取到的第一日志数据包的数量，同理地，该某一时刻与该时间段终止时刻之间的时长小于或者等于预设时长，上述示例只是举例说明，本申请对此不作限定。

步骤202，判断数据包总数量和日志采集终端的预设发包总数量是否相同。

在本申请实施例中，该预设发包总数量的获取过程可以参考步骤102，不再赘述。

在数据包总数量和预设发包总数量相同的情况下，执行步骤203；

在数据包总数量和预设发包总数量不相同的情况下，执行步骤204至步骤207。

步骤203，确定第一日志数据包为最终日志数据包。

由于该日志采集终端可能未发生故障，以及日志采集终端与服务器之间网络连接正常，以及日志采集终端不存在发包延迟等，从而使得服务器接收到的第一日志数据包的数据包总数量与预设发包总数量相同，这样，接收到的第一日志数据包即为完整的最终日志数据包。

步骤204，根据数据包总数量和日志采集终端的预设发包总数量获取第一日志完成率。

在本步骤中，可以计算数据包总数量和预设发包总数量之间的比值得到第一日志完整率。示例地，若每个日志采集终端的预设发包数量均为12个，日志采集终端的终端数量为100个，则可以得到预设发包总数量为1200个，然后在获取到数据包总数量为1150个的情况下，计算该数据包总数量和该预设发包总数量之间的比值得到第一日志完成率95.8％，上述示例只是举例说明，本申请对此不作限定。

步骤205，获取完成率范围与日志获取时长之间的对应关系。

其中，该对应关系中的数值可以根据数据统计得到，该日志获取时长为继续获取相对完整的日志数据包的时长。示例地，该对应关系可以包括：若完成率范围为：(0，95％]，则对应的日志获取时长为30分钟；若完成率范围为：(95％，97％]，则对应的日志获取时长为15分钟；若完成率范围为：(97％，99％]，则对应的日志获取时长为5分钟；若完成率范围为：(99％，1)，则对应的日志获取时长为2分钟。

步骤206，根据所述对应关系，获取第一日志完成率所在完成率范围对应的第一日志获取时长。

在本步骤中，该第一日志完成率与该第一日志获取时长成反比关系，即若该第一日志完成率越高，表示已经获取到的数据包越多，未获取到的数据包越少，因此继续等待获取数据包的时长越短，也即该第一日志获取时长越短。相反的，若该第一日志完成率越低，表示已经获取到的数据包越少，未获取到的数据包越多，因此继续等待获取数据包的时长越长，也即该第一日志获取时长越长，用来获取更多的数据包。

其中，可以首先获取第一日志完成率所在的完成率范围，然后确定第一日志完成率所在的完成率范围对应的第一日志获取时长。示例地，继续以步骤205中的示例为例进行说明，若第一日志完成率为95.8％，则所在的完成率范围为：(95％，97％]，此时，该第一日志获取时长为15分钟，上述示例只是举例说明，本申请对此不作限定。

步骤207，按照预设周期，在所述第一日志获取时长内检测是否接收到所述第二日志数据包。

其中，该第一日志获取时长对应的起始时刻为该第一日志数据包的检测时刻，因此，可以对每个日志数据包设置有检测时刻。

示例地，若该预设周期为3分钟，且第一日志获取时长为15分钟，则可以在该15分钟内每隔3分钟检测是否接收到第二日志数据包。

在第一日志获取时长内接收到第二日志数据包的情况下，执行步骤208和步骤209；

在第一日志获取时长内未接收到第二日志数据包的情况下，执行步骤203。

步骤208，将所述第一日志数据包和所述第二日志数据包作为数据包集。

步骤209，判断所述数据包集对应的数据包数量与所述预设发包总数量之间的比值是否大于或者等于预设比值。

在数据包集对应的数据包数量与所述预设发包总数量之间的比值大于或者等于预设比值的情况下，执行步骤210；

在数据包集对应的数据包数量与所述预设发包总数量之间的比值小于预设比值的情况下，执行步骤211。

步骤210，确定所述第一日志数据包和所述第二日志数据包为所述最终日志数据包。

步骤211，循环执行数据包集更新步骤得到更新后的数据包集，直至所述更新后的数据包集满足预设循环终止条件时，停止执行数据包集更新步骤，并确定所述更新后的数据包集为最终日志数据包。

在本申请的可选实施例中，由于在获取到第二日志数据包后，该日志完成率发生变化，从而若继续按照该第一日志获取时长获取该最终日志数据包，则会存在耗费较长时间的问题，因此，为了解决该问题，本申请还可以循环执行数据包集更新步骤，所述数据包集更新步骤包括：根据所述数据包集对应的数据包数量和所述预设发包总数量，获取第二日志完成率；并根据所述第二日志完成率，获取第二日志获取时长；以及在所述第二日志获取时长内接收到第三日志数据包的情况下，将所述第三日志数据包添加至所述数据包集中得到更新后的数据包集。

其中，所述预设循环终止条件包括：所述更新后的数据包集对应的数据包数量与所述预设发包总数量之间的比值大于或者等于所述预设比值；或者，所述更新后的数据包集包括的全部数据包对应的最新数据包接收时刻和当前时刻之间的时长大于或者等于最新获取到的日志获取时长。

进一步地，可以计算数据包集对应的数据包数量和预设发包总数量之间的比值得到第二日志完成率，并根据完成率范围与日志获取时长之间的对应关系，获取第二日志完成率所在完成率范围对应的第二日志获取时长。

示例地，继续以步骤206中的示例为例进行说明，若数据包总数量为1150个，预设发包总数量为1200个，第一日志完成率为95.8％，且第一日志获取时长为15分钟，则在第一日志获取时长的第3分钟获取到20个第二日志数据包的情况下，数据包集对应的数据包数量为1170个，此时，可以获取到数据包集对应的数据包数量和该预设发包总数量的比值为97.5％，首先判断97.5％是否大于或者等于预设比值，若97.5％大于或者等于预设比值，则可以确定20个第二日志数据包与1150个第一日志数据包为最终日志数据包，若97.5％小于预设比值，则可以获取到第二日志完成率为97.5％，且对应的第二日志获取时长为5分钟，这样，可以在上述第3分钟之后的5分钟内继续按照预设周期检测是否接收到第三日志数据包，从而无需在15分钟内一直检测日志数据包，从而缩短了检测时间，上述示例只是举例说明，本申请对此不作限定。

为了便于理解，图3示出了一种日志数据包的获取方法的流程示意图，其中，预设比值为1，如图3所示，在流程开始后，可以判断当前时刻接收到的日志数据包的数据包总数量是否与日志采集终端的预设发包总数量相同，在当前时刻接收到的日志数据包的数据包总数量与预设发包总数量相同的情况下，确定流程结束，在当前时刻接收到的日志数据包的数据包总数量与预设发包总数量不相同的情况下，可以根据当前时刻接收到的日志数据包的数据包总数量与预设发包总数量获取日志完成率，如图3所示，该完成率范围包括(0，95％]、(95％，97％]、(97％，99％]以及(99％，1)，因此，可以依次判断该日志完成率是否属于图3中所示的完成率范围，并在获取到该日志完成率属于的完成率范围情况下，由于预先设置有完成率范围与日志获取时长之间的对应关系，因此，可以确定日志完成率所在的完成率范围对应的日志获取时长，并判断在日志获取时长内是否未接收到新的日志数据包，若在日志获取时长内接收到新的日志数据包，则当前时刻接收到的日志数据包的数据包总数量发生更改，并返回判断当前时刻接收到的日志数据包的数据包总数量是否与日志采集终端的预设发包总数量是否相同。示例地，若当前时刻接收到的第一日志数据包的数据包总数量为1150个，预设发包总数量为1200个，则由于第一日志数据包的数据包总数量与预设发包总数量不相同，因此，根据当前时刻接收到的第一日志数据包的数据包总数量以及预设发包总数量计算第一日志完成率为95.8％，如图3所示，第一日志完成率所在的日志完成率范围为(95％，97％]，以及该日志完成率范围(95％，97％]对应的第一日志获取时长为15分钟，并在该第一日志获取时长15分钟内继续等待接收第二日志数据包，若在第一日志获取时长的第3分钟接收到20个第二日志数据包，则当前时刻接收到的日志数据包为：1150个第一日志数据包以及20个第二日志数据包，此时，当前时刻接收到的日志数据包的数据包总数量更改为1170个，并返回判断当前时刻接收到的日志数据包的数据包总数量与预设发包总数量是否相同，由于更改后的数据包总数量与预设发包总数量不相同，则可以根据更改后的数据包总数量与预设发包总数量获取第二日志完成率97.5％，且对应的第二日志获取时长为5分钟，这样，可以在上述第3分钟之后的5分钟内继续等待接收日志数据包。

采用上述方法，由于本申请通过数据统计方法预先对不同完成率范围设置有对应的日志获取时长，该日志获取时长为继续获取相对完整的日志数据包的时长，因此，可以根据第一日志完成率确定第一日志获取时长，并在第一日志获取时长内继续等待接收第二日志数据包，该第二日志数据包即为延迟日志数据包，从而实现了获取到延迟日志数据包，使得最终日志数据包中可以包括延迟日志数据包，进而可以基于相对完整的最终日志数据包进行日志分析，避免了日志采集终端发包延迟造成的延迟日志数据包未被获取导致日志分析准确率较低的问题。

参照图4，示出了本申请的一种日志数据包的获取装置400实施例的结构框图，应用于日志采集终端向服务器发送至少一个日志数据包的过程中，所述装置部署于所述服务器中，所述装置400包括：

总数量获取模块401，用于获取所述日志采集终端发送的第一日志数据包的数据包总数量；

完成率获取模块402，用于根据所述数据包总数量和所述日志采集终端的预设发包总数量，获取第一日志完成率；

时长获取模块403，用于根据所述第一日志完成率，获取第一日志获取时长；

数据包等待接收模块404，用于在所述第一日志获取时长内继续等待接收第二日志数据包；

最终数据包获取模块405，用于在所述第一日志获取时长内接收到所述第二日志数据包的情况下，根据所述第一日志数据包和所述第二日志数据包获取最终日志数据包。

参照图5，在本申请的一个可选实施例中，该装置400还包括：

对应关系获取模块406，用于获取完成率范围与日志获取时长之间的对应关系；

所述时长获取模块403，用于根据所述对应关系，获取所述第一日志完成率所在完成率范围对应的第一日志获取时长。

在本申请的一个可选实施例中，所述第一日志获取时长与所述第一日志完成率之间成反比关系。

参照图6，在本申请的一个可选实施例中，所述数据包等待接收模块404，用于按照预设周期，在所述第一日志获取时长内检测是否接收到所述第二日志数据包；

所述最终数据包获取模块405，包括：

数据包集确定子模块4051，用于将所述第一日志数据包和所述第二日志数据包作为数据包集；

判断子模块4052，用于判断所述数据包集对应的数据包数量与所述预设发包总数量之间的比值是否大于或者等于预设比值；

最终数据包确定子模块4053，用于在所述数据包集对应的数据包数量与所述预设发包总数量之间的比值大于或者等于所述预设比值的情况下，确定所述第一日志数据包和所述第二日志数据包为所述最终日志数据包。

参照图7，在本申请的一个可选实施例中，所述最终数据包获取模块405还包括：

循环执行子模块4054，用于在所述数据包集对应的数据包数量与所述预设发包总数量之间的比值小于所述预设比值的情况下，循环执行数据包集更新步骤得到更新后的数据包集，直至所述更新后的数据包集满足预设循环终止条件时，停止执行数据包集更新步骤，并确定所述更新后的数据包集为最终日志数据包；

所述数据包集更新步骤包括：根据所述数据包集对应的数据包数量和所述预设发包总数量，获取第二日志完成率；并根据所述第二日志完成率，获取第二日志获取时长；以及在所述第二日志获取时长内接收到第三日志数据包的情况下，将所述第三日志数据包添加至所述数据包集中得到更新后的数据包集。

在本申请的一个可选实施例中，所述预设循环终止条件包括：

所述更新后的数据包集对应的数据包数量与所述预设发包总数量之间的比值大于或者等于所述预设比值；或者，

所述更新后的数据包集包括的全部数据包对应的最新数据包接收时刻和当前时刻之间的时长大于或者等于最新获取到的日志获取时长。

参照图8，在本申请的一个可选实施例中，所述装置400还包括：

最终数据包确定模块407，用于在所述第一日志获取时长内未接收到第二日志数据包的情况下，确定所述第一日志数据包为所述最终日志数据包。

在本申请的一个可选实施例中，所述完成率获取模块402，用于计算所述数据包总数量和所述预设发包总数量之间的比值得到所述第一日志完成率。

参照图9，在本申请的一个可选实施例中，所述装置400还包括：

数量判断模块408，用于判断所述数据包总数量和所述预设发包总数量是否相同；

所述完成率获取模块402，用于在所述数据包总数量和所述预设发包总数量不相同的情况下，根据所述数据包总数量和所述日志采集终端的预设发包总数量，获取所述第一日志完成率。

上述装置的具体内容可以参考方法实施例的论述，此处不再赘述。

本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在终端设备时，可以使得该终端设备执行本申请实施例中各方法步骤的指令(instructions)。

图10为本申请一实施例提供的日志数据包的获取装置的硬件结构示意图。如图10所示，本实施例的日志数据包的获取装置包括处理器101以及存储器102。

处理器101执行存储器102所存放的计算机程序代码，实现上述实施例中图1至图4的日志数据包的获取方法。

存储器102被配置为存储各种类型的数据以支持在日志数据包的获取方法的操作。这些数据的示例包括用于在日志数据包的获取装置上操作的任何应用程序或方法的指令，例如消息，图片，视频等。存储器102可能包含随机存取存储器(random access memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

可选地，处理器101设置在处理组件100中。该日志数据包的获取装置还可以包括：通信组件103，电源组件104，多媒体组件105，音频组件106，输入/输出接口107和/或传感器组件108。日志数据包的获取装置具体所包含的组件等依据实际需求设定，本实施例对此不做限定。

处理组件100通常控制日志数据包的获取装置的整体操作。处理组件100可以包括一个或多个处理器101来执行指令，以完成上述图1至图4方法的全部或部分步骤。此外，处理组件100可以包括一个或多个模块，便于处理组件100和其他组件之间的交互。例如，处理组件100可以包括多媒体模块，以方便多媒体组件105和处理组件100之间的交互。

电源组件104为日志数据包的获取装置的各种组件提供电力。电源组件104可以包括电源管理系统，一个或多个电源，及其他与为日志数据包的获取装置生成、管理和分配电力相关联的组件。

多媒体组件105包括在日志数据包的获取装置和用户之间的提供一个输出接口的显示屏。在一些实施例中，显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏包括触摸面板，显示屏可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

音频组件106被配置为输出和/或输入音频信号。例如，音频组件106包括一个麦克风(MIC)。所接收的音频信号可以被进一步存储在存储器102或经由通信组件103发送。在一些实施例中，音频组件106还包括一个扬声器，用于输出音频信号。

输入/输出接口107为处理组件100和外围接口模块之间提供接口，上述外围接口模块可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启动按钮和锁定按钮。

传感器组件108包括一个或多个传感器，用于为日志数据包的获取装置提供各个方面的状态评估。例如，传感器组件108可以检测到日志数据包的获取装置的打开/关闭状态，组件的相对定位，用户与日志数据包的获取装置接触的存在或不存在。传感器组件108可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。在一些实施例中，该传感器组件108还可以包括摄像头等。

通信组件103被配置为便于日志数据包的获取装置和其他设备之间有线或无线方式的通信。日志数据包的获取装置可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。

由上可知，在图10实施例中所涉及的通信组件103、音频组件106以及输入/输出接口107、传感器组件108均可以作为输入设备的实现方式。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本申请所提供的一种日志数据包的获取方法和装置及计算机可读存储介质，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (14)

1.一种日志数据包的获取方法，其特征在于，应用于日志采集终端向服务器发送至少一个日志数据包的过程中，所述方法执行于所述服务器中，所述方法包括：

获取所述日志采集终端发送的第一日志数据包的数据包总数量；

根据所述数据包总数量和所述日志采集终端的预设发包总数量，获取第一日志完成率；

根据所述第一日志完成率，获取第一日志获取时长；

在所述第一日志获取时长内继续等待接收第二日志数据包，并在所述第一日志获取时长内接收到所述第二日志数据包的情况下，根据所述第一日志数据包和所述第二日志数据包获取最终日志数据包；

其中，所述在所述第一日志获取时长内继续等待接收第二日志数据包，包括：按照预设周期，在所述第一日志获取时长内检测是否接收到所述第二日志数据包；

所述根据所述第一日志数据包和所述第二日志数据包获取最终日志数据包，包括：

将所述第一日志数据包和所述第二日志数据包作为数据包集；

判断所述数据包集对应的数据包数量与所述预设发包总数量之间的比值是否大于或者等于预设比值；

在所述数据包集对应的数据包数量与所述预设发包总数量之间的比值大于或者等于所述预设比值的情况下，确定所述第一日志数据包和所述第二日志数据包为所述最终日志数据包；

所述方法还包括：

在所述数据包集对应的数据包数量与所述预设发包总数量之间的比值小于所述预设比值的情况下，循环执行数据包集更新步骤得到更新后的数据包集，直至所述更新后的数据包集满足预设循环终止条件时，停止执行数据包集更新步骤，并确定所述更新后的数据包集为最终日志数据包；

所述数据包集更新步骤包括：根据所述数据包集对应的数据包数量和所述预设发包总数量，获取第二日志完成率；并根据所述第二日志完成率，获取第二日志获取时长；以及在所述第二日志获取时长内接收到第三日志数据包的情况下，将所述第三日志数据包添加至所述数据包集中得到更新后的数据包集。

2.根据权利要求1所述的方法，其特征在于，在所述根据所述第一日志完成率，获取第一日志获取时长之前，还包括：获取完成率范围与日志获取时长之间的对应关系；

所述根据所述第一日志完成率，获取第一日志获取时长，包括：根据所述对应关系，获取所述第一日志完成率所在完成率范围对应的第一日志获取时长。

3.根据权利要求1所述的方法，其特征在于，所述第一日志获取时长与所述第一日志完成率之间成反比关系。

4.根据权利要求1所述的方法，其特征在于，所述预设循环终止条件包括：

所述更新后的数据包集对应的数据包数量与所述预设发包总数量之间的比值大于或者等于所述预设比值；或者，

所述更新后的数据包集包括的全部数据包对应的最新数据包接收时刻和当前时刻之间的时长大于或者等于最新获取到的日志获取时长。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述第一日志获取时长内未接收到第二日志数据包的情况下，确定所述第一日志数据包为所述最终日志数据包。

6.根据权利要求1所述的方法，其特征在于，所述根据所述数据包总数量和所述日志采集终端的预设发包总数量，获取第一日志完成率，包括：

计算所述数据包总数量和所述预设发包总数量之间的比值得到所述第一日志完成率。

7.根据权利要求1所述的方法，其特征在于，在所述根据所述数据包总数量和所述日志采集终端的预设发包总数量，获取第一日志完成率之前，还包括：判断所述数据包总数量和所述预设发包总数量是否相同；

所述根据所述数据包总数量和所述日志采集终端的预设发包总数量，获取第一日志完成率，包括：在所述数据包总数量和所述预设发包总数量不相同的情况下，根据所述数据包总数量和所述日志采集终端的预设发包总数量，获取所述第一日志完成率。

8.一种日志数据包的获取装置，其特征在于，应用于日志采集终端向服务器发送至少一个日志数据包的过程中，所述装置部署于所述服务器中，所述装置包括：

总数量获取模块，用于获取所述日志采集终端发送的第一日志数据包的数据包总数量；

完成率获取模块，用于根据所述数据包总数量和所述日志采集终端的预设发包总数量，获取第一日志完成率；

时长获取模块，用于根据所述第一日志完成率，获取第一日志获取时长；

数据包等待接收模块，用于在所述第一日志获取时长内继续等待接收第二日志数据包；

最终数据包获取模块，用于在所述第一日志获取时长内接收到所述第二日志数据包的情况下，根据所述第一日志数据包和所述第二日志数据包获取最终日志数据包；

其中，所述数据包等待接收模块，用于按照预设周期，在所述第一日志获取时长内检测是否接收到所述第二日志数据包；

所述最终数据包获取模块，包括：

数据包集确定子模块，用于将所述第一日志数据包和所述第二日志数据包作为数据包集；

判断子模块，用于判断所述数据包集对应的数据包数量与所述预设发包总数量之间的比值是否大于或者等于预设比值；

最终数据包确定子模块，用于在所述数据包集对应的数据包数量与所述预设发包总数量之间的比值大于或者等于所述预设比值的情况下，确定所述第一日志数据包和所述第二日志数据包为所述最终日志数据包；

所述最终数据包获取模块还包括：

循环执行子模块，用于在所述数据包集对应的数据包数量与所述预设发包总数量之间的比值小于所述预设比值的情况下，循环执行数据包集更新步骤得到更新后的数据包集，直至所述更新后的数据包集满足预设循环终止条件时，停止执行数据包集更新步骤，并确定所述更新后的数据包集为最终日志数据包；

所述数据包集更新步骤包括：根据所述数据包集对应的数据包数量和所述预设发包总数量，获取第二日志完成率；并根据所述第二日志完成率，获取第二日志获取时长；以及在所述第二日志获取时长内接收到第三日志数据包的情况下，将所述第三日志数据包添加至所述数据包集中得到更新后的数据包集。

9.根据权利要求8所述的装置，其特征在于，所述装置还包括：

对应关系获取模块，用于获取完成率范围与日志获取时长之间的对应关系；

所述时长获取模块，用于根据所述对应关系，获取所述第一日志完成率所在完成率范围对应的第一日志获取时长。

10.根据权利要求8所述的装置，其特征在于，所述预设循环终止条件包括：

所述更新后的数据包集对应的数据包数量与所述预设发包总数量之间的比值大于或者等于所述预设比值；或者，

所述更新后的数据包集包括的全部数据包对应的最新数据包接收时刻和当前时刻之间的时长大于或者等于最新获取到的日志获取时长。

11.根据权利要求8所述的装置，其特征在于，所述装置还包括：

最终数据包确定模块，用于在所述第一日志获取时长内未接收到第二日志数据包的情况下，确定所述第一日志数据包为所述最终日志数据包。

12.根据权利要求8所述的装置，其特征在于，所述完成率获取模块，用于计算所述数据包总数量和所述预设发包总数量之间的比值得到所述第一日志完成率。

13.根据权利要求8所述的装置，其特征在于，所述装置还包括：

数量判断模块，用于判断所述数据包总数量和所述预设发包总数量是否相同；

所述完成率获取模块，用于在所述数据包总数量和所述预设发包总数量不相同的情况下，根据所述数据包总数量和所述日志采集终端的预设发包总数量，获取所述第一日志完成率。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一所述的日志数据包的获取方法的步骤。

Images