CN111611128A - 一种日志处理方法及装置 - Google Patents

Abstract

本申请提供一种日志处理方法及装置，该方法包括：总控系统向第一处理装置发送第一批次日志；总控系统若未从第一处理装置接收到日志处理成功消息，则向第二处理装置发送第一批次日志，使第二处理装置处理第一批次日志。该方案中，通过在日志处理流程中引入总控系统，使其按照批次发送日志的方式，将第一批次日志发送至第一处理装置；并且在总控系统未接收到日志处理装置向自己反馈的日志处理成功消息时，它会将该批次的日志重新发送至第二处理装置，由第二处理装置对其重新处理，从而该方案可以保证日志处理装置可以准确地完成对日志的处理工作。

Description

一种日志处理方法及装置

技术领域

本申请实施例涉及数据处理技术领域，尤其涉及一种日志处理方法及装置。

背景技术

目前，日志处理装置对日志进行处理的流程如下：

外部日志通过网络传输进入日志处理系统后，由日志处理系统中的机器对外部日志进行处理。

以上方式存在如下问题：日志处理系统中的机器发生宕机时，导致日志处理系统无法对外部日志进行准确处理。

综上，现有技术无法提供一种准确地处理日志的方法。

发明内容

本申请提供一种日志处理方法及装置，用以实现准确地处理日志。

第一方面，本申请实施例提供一种日志处理方法，该方法包括：总控系统向第一处理装置发送第一批次日志；所述总控系统若未从所述第一处理装置接收到日志处理成功消息，则向第二处理装置发送所述第一批次日志，使所述第二处理装置处理所述第一批次日志。

该方案中，通过在日志处理流程中引入总控系统，使其按照批次发送日志的方式，将第一批次日志发送至第一处理装置；并且在总控系统未接收到日志处理装置向自己反馈的日志处理成功消息时，总控系统将该批次的日志重新发送至第二处理装置，由第二处理装置对其重新处理，从而该方案可以保证日志处理装置可以准确地完成对日志的处理工作。

在一种可能的实现方法中，所述总控系统未从所述第一处理装置接收到日志处理成功消息，包括：所述总控系统未在设定时长内从所述第一处理装置接收到所述日志处理成功消息。

基于该方案，总控系统在向第一处理装置发送第一批次日志时，会结合自己向第一处理装置发送日志的频率、第一处理装置对日志进行处理的效率、以及第一批次日志的日志数目等多方面的因素，对第一处理装置处理完第一批次日志所需要的处理时长进行评估，从而当第一处理装置未在预设的时长内向总控系统发送日志处理成功消息时，总控系统认为第一处理装置可能出现异常。因此，总控系统出于对日志处理的准确性和及时性的考虑，将第一批次日志重新发送至第二处理装置，由第二处理装置对该批次日志进行重新处理。

在一种可能的实现方法中，所述总控系统若从所述第一处理装置接收到日志处理成功消息，则向所述第一处理装置发送第二批次日志，使所述第一处理装置处理所述第二批次日志。

基于该方案，在总控系统确认收到第一处理装置发送给自己的日志处理成功消息后，总控系统确定第一处理装置目前的工作状态为良好，从而可以继续向第一处理装置发送第二批次日志。可以理解的是，这里的第二批次日志可以为一个全新批次的日志，也可以为待重新处理的某一批次日志，也即在其他某个处理装置未能准确地对某一批次日志处理成功时，总控系统将该批未成功处理的日志转发给第一处理装置，由状态良好的第一处理装置对其重新处理。

在一种可能的实现方法中，所述总控系统向第一处理装置发送第一批次日志之前，还包括：所述总控系统从外部系统接收外部数据，根据所述外部数据生成所述第一批次日志；或者，所述总控系统从外部系统接收所述第一批次日志。

基于该方案，总控系统发送给第一处理装置的第一批次日志可以是包括日志在内的各种外部数据，从而该方法可以实现对多种类型的外部数据的及时处理。

在一种可能的实现方法中，所述总控系统向第一处理装置发送第一批次日志，包括：所述总控系统分多次将所述第一批次日志发送至所述第一处理装置；所述方法还包括：所述总控系统向所述第一处理装置发送完毕所述第一批次日志后，向所述第一处理装置发送指示信息，所述指示信息用于指示所述第一批次日志发送完毕。

基于该方案，对于同一批次的日志，总控系统分多次将该批次的日志发送给第一处理装置的过程中，还向第一处理装置发送指示信息，用于指示该批次的日志发送完毕，有助于总控系统严格把控同一批次的日志均由第一处理装置进行处理，不会产生同一批次的日志被分段处理后得到两个处理结果、所带来的无法确认处理结果的问题。

第二方面，本申请实施例提供一种日志处理装置，该装置包括发送单元和处理单元；所述发送单元，用于向第一处理装置发送第一批次日志；所述处理单元，用于若未从所述第一处理装置接收到日志处理成功消息，则向第二处理装置发送所述第一批次日志，使所述第二处理装置处理所述第一批次日志。

该方案中，通过在日志处理流程中引入总控系统，使其按照批次发送日志的方式，将第一批次日志发送至第一处理装置；并且在总控系统未接收到日志处理装置向自己反馈的日志处理成功消息时，总控系统将该批次的日志重新发送至第二处理装置，由第二处理装置对其重新处理，从而该方案可以保证日志处理装置可以准确地完成对日志的处理工作。

在一种可能实现的方法中，所述处理单元，具体用于未在设定时长内从所述第一处理装置接收到所述日志处理成功消息。

基于该方案，总控系统在向第一处理装置发送第一批次日志时，会结合自己向第一处理装置发送日志的频率、第一处理装置对日志进行处理的效率、以及第一批次日志的日志数目等多方面的因素，对第一处理装置处理完第一批次日志所需要的处理时长进行评估，从而当第一处理装置未在预设的时长内向总控系统发送日志处理成功消息时，总控系统认为第一处理装置可能出现异常。因此，总控系统出于对日志处理的准确性和及时性的考虑，将第一批次日志重新发送至第二处理装置，由第二处理装置对该批次日志进行重新处理。

在一种可能实现的方法中，所述处理单元，还用于若从所述第一处理装置接收到日志处理成功消息，则向所述第一处理装置发送第二批次日志，使所述第一处理装置处理所述第二批次日志。

基于该方案，在总控系统确认收到第一处理装置发送给自己的日志处理成功消息后，总控系统确定第一处理装置目前的工作状态为良好，从而可以继续向第一处理装置发送第二批次日志。可以理解的是，这里的第二批次日志可以为一个全新批次的日志，也可以为待重新处理的某一批次日志，也即在其他某个处理装置未能准确地对某一批次日志处理成功时，总控系统将该批未成功处理的日志转发给第一处理装置，由状态良好的第一处理装置对其重新处理。

在一种可能实现的方法中，所述装置还包括日志生成单元；所述日志生成单元，用于从外部系统接收外部数据，根据所述外部数据生成所述第一批次日志；或者，从外部系统接收所述第一批次日志。

基于该方案，总控系统发送给第一处理装置的第一批次日志可以是包括日志在内的各种外部数据，从而该方法可以实现对多种类型的外部数据的及时处理。

在一种可能的实现方法中，所述发送单元，具体用于分多次将所述第一批次日志发送至所述第一处理装置；所述发送单元，还用于向所述第一处理装置发送完毕所述第一批次日志后，向所述第一处理装置发送指示信息，所述指示信息用于指示所述第一批次日志发送完毕。

基于该方案，对于同一批次的日志，总控系统分多次将该批次的日志发送给第一处理装置的过程中，还向第一处理装置发送指示信息，用于指示该批次的日志发送完毕，有助于总控系统严格把控同一批次的日志均由第一处理装置进行处理，不会产生同一批次的日志被分段处理后得到两个处理结果、所带来的无法确认处理结果的问题。

第三方面，本申请实施例提供了一种计算设备，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行如第一方面的任一实现方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如第一方面的任一实现方法。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种系统架构示意图；

图2为本申请实施例提供的一种日志处理方法；

图3为本申请实施例提供的一种日志处理示意图；

图4为本申请实施例提供的一种日志处理装置。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

如图1所示，为本申请实施例提供的一种系统架构示意图，包括一个或多个总控系统101，一个或多个处理装置102。可选地，该系统架构还包括存储装置103。作为示例，图中以系统架构包括3个总控系统和3个处理装置为例。

其中，当系统架构中包括多个总控系统时，其中一个总控系统作为主总控系统，其他的总控系统作为辅总控系统。所有的总控系统之间可以通过分布式一致性算法形成一个集群，由分布式一致性算法保证该集群内各个总控系统之间的状态是完全一致的。其中，由主总控系统获取日志并向处理装置发送日志。当主总控系统发生故障或负载较高时，可切换为由集群内的任一辅总控系统获取日志并向处理装置发送日志。此时，该辅总控系统上升为主总控系统，原来的主总控系统下降为辅总控系统。

其中，当系统架构中包括多个处理装置时，在一种实现方法中，若总控系统从外部系统接收到的日志的数据量小，则此时仅需要启用多个处理装置中的任意一个处理装置，通过该处理装置即可对日志进行处理。在另一种实现方法中，若总控系统从外部系统接收到的日志的数据量大，则此时可以同时启用多个处理装置，通过多个装置对日志进行处理，以提升处理装置对日志进行处理的效率。

并且，若某个处理装置发生异常(如故障、网络质量不佳或负载过高等)而导致不能及时或正确处理日志，则总控系统可以将该批次日志发送至其他处理装置进行处理，以实现对该批次日志的正确处理。

存储装置可用于存储日志。当总控系统具备存储能力，可存储接收到的或者自己生成的日志，则总控系统可以将日志存储在总控系统中，此时无需借助外部的存储装置来存储日志。当总控系统不具备存储能力，则总控系统可以将接收到的或者自己生成的日志存储在存储装置中。

基于图1所示的系统架构，本申请实施例提出一种日志处理方法，如图2所示，该方法包括以下步骤：

步骤201，总控系统向第一处理装置发送第一批次日志。相应的，第一处理装置可以接收到该第一批次日志。

这里的第一批次日志指的是总控系统当前需要发送给第一处理装置进行处理的日志。这里的第一批次日志中包含一条或多条日志。

在实际应用中，总控系统可以将第一批次日志在同一条消息中发送至第一处理装置。或者，也可以是分多次将第一批次日志在多条消息中发送至第一处理装置。例如，预设第一批次日志的数目为100条，总控系统在第一时刻获取到20条并发送至第一处理装置，第一处理装置接收到日志后处理这些日志。总控系统在第二时刻获取到30条并发送至第一处理装置，第一处理装置接收到日志后处理这些日志。总控系统在第三时刻获取到50条并发送至第一处理装置，第一处理装置接收到日志后处理这些日志。

可选地，当总控系统将第一批次日志发送完毕之后，可以向第一处理装置发送一个指示信息，以告知第一处理装置：第一批次日志已经发送完毕。当然，也可以不向第一处理装置发送一个上述指示信息，则由第一处理装置对接收到日志的数量进行计数并判断某个批次日志是否发送完毕。

在一种实现方法中，总控系统可以从外部系统接收到外部数据，该外部数据不是以日志的形式所表现的，因此总控系统还需要将该外部数据转换为日志格式，也即根据外部数据生成日志。在另一种实现方法，总控系统可以从外部系统接收到日志，也即由外部系统生成日志并发送给总控系统。

步骤202，总控系统若未从所述第一处理装置接收到日志处理成功消息，则向第二处理装置发送所述第一批次日志，使所述第二处理装置处理所述第一批次日志。

该日志处理成功消息可以告知总控系统：第一批次日志已经处理完毕。

因而，当总控系统并未能接收到第一处理装置发送给自己的日志处理成功消息，从而总控系统有理由认为第一处理装置在处理第一批次日志时发生了异常。对于这种情况，总控系统出于须要有日志处理装置来对第一批次日志进行准确、及时地处理的目的，从而总控系统在确认自己未收到第一处理装置发送给自己的日志处理成功消息后，总控系统会再次将第一批次日志发送至第二处理装置，以使第二处理装置对第一批次日志进行重新处理。因此保证了日志处理系统可以准确地处理日志。

在一种实现方法中，所述总控系统未从所述第一处理装置接收到日志处理成功消息，包括：所述总控系统未在设定时长内从所述第一处理装置接收到所述日志处理成功消息。

总控系统将第一批次日志发送至第一处理装置的实际过程可能会表现如下：当总控系统预设第一批次日志中所含有的日志数目为一个确定的数字N，且外部系统在产生日志时可能由于迸发量大，所产生的日志的数目巨大，从而总控系统可以将这些巨额数目的待处理日志按照数字N划分为多个批次的日志(可以理解的是，这些多个批次的日志都可以称为第一批次日志)，从而总控系统可以同时向多个处理装置发送日志。并且通过对每个处理装置处理性能作出评估后，总控系统会预设在自己发送日志后的多长时间内，每个处理装置须向自己反馈对日志进行处理的结果，也即日志处理成功消息，从而便于总控系统继续向已经完成第一批次日志的处理装置继续发送下一批次的日志，以及便于总控系统将未能如期被正确处理的第一批次日志发送至第二处理装置，以使第二处理装置对这些未能如期被正确处理的第一批次日志进行重新处理。

总控系统将第一批次日志发送至第一处理装置的实际过程也可能会表现如下：当总控系统预设第一批次日志中所含有的日志数目为一个确定的数字N，但外部系统所产生日志的数据量小，从而总控系统在向第一处理装置发送第一批次日志时，可能呈现一种断断续续发送日志的状态；从而，总控系统会根据自己给第一处理装置发送第一批次日志过程中的实际发送情况和对第一处理装置的实际处理性能作出评估后，会预设一个时间，在该时间内，第一处理装置须向自己(总控系统)发送对日志进行处理的结果，也即日志处理成功消息，从而便于总控系统继续向已经完成第一批次日志的处理装置继续发送下一批次的日志，以及便于总控系统将未能如期被正确处理的第一批次日志发送至第二处理装置，以使第二处理装置对这些未能如期被正确处理的第一批次日志进行重新处理。

通过以上描述可以看出，设定时长是一个相对变动的数字，对它进行确定需要结合多方面的因素，如外部系统产生日志的状态，总控系统向第一处理装置发送第一批次日志的状态，以及第一处理装置的实际处理性能，等等因素。本发明不做限定。

在一种实现方法中，所述总控系统若从所述第一处理装置接收到日志处理成功消息，则向所述第一处理装置发送第二批次日志，使所述第一处理装置处理所述第二批次日志。

该第二批次日志的来源和发送方式可以参考前述第一批次日志，不再赘述。

因而，当总控系统可接收到第一处理装置发送给自己的日志处理成功消息，从而总控系统有理由第一处理装置的工作状态为良好，从而总控系统可以继续向工作状态良好的第一处理装置发送第二批次日志，由第一处理装置来处理第二批次日志。由此，实现了将外部系统产生的日志交由处理装置进行准确地处理的目标。

需要说明的是，这里的第二批次日志可以为一个全新批次的日志；也可以为待重新处理的某一批次日志——在其他某个处理装置未能准确地对某一批次日志处理成功时，总控系统将该批未成功处理的日志转发给第一处理装置，由状态良好的第一处理装置对其重新处理。对此不做限定。

作为一种实现方法，若上述步骤202中，第一处理装置由于某种原因导致异常，如故障、网络质量不佳或负载过高等，导致第一处理装置不能在设定时长内发送日志处理成功消息，也即，总控系统未能在发送完第一批次日志后的设定时长内接收到上述日志处理成功消息，则总控系统判定该第一批次日志处理失败，进而总控系统可以将该第一批次日志发送给其他处理装置，如第二处理装置进行处理，以保证日志处理的及时性和高效性。可选地，第二处理装置在处理完毕第一批次日志之后，需要向总控系统发送一个响应消息，这里的响应消息也即日志处理成功消息，以告知总控系统当前批次日志处理成功。进而，总控系统继续向第二处理装置发送后续批次日志。后续其他批次日志的处理逻辑与前述第一批次日志或第二批次日志的处理逻辑相同，不再赘述。

作为一种实现方法，当上述故障、网络质量不佳或负载过高的第一处理装置在故障排除、或网络质量恢复正常、或负载正常之后，第一处理装置可以通知总控系统或者是总控系统检测到总控系统故障排除、或网络质量恢复正常、或负载正常，从而总控系统可以将后续批次日志继续交由第一处理装置进行处理。也即将日志的处理权从第二处理装置收回。

作为又一种实现方法，当上述故障、网络质量不佳或负载过高的第一处理装置在故障排除、或网络质量恢复正常、或负载正常之后，第一处理装置可以通知总控系统或者是总控系统检测到总控系统故障排除、或网络质量恢复正常、或负载正常，总控系统可以仍然保持当前由第二处理装置继续处理后续批次日志。

对于现有技术中，下游设备无法根据不完整的结果文件对日志做后续的处理工作的问题，本申请的方案中通过按照批次发送日志的思路，可以解决上述问题。

在一种实现方法中，第一处理装置对第一批次的日志处理完毕后，会生成对应于第一批次日志的结果文件，并设置有属于第一批次日志的结果文件标记，因此，在第一处理装置向总控系统发送日志处理成功消息的同时，第一处理装置还会将对应于第一批次日志的结果文件发送至下游设备，当下游设备接收到结果文件后，即开始对第一批次日志做后续的处理工作。若第一处理装置由于某种原因，如网络质量不佳，导致虽然第一处理装置不能在设定时长内向总控系统发送日志处理成功消息，但不影响第一处理装置向下游设备发送对应于第一批次日志的结果文件，因此当下游设备接收到结果文件后，即开始对第一批次日志做后续的处理工作。由于总控系统未能在设定时长内接收到第一处理装置发送的第一响应消息，因此总控系统会将第一批次日志重新发送至处于空闲状态的其他一台处理装置，由接收到第一批次日志的其他一台处理装置进行处理，由于其他一台装置所处理的对象依然是第一批次日志，因此由其他一台处理装置对第一批次日志进行处理后得到的结果文件与第一处理装置对第一批次日志进行处理后得到的结果文件相同，也即二者的结果文件标记相同。因此当其他一台处理装置将它对第一批次日志进行处理后得到的结果文件发送至下游设备后，下游设备会检测出它正在处理或者已经处理过具有相同标记的结果文件，从下游设备会直接抛弃由其他一台装置发送给自己的对第一批次日志进行处理后得到的结果文件，避免了对同一结果文件做两次相同的处理，也节省了资源。

下面结合一个具体示例，对上述日志处理的过程进行详细说明。

参考图3，为本申请实施例提供的一种日志处理示意图。在1号总控系统、2号总控系统和3号总控系统通过分布式一致性算法构成的集群中，设该集群中的1号总控系统为主总控系统，则1号总控系统可以从外部系统接收待处理的数据。

设1号总控系统同一时刻从外部系统共接收了3000条的日志，分别编号为1-3000。如依据每1000条日志为一个批次的规则，则这3000条的日志可以被划分为3个批次。其中，一种简单的批次划分方式为：编号为1-1000的这些日志为同一个批次，记作批次A；编号为1001-2000的这些日志为同一个批次，记作批次B；编号为2001-3000的这些日志为同一个批次，记作批次C。

接下来，设此时的1号处理装置、2号处理装置和3号处理装置均处于空闲状态，因此1号总控系统可以向1号处理装置、2号处理装置和3号处理装置分别发送一个批次的日志，由处理装置对同一个批次的日志进行处理。比如，1号总控系统将批次A的日志发送至1号处理装置、将批次B的日志发送至2号处理装置，以及将批次C的日志发送至3号处理装置。与此同时，1号总控系统还会将批次A的日志、批次B的日志和批次C的日志发送至存储装置，由存储装置对以上3个批次的日志进行存储，便于后期当某一台处理装置发生异常时，总控系统可以将存储装置中所存储的对应于该故障处理装置的、未被准确处理的日志发送至其他工作状态良好的处理装置，以使其对该批次日志重新处理。此外，1号总控系统在将批次A的日志全部发送至1号处理装置后，立即再向1号处理装置发送一条批次A的日志全部发送完毕的消息；同理，1号总控系统也会向2号处理装置发送一条批次B的日志全部发送完毕的消息以及会向3号处理装置发送一条批次C的日志全部发送完毕的消息。

设1号总控系统同时向1号处理装置、2号处理装置和3号处理装置分别发送批次A的第一条日志(也即编号为1)、批次B的第一条日志(也即编号为1001)和批次C的第一条日志(也即编号为2001)。由于1号总控系统与以上3台处理装置中的每一台处理装置之间的网络质量不完全相同，因此，可以假设：1号总控系统是在向1号处理装置发送批次A的第一条日志后的0.5分钟时，立即向1号处理装置发送一条批次A的日志全部发送完毕的消息；1号总控系统是在向2号处理装置发送批次B的第一条日志后的0.8分钟时，立即向2号处理装置发送一条批次B的日志全部发送完毕的消息；1号总控系统是在向3号处理装置发送批次C的第一条日志后的1分钟时，立即向3号处理装置发送一条批次C的日志全部发送完毕的消息。

当1号处理装置、2号处理装置和3号处理装置自开始接收第一条日志时即开始对日志进行处理，且预设在1号总控系统向以上3台处理装置分别发送对应批次的日志全部发送完毕的消息后的2分钟，每一台处理装置需要向1号总控系统发送一条对分配至自身的该批次的日志全部处理完毕的消息，以提示1号总控系统可以继续向再次处于空闲状态的处理装置发送新一批次的日志。

此时，设2号处理装置和3号处理装置均可以在预设时长内向1号总控系统发送对批次B和批次C的日志全部处理完毕的消息，说明2号处理装置和3号处理装置已经成功地完成了对批次B和批次C的日志的处理工作；而1号处理装置未能在1号总控系统发送批次A的日志全部发送完毕的消息后的2分钟时，向1号总控系统发送对批次A的日志全部处理完毕的消息，则此时1号总控系统可以认为1号处理装置出现了故障：故障可以是1号处理装置在对批次A的日志进行处理过程中发生宕机，从而并不能完成对批次A的日志的处理；故障也可以是1号处理装置其实已经完成了对批次A的日志的处理，并且设对批次A的日志进行处理后得到的文件记作D，但由于1号处理装置与1号总控系统之间的网络异常原因，导致1号总控系统不能如期收到1号处理装置对批次A的日志全部处理完毕的消息。因此，当1号总控系统确认收到2号处理装置或者3号处理装置发送的日志全部处理完毕的消息时，1号总控系统会从存储装置中获取批次A的日志，将批次A的日志重新发送至2号处理装置或3号处理装置进行再次处理。

针对1号总控系统未能在预设时长内收到1号处理装置对于批次A的日志全部处理完毕的消息的情况，设1号总控系统从备份装置中获取批次A的日志，并将批次A的日志发送至2号处理装置，由2号处理装置对批次A的日志重新进行处理。若1号总控系统可以在预设时长内接收到2号处理装置对于批次A的日志全部处理完毕的消息，说明2号处理装置对于批次A的日志全部处理完毕后也得到一份文件，由于也即是基于对批次A的日志的处理结果，因此这份文件的标识也应该记为D。

可以理解的是，以上3台处理装置中的每一台处理装置在对同一批次的日志全部处理完毕后，会将生成的结果文件发送至下游设备，由下游设备基于生成的结果文件做进一步的处理。因此，当上述的1号处理装置是由于在处理批次A的过程中发生宕机问题，此时1号处理装置无法生成结果文件，因此在由2号处理装置对批次A的日志全部处理完毕后，才会生成对应于批次A的结果文件D，并立即将结果文件D发送至下游设备，由下游设备对结果文件D做进一步的处理；当上述的1号处理装置可以实现对批次A的日志全部处理时，此时1号处理装置已经生成了对应于批次A的结果文件D，且在生成结果文件D的同时，1号处理系统已经将结果文件D发送至下游设备，仅由于1号处理装置与1号总控系统之间的网络质量不佳，造成1号总控系统无法在预设的时长内接收到1号处理装置发送的对于批次A的日志全部处理完毕的消息，因此在2号处理装置完成对批次A的日志的处理工作时，也将生成结果文件D，并且2号处理装置也会将结果文件D发送至下游设备，此时，下游设备将检测到重名的结果文件D，则下游设备会直接抛弃结果文件D，从而有效地保证了只需要对结果文件D做一次处理，避免了资源浪费。

基于同样的构思，本申请实施例提供一种日志处理装置，如图4所示，该装置包括发送单元401和处理单元402：

发送单元401，用于向第一处理装置发送第一批次日志。

处理单元402，用于若未从所述第一处理装置接收到日志处理成功消息，则向第二处理装置发送所述第一批次日志，使所述第二处理装置处理所述第一批次日志。

进一步地，对于该装置，处理单元402，具体用于未在设定时长内从所述第一处理装置接收到所述日志处理成功消息。

进一步地，对于该装置，处理单元402，还用于若从所述第一处理装置接收到日志处理成功消息，则向所述第一处理装置发送第二批次日志，使所述第一处理装置处理所述第二批次日志。

进一步的，对于该装置，还包括日志生成单元403，用于从外部系统接收外部数据，根据所述外部数据生成所述第一批次日志；或者，从外部系统接收所述第一批次日志。

进一步的，对于该装置，发送单元401，具体用于分多次将所述第一批次日志发送至所述第一处理装置；所述发送单元，还用于向所述第一处理装置发送完毕所述第一批次日志后，向所述第一处理装置发送指示信息，所述指示信息用于指示所述第一批次日志发送完毕。

本申请实施例还提供了一种计算设备，该计算设备具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)等。该计算设备可以包括中央处理器(Center Processing Unit，CPU)、存储器、输入/输出设备等，输入设备可以包括键盘、鼠标、触摸屏等，输出设备可以包括显示设备，如液晶显示器(Liquid Crystal Display，LCD)、阴极射线管(Cathode Ray Tube，CRT)等。

存储器，可以包括只读存储器(ROM)和随机存取存储器(RAM)，并向处理器提供存储器中存储的程序指令和数据。在本申请实施例中，存储器可以用于执行日志处理方法的程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行日志处理方法。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行日志处理方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种日志处理方法，其特征在于，包括：

总控系统向第一处理装置发送第一批次日志；

所述总控系统若未从所述第一处理装置接收到日志处理成功消息，则向第二处理装置发送所述第一批次日志，使所述第二处理装置处理所述第一批次日志。

2.如权利要求1所述的方法，其特征在于，

所述总控系统未从所述第一处理装置接收到日志处理成功消息，包括：

所述总控系统未在设定时长内从所述第一处理装置接收到所述日志处理成功消息。

3.如权利要求1或2所述的方法，其特征在于，所述方法还包括：

所述总控系统若从所述第一处理装置接收到日志处理成功消息，则向所述第一处理装置发送第二批次日志，使所述第一处理装置处理所述第二批次日志。

4.如权利要求1或2所述的方法，其特征在于，所述总控系统向第一处理装置发送第一批次日志之前，还包括：

所述总控系统从外部系统接收外部数据，根据所述外部数据生成所述第一批次日志；或者，

所述总控系统从外部系统接收所述第一批次日志。

5.如权利要求1或2所述的方法，其特征在于，所述总控系统向第一处理装置发送第一批次日志，包括：

所述总控系统分多次将所述第一批次日志发送至所述第一处理装置；

所述方法还包括：

所述总控系统向所述第一处理装置发送完毕所述第一批次日志后，向所述第一处理装置发送指示信息，所述指示信息用于指示所述第一批次日志发送完毕。

6.一种日志处理装置，其特征在于，包括：

发送单元，用于向第一处理装置发送第一批次日志；

处理单元，用于若未从所述第一处理装置接收到日志处理成功消息，则向第二处理装置发送所述第一批次日志，使所述第二处理装置处理所述第一批次日志。

7.如权利要求6所述的装置，其特征在于，

所述处理单元，具体用于未在设定时长内从所述第一处理装置接收到所述日志处理成功消息。

8.如权利要求6或7所述的装置，其特征在于，

所述处理单元，还用于若从所述第一处理装置接收到日志处理成功消息，则向所述第一处理装置发送第二批次日志，使所述第一处理装置处理所述第二批次日志。

9.一种计算设备，其特征在于，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行如权利要求1-5任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1-5任一项所述的方法。

Images