CN102164043A

CN102164043A - 日志上报方法及终端

Info

Publication number: CN102164043A
Application number: CN2010105214668A
Authority: CN
Inventors: 赵彬
Original assignee: Qingdao Hisense Media Network Technology Co Ltd
Current assignee: Qingdao Hisense Media Network Technology Co Ltd
Priority date: 2010-10-27
Filing date: 2010-10-27
Publication date: 2011-08-24

Abstract

本发明的实施例公开一种日志上报方法及终端，涉及通信技术领域，减少日志服务器的接收压力。包括：当日志产生时，将按照规定格式编写好的日志写入缓存；在所述缓存中的日志的长度大于数量门限值时，或者，在所述缓存中的日志对应的记录时间大于时间门限值时，对所述缓存中的日志进行压缩；将压缩后的日志发送给日志服务器。本发明实施例主要应用于日志上报的实现过程中。

Description

日志上报方法及终端

技术领域

本发明涉及通信技术领域，尤其涉及一种日志上报方法及终端。

背景技术

目前，终端向日志服务器上报日志时，通常会采用缓存和备份日志文件来保存日志。当日志产生后，终端会将该日志写入缓存，然后直接上报给日志服务器。然而，发明人发现当采用现有技术上报日志时，如果终端上产生的日志量较大，或者大量终端在同一时间向日志服务器上报日志时，会使得日志服务器的接收压力较大。

发明内容

本发明的实施例提供一种日志上报方法及终端，减少日志服务器的接收压力。

为达到上述目的，本发明的实施例采用如下技术方案：

一种日志上报方法，包括：

当日志产生时，将按照规定格式编写好的日志写入缓存；

在所述缓存中的日志的长度大于数量门限值时，或者，在所述缓存中的日志对应的记录时间大于时间门限值时，对所述缓存中的日志进行压缩；

将压缩后的日志发送给日志服务器。

一种终端，包括：

第一写入单元，用于当日志产生时，将按照规定格式编写好的日志写入缓存；

第一压缩单元，用于在所述缓存中的日志的长度大于数量门限值时，或者，在所述缓存中的日志对应的记录时间大于时间门限值时，对所述缓存中的日志进行压缩；

第一发送单元，用于将压缩后的日志发送给日志服务器。

由上述技术方案所描述的本发明实施例中，终端向日志服务器进行日志上报时，由于不同的终端各自所产生的日志的长度到达相同的数量门限值时，各个终端所需的时间是不相同的。因而，当大量的终端向同一个日志服务器上报日志时，通过设置数量门限值，使得各个终端上报日志的时间可以相互错开；同时，借助时间门限值，可以避免终端所缓存的日志的长度长时间不能达到上述数量门限值，导致日志发送延时的问题，与现有技术中当大量终端上报日志时，各个终端产生日志后立即发送所述日志相比，本发明实施例可以在保证终端及时上报日志的同时，减少日志服务器的接收压力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1提供一种日志上报方法的流程图；

图2为本发明实施例2提供另一种日志上报方法的流程图；

图3为本发明实施例3提供一种终端的结构图；

图4为本发明实施例3提供另一种终端的结构图；

图5为本发明实施例3提供又一种终端的结构图；

图6为本发明实施例3提供还一种终端的结构图；

图7为本发明实施例3提供再一种终端的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

本发明实施例提供一种日志上报方法，如图1所示，该方法包括如下步骤：

101、当日志产生时，将按照规定格式编写好的日志写入缓存。

所述规定格式是终端根据日志的类别，与日志服务器之间预先约定好的格式。

102、在所述缓存中的日志的长度大于数量门限值时，或者，在所述缓存中的日志对应的记录时间大于时间门限值时，对所述缓存中的日志进行压缩。

例如，可以将上述数量门限值设置为1k(1k＝1024字节)，将时间门限值设置为30分钟。终端将产生的每一条目志按照规定格式进行编写并保存到缓存后，会定期判断所述缓存中的日志的长度是否大于1k，在所述缓存中的日志对应的记录时间是否大于30分钟。

如果所述缓存中的日志的长度大于1k，则对所述缓存中的日志进行压缩。由于不同终端产生日志的长度达到1k时，所需要的时间是不相同的，因而可以将各个终端上报日志的时间进行分散。

如果所述缓存中的日志对应的记录时间大于30分钟，但是所述缓存中的日志的长度不大于1k，同样也需要对所述缓存中的日志进行压缩，从而可以避免终端所缓存的日志的长度长时间不能达到上述数量门限值，导致日志发送延时的问题。

103、将压缩后的日志发送给日志服务器。

如上所述的本发明实施例中，终端向日志服务器进行日志上报时，由于不同的终端各自所产生的日志的长度到达相同的数量门限值时，各个终端所需的时间是不相同的。因而，当大量的终端向同一个日志服务器上报日志时，通过设置数量门限值，使得各个终端上报日志的时间可以相互错开；同时，借助时间门限值，可以避免终端所缓存的日志的长度长时间不能达到上述数量门限值，导致日志发送延时的问题，与现有技术中当大量终端上报日志时，各个终端产生日志后立即发送所述日志相比，本发明实施例可以在保证终端及时上报日志的同时，减少日志服务器的接收压力。

实施例2：

本发明实施例提供一种日志上报方法，从日志的保存、上报时间设计和压缩处理等方面进行详细阐述，如图2所示，包括如下步骤：

201、为日志创建存储介质，所述存储介质包括缓存、第一备份文件和第二备份文件。

本发明实施例采用缓存、第一备份文件和第二备份文件这三种存储介质对日志进行保存，这三种存储介质各自的作用分别表述如下：

当有日志产生时，终端按照与日志服务器约定好的格式对日志进行编写，并将编写好的日志保存到所述缓存和第一备份文件中。所述缓存中的日志和第一备份文件中的日志始终保持同步和一致。

当终端发生异常退出事件(例如断电)导致缓存中的日志全部丢失时，所述第一备份文件所保存的日志可以使得终端重新恢复正常状态后仍然可以获取丢失的日志。

当终端发送缓存中的日志成功时，则从所述第一备份文件中将发送成功的日志进行删除。

当终端发送缓存中的日志失败时，例如当断网或者网络环境不好时，造成日志发送失败，此时将发送失败的日志保存到所述第二备份文件中，以便于在网络环境恢复正常后可以对上述发送失败的日志进行重新发送，并从所述第一备份文件中将发送失败的日志进行删除。

202、检测所述第一备份文件是否为空。

具体应用时，上述步骤201和202的执行过程如下：在终端开机时，如果检测到终端上不存在上述存储介质(包括缓存、第一备份文件和第二备份文件)，则为日志创建上述存储介质。如果检测到终端上已经创建了上述存储介质，则检测所述第一备份文件是否为空，并根据不同的检测结果执行如下步骤203。

203、在所述第一备份文件不为空时，说明终端最近一次的退出发生了异常，例如可能由于断电导致终端异常退出，此时所述第一备份文件中的日志还没有进行发送，因而需要将所述第一备份文件中的所有日志写入所述缓存中。之后转去204开始执行。

如果检测出所述第一备份文件为空，说明终端最近一次为正常退出，那么直接转去204开始执行。

204、检测是否有日志产生。如果检测到有日志产生时，将按照规定格式编写好的日志同时写入缓存和第一备份文件。

205、判断所述缓存中的日志的长度是否大于数量门限值，或者在所述缓存中的日志对应的记录时间是否大于时间门限值。

206、在所述缓存中的日志的长度大于数量门限值时，或者，在所述缓存中的日志对应的记录时间大于时间门限值时，对所述缓存中的日志进行压缩；否则，转去204开始执行。

具体地，如果205将上述数量门限值设置为1k(1k＝1024字节)，将时间门限值设置为30分钟。如果所述缓存中的日志的长度大于1k，则对所述缓存中的日志进行压缩。由于不同终端所缓存的日志的长度达到1k时，所需要的时间是不相同的，因而可以将各个终端上报日志的时间进行分散，从而减少日志服务器的接收压力。

207、判断所述压缩后的日志的长度是否大于发送门限值；

208、在所述压缩后的日志的长度大于所述发送门限值时，获取所述缓存中特定个数的日志，并重新进行压缩，直到所述压缩后的日志的长度不大于所述发送门限值，所述特定个数小于所述缓存中的日志的总个数。

本发明实施例对缓存中的日志进行压缩时，考虑到UDP(User Datagram Protocol，用户数据包协议)数据包的数据区最大长度为1500字节，在实际传输时，所述UDP数据包的包头和日志的总和不能超过1500字节。因而，为了提高终端向日志服务器发送日志的效率，本发明实施例通过将上述发送门限值设置为1024字节，使得终端可以不需要对日志进行分包发送，实现一次性向日志服务器发送日志。

例如，如果判断出所述压缩后的日志的长度大于1024字节时，则从缓存中选取部分日志重新进行压缩，亦即对每次进行压缩的日志进行删减(并不是删除，而是暂时不进行压缩处理，等下一次发送时再进行压缩处理)，直到压缩后的日志的长度小于1024字节为止。具体地，每次判断出所述压缩后的日志的长度大于1024字节时，可以将所述缓存中的最后一条日志进行删减，选取去除最后一条日志之外的所有日志重新进行压缩，直到压缩后的日志的长度小于1024字节为止。

现有技术中采用将缓存中的日志直接压缩后进行发送，该压缩后的日志有可能会超过UDP数据包的数据区最大长度，从而采用分包技术，增加了日志处理的复杂度。与现有技术相比，本发明实施例可以降低日志处理的复杂度，使得终端不需要对日志进行分包发送，可以一次性实现日志的发送，提高了终端发送日志的效率。

需要说明的是，本步骤是可选步骤。例如，当205中的数量门限值设置为1024字节时，此时缓存的中日志的长度不会超过1024字节，因而压缩后的日志的长度也会满足UDP数据包的数据区的长度要求，此时本步骤可以省略。如果205中的数量门限值大于1024字节时，例如设置为2048字节，此时本步骤不可以省略。

209、在所述压缩后的日志的长度不大于发送门限值时，将所述压缩后的日志上报给日志服务器。

210、判断所述压缩后的日志是否发送成功。

211、当所述压缩后的日志发送失败时，例如，断网或者网络环境不好时，将所述压缩后的日志保存到所述第二备份文件中，并从所述第一备份文件中删除与所述压缩后的日志对应的日志。之后转去204开始执行。

212、当所述压缩后的日志发送成功时，从所述第一备份文件中删除与所述压缩后的日志对应的日志。

213、检测所述第二备份文件是否为空。

214、在所述第二备份文件不为空时，说明此时存在发送失败的日志，则需要将所述第二备份文件中预设个数的压缩后的日志发送给所述日志服务器，所述预设个数小于所述第二备份文件中压缩后的日志的总个数。所述预设个数的压缩的日志发送成功后，将所述发送成功的日志从上述第二备份文件中删除，之后转去204开始执行。如果所述第二备份文件为空，则直接转去204开始执行。

例如，将所述第二备份文件中部分(例如最后一条或者最后两条)压缩后的日志发送给日志服务器，考虑到所述第二备份文件中有可能保存有多条发送失败的压缩后的日志，本发明实施例采用将这些发送失败的压缩后的日志分次进行发送，从而可以减少在重新发送日志时给日志服务器带来的接收压力。

需要说明的是，如果上述第二备份文件中所保存的日志的长度大于1024*1024*10字节时，由于终端无法承受大于1024*1024*10字节的数据量，因而需要删除所述第二备份文件，以避免所述终端在上报日志时由于数据量太大发生异常的情况。

实施例3：

本发明实施例提供一种终端，如图3所示，该终端包括：第一写入单元11，第一压缩单元12和第一发送单元13。

其中，第一写入单元11用于当日志产生时，将按照规定格式编写好的日志写入缓存；第一压缩单元12用于在所述缓存中的日志的长度大于数量门限值时，或者，在所述缓存中的日志对应的记录时间大于时间门限值时，对所述缓存中的日志进行压缩；第一发送单元13用于将压缩后的日志发送给日志服务器。

本发明实施例所提供的终端，在所述缓存中的日志的长度大于数量门限值时，或者，在所述缓存中的日志对应的记录时间大于时间门限值时，才会向日志服务器发送日志。由于不同的终端各自所产生的日志的长度到达相同的数量门限值时，各个终端所需的时间是不相同的。因而，当大量的终端向同一个日志服务器上报日志时，通过设置数量门限值，使得各个终端上报日志的时间可以相互错开；同时，借助时间门限值，可以避免终端所缓存的日志的长度长时间不能达到上述数量门限值，导致日志发送延时的问题，与现有技术中当大量终端上报日志时，各个终端产生日志后立即发送所述日志相比，本发明实施例可以在保证终端及时上报日志的同时，减少日志服务器的接收压力。

进一步地，如图4所示，为了保证日志的非易失性，使得终端在异常退出或者网络环境不好的情况下，仍然可以保存日志，所述终端还包括：创建单元14，第二写入单元15和第一检测单元16。

所述创建单元14用于为日志创建存储介质，所述存储介质包括缓存、第一备份文件和第二备份文件；

终端正常开机后，首先检查所述第一备份文件中是否保存有日志，如果有日志，则说明终端上次退出时发生了异常情况，例如断电，此时需要将第一备份文件中的日志重新写入缓存。因而，当终端正常开机后，上述第一检测单元16用于检测所述第一备份文件是否为空；在所述第一检测单元16检测出第一备份文件不为空时，所述第一写入单元11还用于将所述第一备份文件中的所有日志写入所述缓存中。

当日志产生时，在第一写入单元11将按照规定格式编写好的日志写入缓存的同时，所述第二写入单元15将按照规定格式编写好的日志写入第一备份文件。

可选的，为了提高终端发送日志的效率，使得终端可以一次性(而不是采用分包发送)实现日志的发送，如图5所示，所述终端还包括：判断单元17和第二压缩单元18。

判断单元17用于判断所述压缩后的日志的长度是否大于发送门限值；

第二压缩单元18用于在所述压缩后的日志的长度大于所述发送门限值时，获取所述缓存中特定个数的日志，并重新进行压缩，直到所述压缩后的日志的长度不大于所述发送门限值，所述特定个数小于所述缓存中的日志的总个数。

此时，所述第一发送单元13用于在所述压缩后的日志的长度不大于发送门限值时，将所述压缩后的日志上报给日志服务器。

进一步地，当所述压缩后的日志发送失败时，例如网络环境不好时或者发生断网情况时，为了保证日志的非易失性，使得终端可以保存发送失败的日志，如图6所示，所述终端还包括：保存单元19和第一删除单元110。

保存单元19用于当所述压缩后的日志发送失败时，将所述压缩后的日志保存到所述第二备份文件中；

第一删除单元110用于从所述第一备份文件中删除与所述压缩后的日志对应的日志。之后，转去由第一写入单元11检测到日志产生时，将按照规定格式编写好的日志写入缓存。

进一步地，当所述压缩后的日志发送成功时，为了便于终端对之前发送失败的日志进行重新发送，如图7所示，所述终端还包括：第二删除单元111，第二检测单元112和第二发送单元113。

第二删除单元111用于当所述压缩后的日志发送成功时，从所述第一备份文件中删除与所述压缩后的日志对应的日志；

第二检测单元112用于检测所述第二备份文件是否为空；

第二发送单元113用于在所述第二备份文件不为空时，将所述第二备份文件中预设个数的压缩后的日志发送给所述日志服务器，所述预设个数小于所述第二备份文件中压缩后的日志的总个数。之后，转去由第一写入单元11检测到日志产生时，将按照规定格式编写好的日志写入缓存。

本发明实施例提供的终端具体可以为电视、机顶盒等需要向日志服务器上报日志的电子设备。

本发明实施例主要应用于日志上报的实现过程中，可以减少日志服务器的接收压力。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims

1.一种日志上报方法，其特征在于，包括：

当日志产生时，将按照规定格式编写好的日志写入缓存；

将压缩后的日志发送给日志服务器。

2.根据权利要求1所述的日志上报方法，其特征在于，还包括：

在终端开机时，为日志创建存储介质，所述存储介质包括缓存、第一备份文件和第二备份文件；

检测所述第一备份文件是否为空；

在所述第一备份文件不为空时，将所述第一备份文件中的所有日志写入所述缓存中。

3.根据权利要求2所述的日志上报方法，其特征在于，还包括：

当日志产生时，将按照规定格式编写好的日志写入所述第一备份文件。

4.根据权利要求1-3任一项所述的日志上报方法，其特征在于，在将压缩后的日志发送给日志服务器之前，还包括：

判断所述压缩后的日志的长度是否大于发送门限值；

在所述压缩后的日志的长度大于所述发送门限值时，获取所述缓存中特定个数的日志，并重新进行压缩，直到所述压缩后的日志的长度不大于所述发送门限值，所述特定个数小于所述缓存中的日志的总个数。

5.根据权利要求4所述的日志上报方法，其特征在于，所述将压缩后的日志上报给日志服务器包括：在所述压缩后的日志的长度不大于发送门限值时，将所述压缩后的日志上报给日志服务器。

6.根据权利要求2所述的日志上报方法，其特征在于，在将压缩后的日志发送给日志服务器之后，还包括：

当所述压缩后的日志发送失败时，将所述压缩后的日志保存到所述第二备份文件中；

从所述第一备份文件中删除与所述压缩后的日志对应的日志。

7.根据权利要求2所述的日志上报方法，其特征在于，在将压缩后的日志发送给日志服务器之后，还包括：

当所述压缩后的日志发送成功时，从所述第一备份文件中删除与所述压缩后的日志对应的日志；

检测所述第二备份文件是否为空；

在所述第二备份文件不为空时，将所述第二备份文件中预设个数的压缩后的日志发送给所述日志服务器，所述预设个数小于所述第二备份文件中压缩后的日志的总个数。

8.一种终端，其特征在于，包括：

第一发送单元，用于将压缩后的日志发送给日志服务器。

9.根据权利要求8所述的终端，其特征在于，还包括：

创建单元，用于为日志创建存储介质，所述存储介质包括缓存、第一备份文件和第二备份文件；

第一检测单元，用于检测所述第一备份文件是否为空；

在所述第一检测单元检测出第一备份文件不为空时，所述第一写入单元还用于将所述第一备份文件中的所有日志写入所述缓存中。

10.根据权利要求9所述的终端，其特征在于，还包括：第二写入单元，用于当日志产生时，将按照规定格式编写好的日志写入所述第一备份文件。

11.根据权利要求8-10任一项所述的终端，其特征在于，还包括：

判断单元，用于判断所述压缩后的日志的长度是否大于发送门限值；

第二压缩单元，用于在所述压缩后的日志的长度大于所述发送门限值时，获取所述缓存中特定个数的日志，并重新进行压缩，直到所述压缩后的日志的长度不大于所述发送门限值，所述特定个数小于所述缓存中的日志的总个数。

12.根据权利要求11所述的终端，其特征在于，所述第一发送单元用于在所述压缩后的日志的长度不大于发送门限值时，将所述压缩后的日志上报给日志服务器。

13.根据权利要求9所述的终端，其特征在于，还包括：

保存单元，用于当所述压缩后的日志发送失败时，将所述压缩后的日志保存到所述第二备份文件中；

第一删除单元，用于从所述第一备份文件中删除与所述压缩后的日志对应的日志。

14.根据权利要求9所述的终端，其特征在于，还包括：

第二删除单元，用于当所述压缩后的日志发送成功时，从所述第一备份文件中删除与所述压缩后的日志对应的日志；

第二检测单元，用于检测所述第二备份文件是否为空；

第二发送单元，用于在所述第二备份文件不为空时，将所述第二备份文件中预设个数的压缩后的日志发送给所述日志服务器，所述预设个数小于所述第二备份文件中压缩后的日志的总个数。