CN105577445A - 一种日志收集和上报的方法和装置 - Google Patents

Abstract

本发明提供一种日志收集和上报的方法和装置，能够简单方便的解决客户端用户反馈的问题，可以针对用户所提出的问题模块打开日志，回溯用户的行为，重现问题发生时的场景，使研发人员快速定位问题和解决问题。本发明的日志收集和上报的方法包括：接收服务器发来的日志属性的配置信息，并根据所述配置信息更新系统配置；按照所述日志收集规则记录日志；按照所述日志上报规则将所述记录的日志上报给所述服务器。

Description

一种日志收集和上报的方法和装置

技术领域

本发明涉及计算机技术领域，特别地涉及一种日志收集和上报的方法和装置。

背景技术

在移动互联网高速发展的今天，移动客户端已经成为各个行业服务提供商面向用户的重要窗口。移动客户端一旦发版后，经常会遇到客户的一些投诉建议和问题反馈，通过客户的简单描述，开发人员很难复现客户所提出的问题，也就很难解决某些客户提出的问题。

日志是开发人员复现问题和解决问题最重要的手段之一，但是因为流量及安全等方面的问题，线上的日志(log)都是关闭的。目前，广泛被使用的是异常上报系统，当客户端出现异常时，把异常栈信息保存并上报到服务器端，开发人员通过异常栈信息来分析解决问题，但是这种方式仅能解决程序异常方面的问题，并不能解决正常的用户业务问题。

发明内容

有鉴于此，本发明提供一种日志收集和上报的方法和装置，能够简单方便的解决客户端用户反馈的问题，可以针对用户所提出的问题模块打开日志，回溯用户的行为，重现问题发生时的场景，使研发人员快速定位问题和解决问题，之后再关闭该用户该模块的日志，这样既解决了客户问题，又把影响降到最低，提高客户端用户体验和客户端版本质量，提高用户满意度和用户体验。

为实现上述目的，根据本发明的一个方面，提供了一种日志收集和上报的方法。

一种日志收集和上报的方法，包括：接收服务器发来的日志属性的配置信息，并根据所述配置信息更新系统配置，其中，所述配置信息包含日志收集规则和日志上报规则；按照所述日志收集规则记录日志；按照所述日志上报规则将所述记录的日志上报给所述服务器。

可选地，所述配置信息还包括：需要收集和上报日志的设备标识、收集和上报日志的文件大小和文件数量、收集和上报日志的级别，以及条件控制参数。

可选地，根据所述配置信息更新系统配置之前，还包括：判断所述客户端标识与所述配置信息中的需要收集和上报日志的设备标识是否匹配；如果匹配，则更新系统配置；否则，关闭日志管理系统，不进行日志收集和上报。

可选地，按照所述日志收集规则记录日志的步骤包括：多线程收集预定级别的日志并根据日志收集的顺序生成索引号，其中，所述预定级别为所述配置信息中的收集和上报日志的级别；将所述收集的日志循环存储在文件池中，所述文件池中存储的文件大小和文件数量为所述配置信息中收集和上报日志的文件大小和文件数量，且所述文件池中存储的日志格式为时间_索引号_日志内容；使用单独的线程读取所述文件池中的日志并保存为日志文件。

可选地，所述日志上报规则包括：在日志管理系统启动时，若系统所处的网络环境为无线局域网，则将累积的日志全部上传到服务器；在日志记录过程中，若系统所处的网络环境为无线局域网，则当所记录的日志达到预定文件大小时，立即将所述日志上报到服务器，否则，当满足所述配置信息中的条件控制参数所限定的条件时，将达到所述预定文件大小的日志上传到服务器；其中，所述预定文件大小为所述配置信息中收集和上报日志的文件大小，所述配置信息中的条件控制参数为非无线局域网环境下日志上报所需要满足的条件。

根据本发明的另一方面，提供了一种日志收集和上报的装置。

一种日志收集和上报的装置，包括：系统更新模块，用于接收服务器发来的日志属性的配置信息，并根据所述配置信息更新系统配置，其中，所述配置信息包含日志收集规则和日志上报规则；日志收集模块，用于按照所述日志收集规则记录日志；日志上报模块，用于按照所述日志上报规则将所述记录的日志上报给所述服务器。

可选地，所述配置信息还包括：需要收集和上报日志的设备标识、收集和上报日志的文件大小和文件数量、收集和上报日志的级别，以及条件控制参数。

可选地，所述装置还包括更新判断模块，用于判断所述客户端标识与所述配置信息中的需要收集和上报日志的设备标识是否匹配；如果匹配，则更新系统配置；否则，关闭日志管理系统，不进行日志收集和上报。

可选地，所述日志收集模块还用于：多线程收集预定级别的日志并根据日志收集的顺序生成索引号，其中，所述预定级别为所述配置信息中的收集和上报日志的级别；将所述收集的日志循环存储在文件池中，所述文件池中存储的文件大小和文件数量为所述配置信息中收集和上报日志的文件大小和文件数量，且所述文件池中存储的日志格式为时间_索引号_日志内容；使用单独的线程读取所述文件池中的日志并保存为日志文件。

可选地，所述日志上报规则包括：在日志管理系统启动时，若系统所处的网络环境为无线局域网，则将累积的日志全部上传到服务器；在日志记录过程中，若系统所处的网络环境为无线局域网，则当所记录的日志达到预定文件大小时，立即将所述日志上报到服务器，否则，当满足所述配置信息中的条件控制参数所限定的条件时，将达到所述预定文件大小的日志上传到服务器；其中，所述预定文件大小为所述配置信息中收集和上报日志的文件大小，所述配置信息中的条件控制参数为非无线局域网环境下日志上报所需要满足的条件。

根据本发明的技术方案，根据服务器发来的配置信息，并按照配置信息中的日志收集规则记录日志，及按照配置信息中的日志上报规则将所述记录的日志上报给服务器，可以准确找到发生问题的客户端的对应模块，安全高效地将日志上报给服务器端，开发人员从服务器端获取日志信息来定位用户问题，克服目前开发人员很难复现客户所提出的问题从而很难解决客户所提出问题的缺陷，快速定位问题和解决问题，提高客户端用户体验和客户端版本质量，并提高用户满意度和用户体验。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的日志收集和上报的方法的主要步骤示意图；

图2是根据本发明实施例的日志收集和上报的装置的主要模块示意图；

图3是根据本发明实施例的日志系统的架构示意图；

图4是根据本发明实施例的收集和上报日志过程的流程图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是根据本发明实施例的日志收集和上报的方法的主要步骤示意图。如图1所示，本发明的日志收集和上报的方法主要包括如下步骤S11至步骤S13。

步骤S11：接收服务器发来的日志属性的配置信息，并根据配置信息更新系统配置。其中，配置信息包含日志收集规则和日志上报规则。

另外，配置信息还可以包括：需要收集和上报日志的设备标识、收集和上报日志的文件大小和文件数量、收集和上报日志的级别，以及条件控制参数等。

在步骤S11中，在配置信息更新系统配置之前，还可以包括如下的步骤：判断所述客户端标识与所述配置信息中的需要收集和上报日志的设备标识是否匹配；如果匹配，则更新系统配置；否则，关闭日志管理系统，不进行日志收集和上报。

步骤S12：按照所述日志收集规则记录日志。

该步骤S12具体可以包括：

步骤S120：多线程收集预定级别的日志并根据日志收集的顺序生成索引号，其中，所述预定级别为所述配置信息中的收集和上报日志的级别；

步骤S121：将所述收集的日志循环存储在文件池中，所述文件池中存储的文件大小和文件数量为所述配置信息中收集和上报日志的文件大小和文件数量，且所述文件池中存储的日志格式为时间_索引号_日志内容；

步骤S122：使用单独的线程读取所述文件池中的日志并保存为日志文件。

步骤S13：按照日志上报规则将记录的日志上报给服务器。

另外，在按照所述日志上报规则将所述记录的日志上报给所述服务器之前，还可以将所述记录的日志中的关键信息进行加密处理。

其中，所述日志上报规则可以包括：

在日志管理系统启动时，若系统所处的网络环境为无线局域网，则将累积的日志全部上传到服务器；

在日志记录过程中，若系统所处的网络环境为无线局域网，则当所记录的日志达到预定文件大小时，立即将所述日志上报到服务器，否则，当满足所述配置信息中的条件控制参数所限定的条件时，将达到所述预定文件大小的日志上传到服务器；

其中，所述预定文件大小为所述配置信息中收集和上报日志的文件大小，所述配置信息中的条件控制参数为非无线局域网环境下日志上报所需要满足的条件。

图2是根据本发明实施例的日志收集和上报的装置的主要模块示意图。

如图2所示，本发明实施例的日志收集和上报的装置20主要包括系统更新模块21、日志收集模块22和日志上报模块23。

系统更新模块21，用于接收服务器发来的日志属性的配置信息，并根据所述配置信息更新系统配置，其中，所述配置信息包含日志收集规则和日志上报规则。

另外，所述配置信息还可以包括：需要收集和上报日志的设备标识、收集和上报日志的文件大小和文件数量、收集和上报日志的级别，以及条件控制参数。

日志收集模块22，用于按照所述日志收集规则记录日志。

日志收集模块22具体还可以用于多线程收集预定级别的日志并根据日志收集的顺序生成索引号，其中，所述预定级别为所述配置信息中的收集和上报日志的级别；将所述收集的日志循环存储在文件池中，所述文件池中存储的文件大小和文件数量为所述配置信息中收集和上报日志的文件大小和文件数量，且所述文件池中存储的日志格式为时间_索引号_日志内容；使用单独的线程读取所述文件池中的日志并保存为日志文件。

日志上报模块23，用于按照所述日志上报规则将所述记录的日志上报给所述服务器。

其中，所述日志上报规则包括：在日志管理系统启动时，若系统所处的网络环境为无线局域网，则将累积的日志全部上传到服务器；在日志记录过程中，若系统所处的网络环境为无线局域网，则当所记录的日志达到预定文件大小时，立即将所述日志上报到服务器，否则，当满足所述配置信息中的条件控制参数所限定的条件时，将达到所述预定文件大小的日志上传到服务器；其中，所述预定文件大小为所述配置信息中收集和上报日志的文件大小，所述配置信息中的条件控制参数为非无线局域网环境下日志上报所需要满足的条件。

本实施例的日志收集和上报的装置20还可以包括更新判断模块，用于判断所述客户端标识与所述配置信息中的需要收集和上报日志的设备标识是否匹配；如果匹配，则更新系统配置；否则，关闭日志管理系统，不进行日志收集和上报。

以下将通过具体实施例来介绍本发明的实施过程，如图3、图4所示，为本发明的实施例的具体实施过程。

图3是根据本发明实施例的日志系统的架构示意图。如图3所示，本发明实施例的日志系统主要包括客户端和服务器。

服务器为日志服务器，用于配置日志属性，该日志属性的配置信息包括日志收集和日志上报所用的规则及参数，当有客户端向服务器发出请求时，服务器将该日志属性的配置信息发送给提出请求的客户端。其中，日志记录和日志上报所用的规则规定了客户端是否需要向服务器上报日志、客户端收集日志的方式、日志存储方式、日志上传的方式等，所述参数包括日志记录和上报规则所需的必要参数，包括需要收集和上报日志的设备标识、收集和上报日志的文件大小和文件数量、日志收集和上报的级别、以及条件控制参数等。服务器还用于接收和保存客户端上报的日志文件，以便研发人员下载日志信息来获取客户端运行情况，配置信息中的需要收集和上报日志的设备标识可以是客户端反馈问题时服务器所记载的客户端设备标识。服务器可供研发人员通过获取客户端运行情况来定位用户反馈(例如通过投诉等方式反馈)的客户端问题，根据客户端设备标识的不同，服务器可能匹配到唯一的客户端，也可能匹配到某一类型的多个客户端，在服务器端分别保存各客户端上传的日志。

客户端向服务器发送请求，并接收服务器发来的上述日志属性配置信息，其中，配置信息具体可以包括：

日志收集规则和日志上报规则，用于控制日志的记录和日志的上报，位于客户端的日志管理系统按照该规则收集和上报日志；

非无线局域网环境下日志上报的限定逻辑，提供了非wifi网络环境下的日志管理系统进行日志上报的条件控制参数，例如，该条件控制参数限定了非wifi网络中，出现“紧急”报错的时候该日志管理系统可以上报日志给服务器；

收集和上报日志的文件大小和文件数量，按照该配置的文件大小和文件数量记录和上报日志；

收集和上报日志的层级，表示收集和上报的日志的级别，例如普通、警告、错误等不同的级别；

需要收集和上报日志的设备信息，设备信息可以是设备标识，用于判定该客户端是否需要收集和上报日志，例如可以是移动设备的机型、用户ID、UUID(通用唯一识别码)、APP(应用程序)版本等。

客户端启动后将初始化日志管理系统，之后，日志管理系统解析从服务器获取的上述配置信息，这些配置信息一般是以json或者xml等能被数据库所识别的格式存在的，所述解析主要是对获取的数据的字段进行解析，例如：日志文件的“大小”和“数量”等日志收集和日志上报所用参数的参数名字段等。通过解析获取的配置信息，日志管理系统获取到配置参数并更新系统配置。

之后，日志管理系统按照配置信息中的日志收集规则记录日志，并按照配置信息中的日志上报规则将记录的日志上报给服务器，其中，该日志管理系统位于客户端，且客户端可以是安装在移动设备(如智能电话、PAD等)中的移动客户端，如手机App(应用程序)端等，还可以是安卓系统的客户端，或者是ios系统等其他操作系统的客户端，对于安卓系统的客户端，日志管理系统可以通过logcat日志获取工具获取log(日志)信息，对于ios系统的客户端可以通过nslogger工具获取log(日志)信息。

图4是根据本发明实施例的日志记录和上报过程的流程图。如图4所示，本发明实施例的日志记录和上报过程主要包括以下的步骤S41至步骤S46。

步骤S41：客户端启动时接收服务器发来的日志属性的配置信息。

步骤S42：根据接收的配置信息判定是否需要收集和上报日志，若是，则进入步骤S43，否则结束流程，不进行日志收集和上报。其中，所述判定的方法为：判断所述客户端标识与所述配置信息中的需要收集和上报日志的设备标识是否匹配，如果是，则需要收集和上报日志，否则不需要收集和上报日志，结束流程。

步骤S43：根据接收的配置信息更新系统配置。该配置更新即：根据服务器发来的配置信息中的日志收集规则和日志上报规则以及相关参数，进行日志管理系统Logsys的日志收集和上报功能的配置，根据上述规则和参数的不同，客户端收集日志和上报日志的方式也不相同，具体介绍如下。

日志收集规则：客户端使用多线程将日志数据写入日志管理系统缓存，使用单独线程读取缓存中的日志数据并记录到日志文件中。收集的日志按照规定格式循环存储在缓存中的文件池中，文件池中文件大小和文件数量为客户端接收的配置信息中收集和上报日志的文件大小和文件数量，默认为可以保存10个文件、每个文件大小为1M，也可以配置为其他数值。且在进行日志保存时，规定日志格式为：时间_tag_message，其中，时间表示日志记录的时间，tag表示根据日志收集的顺序生成的索引号，每收集一个文件大小的日志就生成一个索引号，通过存储这些索引号的索引文件(index)来管理日志文件的记录顺序，message表示日志记录的内容。

日志上报规则包括日志记录过程中的日志上报规则，为了节省客户端流量，配置成客户端默认在wifi网络下上报记录的日志文件，客户端在wifi网络下根据设置的日志级别分级别上报记录的日志文件，并且每写满一个日志文件就立即上报到服务器，其中，该日志级别为配置信息中的收集和上报日志的级别，通过配置信息中的日志层级参数来配置，可以配置一个层级或多个层级，相应地，客户端上报该配置的一个或多个层级的日志。

另外，日志上报规则还包括日志管理系统启动时的上报规则，即：日志管理系统启动后、开始收集日志信息之前，系统中可能保存有上次记录的日志文件，为此，日志管理系统启动时的日志上报规则为，在wifi网络下日志管理系统启动后立即把上次积累的所有日志文件一并上传到服务器。

步骤S44：按照日志收集规则记录日志。根据步骤S43中更新的配置来收集日志。需要说明的是，步骤S43中日志收集规则还可以用单线程收集方式代替利用多线程写入日志数据，且客户端接收到的配置信息中收集和上报日志的文件大小和文件数量参数可配置为缺省，当该文件大小和文件数量参数为缺省时，按照客户端默认的存储文件的大小和数量来存储日志。

步骤S45：将记录的日志中的关键信息进行加密处理。此处，加密的方法有多种，可根据需要进行设定。

步骤S46：按照日志上报规则将记录的日志上报给所述服务器。根据S43步骤中更新的配置来上报日志。需要说明的是，对于非wifi网络中的客户端，本实施例步骤S43中的日志记录过程中的日志上报规则为：在非wifi网络下有条件地上报日志，即，客户端在非wifi网络下通常只收集记录日志，不上报日志文件，只有达到预定条件才上报日志，该预定条件为配置信息中的非wifi条件下日志上报的限定逻辑所限定的条件，例如可以是出现“紧急”报错则立即上报日志，也可以为其他需要使客户端在非wifi网络下上报日志的条件，当客户端符合该限定条件时，会自动触发该条件执行，将收集记录的日志上报给服务器，该限定逻辑是配置信息中的条件控制参数的一种具体形式。

对于非wifi网络中的客户端，本实施例步骤S43中的日志管理系统启动时的日志上报规则为：在非wifi网络中，可以设置为把上次积累的所有日志文件一并上传，也可以设置为不上传积累的日志文件，如果设置为不上传积累的日志文件并且该积累的日志文件是循环存储在文件池中，则新收集记录的日志文件将覆盖更新上次存储的日志文件。

此外，对于wifi网络或非wifi网络中的客户端，接收到的配置信息中的日志层级参数可以为缺省，即不分层级收集日志且不分层级上报所有记录的日志文件。

本领域技术人员可以理解地是，为了便于节省客户端的流量，本发明实施例中的wifi网络也可以为其他任何客户端用的无线局域网络，非wifi网络可以为除无线局域网络之外的其他任何客户端用通信网络。

除了上报日志文件本身外，还附带用户id、手机型号、渠道号、时间、app名、app版本等的其中一个或多个信息，其中，用户id可以是APP登录用户名、用户手机号码等，渠道号例如应用宝等对应的渠道号，手机型号如iPhone6s等。

根据本发明的技术方案，根据服务器发来的配置信息，并按照配置信息中的日志收集规则记录日志，以及按照配置信息中的日志上报规则将所述记录的日志上报给服务器，可以准确找到发生问题的客户端的对应模块，安全高效地将日志上报给服务器端，开发人员从服务器端获取日志信息来定位用户问题，克服目前开发人员很难复现客户所提出的问题从而很难解决客户所提出问题的缺陷，快速定位问题和解决问题，提高客户端用户体验和客户端版本质量，并提高用户满意度和用户体验。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种日志收集和上报的方法，其特征在于，包括：

接收服务器发来的日志属性的配置信息，并根据所述配置信息更新系统配置，其中，所述配置信息包含日志收集规则和日志上报规则；

按照所述日志收集规则记录日志；

按照所述日志上报规则将所述记录的日志上报给所述服务器。

2.根据权利要求1所述的方法，其特征在于，所述配置信息还包括：

需要收集和上报日志的设备标识、收集和上报日志的文件大小和文件数量、收集和上报日志的级别，以及条件控制参数。

3.根据权利要求1或2所述的方法，其特征在于，根据所述配置信息更新系统配置之前，还包括：

判断所述客户端标识与所述配置信息中的需要收集和上报日志的设备标识是否匹配；

如果匹配，则更新系统配置；否则，关闭日志管理系统，不进行日志收集和上报。

4.根据权利要求2所述的方法，其特征在于，按照所述日志收集规则记录日志的步骤包括：

多线程收集预定级别的日志并根据日志收集的顺序生成索引号，其中，所述预定级别为所述配置信息中的收集和上报日志的级别；

将所述收集的日志循环存储在文件池中，所述文件池中存储的文件大小和文件数量为所述配置信息中收集和上报日志的文件大小和文件数量，且所述文件池中存储的日志格式为时间_索引号_日志内容；

使用单独的线程读取所述文件池中的日志并保存为日志文件。

5.根据权利要求1所述的方法，其特征在于，所述日志上报规则包括：

在日志管理系统启动时，若系统所处的网络环境为无线局域网，则将累积的日志全部上传到服务器；

在日志记录过程中，若系统所处的网络环境为无线局域网，则当所记录的日志达到预定文件大小时，立即将所述日志上报到服务器，否则，当满足所述配置信息中的条件控制参数所限定的条件时，将达到所述预定文件大小的日志上传到服务器；

其中，所述预定文件大小为所述配置信息中收集和上报日志的文件大小，所述配置信息中的条件控制参数为非无线局域网环境下日志上报所需要满足的条件。

6.一种日志收集和上报的装置，其特征在于，包括：

系统更新模块，用于接收服务器发来的日志属性的配置信息，并根据所述配置信息更新系统配置，其中，所述配置信息包含日志收集规则和日志上报规则；

日志收集模块，用于按照所述日志收集规则记录日志；

日志上报模块，用于按照所述日志上报规则将所述记录的日志上报给所述服务器。

7.根据权利要求6所述的装置，其特征在于，所述配置信息还包括：

需要收集和上报日志的设备标识、收集和上报日志的文件大小和文件数量、收集和上报日志的级别，以及条件控制参数。

8.根据权利要求6或7所述的装置，其特征在于，还包括：更新判断模块，

用于判断所述客户端标识与所述配置信息中的需要收集和上报日志的设备标识是否匹配；

如果匹配，则更新系统配置；否则，关闭日志管理系统，不进行日志收集和上报。

9.根据权利要求7所述的装置，其特征在于，所述日志收集模块还用于：

多线程收集预定级别的日志并根据日志收集的顺序生成索引号，其中，所述预定级别为所述配置信息中的收集和上报日志的级别；

将所述收集的日志循环存储在文件池中，所述文件池中存储的文件大小和文件数量为所述配置信息中收集和上报日志的文件大小和文件数量，且所述文件池中存储的日志格式为时间_索引号_日志内容；

使用单独的线程读取所述文件池中的日志并保存为日志文件。

10.根据权利要求6所述的装置，其特征在于，所述日志上报规则包括：

在日志管理系统启动时，若系统所处的网络环境为无线局域网，则将累积的日志全部上传到服务器；

在日志记录过程中，若系统所处的网络环境为无线局域网，则当所记录的日志达到预定文件大小时，立即将所述日志上报到服务器，否则，当满足所述配置信息中的条件控制参数所限定的条件时，将达到所述预定文件大小的日志上传到服务器；

其中，所述预定文件大小为所述配置信息中收集和上报日志的文件大小，所述配置信息中的条件控制参数为非无线局域网环境下日志上报所需要满足的条件。