CN105490841A - 一种终端日志抓取方法、装置及系统 - Google Patents
一种终端日志抓取方法、装置及系统 Download PDFInfo
- Publication number
- CN105490841A CN105490841A CN201510843646.0A CN201510843646A CN105490841A CN 105490841 A CN105490841 A CN 105490841A CN 201510843646 A CN201510843646 A CN 201510843646A CN 105490841 A CN105490841 A CN 105490841A
- Authority
- CN
- China
- Prior art keywords
- daily record
- client
- requirement
- record
- log information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0604—Management of faults, events, alarms or notifications using filtering, e.g. reduction of information by using priority, element types, position or time
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明实施例公开了一种终端日志抓取方法、装置及系统，解决了目前由于运行日志信息量太大，以及云端被动接收日志所导致的抓取终端日志的精确性低的技术问题。本发明实施例终端日志抓取方法包括：定期进行数据库扫描，并确定数据库中存在有未处理的策略记录；根据未处理的策略记录确定对应的客户端，并与客户端建立连接关系，并将策略记录相对应的要求上报日志信息发送至客户端；获取到客户端根据要求上报日志信息上报的与要求上报日志信息相对应的指定日志。
Description
技术领域
本发明涉及互联网技术领域，尤其涉及一种终端日志抓取方法、装置及系统。
背景技术
互联网/移动互联网领域中的各种终端软件，在运行过程中会产生日志(包括错误日志、运行日志)记录在终端。常见的日志策略是在发生错误时终端主动上报错误日志给云端供分析问题。该方法很有效，但也有一些缺点例如：1.上报信息以错误日志为主，因为运行日志信息量太大，如果全部上报的话，有效信息比例低，浪费终端流量和云端的存储空间；2.云端处于被动接收日志的状态，没法精准主动地抓取终端日志。
在实际应用中，经常发生终端遇到运行问题或者错误，需要在云端分析，但却没有相应的终端日志。在实际系统中，大多数是通过终端主动上报来实现此功能，云端只是被动地接受日志，且限于错误日志，因为如果所有终端都上报运行日志，数据总量太大而不现实，而且容易遇到需要抓取的特定终端没有上报日志到云端的情况。
为了解决上述提及的由于运行日志信息量太大，以及云端被动接收日志所导致的抓取终端日志的精确性低的技术问题，已经成为了本领域技术人员亟待解决的技术问题。
发明内容
本发明实施例提供的一种终端日志抓取方法、装置及系统，解决了目前由于运行日志信息量太大，以及云端被动接收日志所导致的抓取终端日志的精确性低的技术问题。
本发明实施例提供的一种终端日志抓取方法，包括：
定期进行数据库扫描，并确定所述数据库中存在有未处理的策略记录；
根据未处理的所述策略记录确定对应的客户端，并与所述客户端建立连接关系，并将所述策略记录相对应的要求上报日志信息发送至所述客户端；
获取到所述客户端根据所述要求上报日志信息上报的与所述要求上报日志信息相对应的指定日志。
可选地，根据未处理的所述策略记录确定对应的客户端，并与所述客户端建立连接关系，并将所述策略记录相对应的要求上报日志信息发送至所述客户端之前还包括：
当确定用户账号对应的业务处理异常时，将所述用户账号与当前时间记录在所述数据库中。
可选地，根据未处理的所述策略记录确定对应的客户端，并与所述客户端建立连接关系，并将所述策略记录相对应的要求上报日志信息发送至所述客户端之前还包括：
将获取到的通过人工输入的用户账户、当前时间、要求上报日志对应的关键字记录再所述数据库中。
可选地，根据未处理的所述策略记录确定对应的客户端，并与所述客户端建立连接关系，并将所述策略记录相对应的要求上报日志信息发送至所述客户端具体包括：
根据所述数据库中未处理的所述策略记录确定相对应的用户账户，并根据所述用户账户与对应的所述客户端建立TCP长连接；
将所述策略记录相对应的要求上报日志信息发送至所述客户端，所述要求上报日志信息包括要求上报日志指令、日志时间段及要求上报日志对应的关键字。
可选地，获取到所述客户端根据所述要求上报日志信息上报的与所述要求上报日志信息相对应的指定日志具体包括：
获取到所述客户端根据所述要求上报日志指令、所述日志时间段及所述要求上报日志对应的所述关键字确定的所述指定日志；
将接收到的所述指定日志标记为已处理。
本发明实施例提供的一种终端日志抓取装置，包括：
日志抓取策略模块，用于定期进行数据库扫描，并确定所述数据库中存在有未处理的策略记录；
网络层模块，用于根据未处理的所述策略记录确定对应的客户端，并与所述客户端建立连接关系，并将所述策略记录相对应的要求上报日志信息发送至所述客户端；
云端日志收集模块，用于获取到所述客户端根据所述要求上报日志信息上报的与所述要求上报日志信息相对应的指定日志。
可选地，所述终端日志抓取装置还包括：
策略数据库，用于当确定用户账号对应的业务处理异常时，将所述用户账号与当前时间进行记录。
可选地，所述策略数据库，还用于将获取到的通过人工输入的用户账户、当前时间、要求上报日志对应的关键字进行记录。
可选地，网络层模块具体包括：
确定子模块，用于根据所述数据库中未处理的所述策略记录确定相对应的用户账户，并根据所述用户账户与对应的所述客户端建立TCP长连接；
发送子模块，用于将所述策略记录相对应的要求上报日志信息发送至所述客户端，所述要求上报日志信息包括要求上报日志指令、日志时间段及要求上报日志对应的关键字。
可选地，云端日志收集模块具体包括：
获取子模块，用于获取到所述网络层模块转发的所述客户端根据所述要求上报日志指令、所述日志时间段及所述要求上报日志对应的所述关键字确定的所述指定日志；
标记子模块，用于将接收到的所述指定日志标记为已处理。
本发明实施例提供的一种终端日志抓取系统，包括：
客户端，以及本实施例中提及的任意一种所述的终端日志抓取装置；
所述客户端与所述终端日志抓取装置建立有通信连接关系；
所述客户端，用于将所述终端日志抓取装置发送的所述要求上报日志信息相对应的指定日志。
可选地，所述客户端具体包括：
客户端网络层模块，用于获取所述终端日志抓取装置发送的根据未处理的所述策略记录相对应的要求上报日志信息，或者将所述要求上报日志信息对应的指定日志上报至所述终端日志抓取装置；
日志处理模块，用于根据所述要求上报日志信息，在本地日志文件中，查找到相对应的所述指定日志。
从以上技术方案可以看出，本发明实施例具有以下优点：
本发明实施例提供的一种终端日志抓取方法、装置及系统，其中，终端日志抓取方法包括：定期进行数据库扫描，并确定数据库中存在有未处理的策略记录；根据未处理的策略记录确定对应的客户端，并与客户端建立连接关系，并将策略记录相对应的要求上报日志信息发送至客户端；获取到客户端根据要求上报日志信息上报的与要求上报日志信息相对应的指定日志。本实施例中，通过定期进行数据库扫描，并确定数据库中存在有未处理的策略记录，然后根据未处理的策略记录确定对应的客户端，并与客户端建立连接关系，并将策略记录相对应的要求上报日志信息发送至客户端，最后获取到客户端根据要求上报日志信息上报的与要求上报日志信息相对应的指定日志，实现了云端主动抓取终端日志的功能，解决了目前由于运行日志信息量太大，以及云端被动接收日志所导致的抓取终端日志的精确性低的技术问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例中提供的一种终端日志抓取方法的一个实施例的流程示意图；
图2为本发明实施例中提供的一种终端日志抓取方法的另一个实施例的流程示意图；
图3为本发明实施例中提供的一种终端日志抓取方法的另一个实施例的流程示意图；
图4为本发明实施例中提供的一种终端日志抓取装置的一个实施例的结构示意图；
图5为本发明实施例中提供的一种终端日志抓取装置的另一个实施例的结构示意图；
图6为本发明实施例中提供的一种终端日志抓取系统的一个实施例的结构示意图；
图7为图2和图3所示实施例的应用例。
具体实施方式
本发明实施例提供的一种终端日志抓取方法、装置及系统，解决了目前由于运行日志信息量太大，以及云端被动接收日志所导致的抓取终端日志的精确性低的技术问题。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1，本发明实施例中提供的一种终端日志抓取方法的一个实施例包括：
101、定期进行数据库扫描，并确定数据库中存在有未处理的策略记录；
本实施例中，当云端需要主动抓取终端的日志时，该终端包括移动终端、PC客户端或者其他终端设备等，首先需要定期进行数据库扫描，并确定数据库中存在有未处理的策略记录。
102、根据未处理的策略记录确定对应的客户端，并与客户端建立连接关系，并将策略记录相对应的要求上报日志信息发送至客户端；
当定期进行数据库扫描，并确定数据库中存在有未处理的策略记录之后，需要根据未处理的策略记录确定对应的客户端，并与客户端建立连接关系，并将策略记录相对应的要求上报日志信息发送至客户端。
103、获取到客户端根据要求上报日志信息上报的与要求上报日志信息相对应的指定日志。
当根据未处理的策略记录确定对应的客户端，并与客户端建立连接关系，并将策略记录相对应的要求上报日志信息发送至客户端之后，需要获取到客户端根据要求上报日志信息上报的与要求上报日志信息相对应的指定日志。
本实施例中，通过定期进行数据库扫描，并确定数据库中存在有未处理的策略记录，然后根据未处理的策略记录确定对应的客户端，并与客户端建立连接关系，并将策略记录相对应的要求上报日志信息发送至客户端，最后获取到客户端根据要求上报日志信息上报的与要求上报日志信息相对应的指定日志，实现了云端主动抓取终端日志的功能，解决了目前由于运行日志信息量太大，以及云端被动接收日志所导致的抓取终端日志的精确性低的技术问题。
上面是对终端日志抓取方法的过程进行详细的描述，下面将对与客户端建立连接关系之前的对数据库的记录进行详细的描述，在实际过程中，对数据库的记录的方式有多种，下面分别进行详细的描述。
一、处理业务时发现某用户帐号的业务处理异常；
请参阅图2，本发明实施例中提供的一种终端日志抓取方法的另一个实施例包括：
201、当确定用户账号对应的业务处理异常时，将用户账号与当前时间记录在数据库中；
本实施例中，当云端需要主动抓取终端的日志时，该终端包括移动终端、PC客户端或者其他终端设备等，首先需要当确定用户账号对应的业务处理异常时，将用户账号与当前时间记录在数据库中，例如当云端业务服务器处理业务时发现某用户帐号的业务处理异常。比如App闪退，App传入的业务参数错误或者服务器处理异常。在这些情况下，需要主动收集App端日志与云端服务器日志共同确认问题所在。
202、定期进行数据库扫描，并确定数据库中存在有未处理的策略记录；
当确定用户账号对应的业务处理异常时，将用户账号与当前时间记录在数据库中，定期进行数据库扫描，并确定数据库中存在有未处理的策略记录。
203、根据数据库中未处理的策略记录确定相对应的用户账户，并根据用户账户与对应的客户端建立TCP长连接；
当定期进行数据库扫描，并确定数据库中存在有未处理的策略记录之后，需要根据数据库中未处理的策略记录确定相对应的用户账户，并根据用户账户与对应的客户端建立TCP长连接，例如定期扫描策略数据库，发现有未处理的策略记录。
204、将策略记录相对应的要求上报日志信息发送至客户端；
当根据数据库中未处理的策略记录确定相对应的用户账户，并根据用户账户与对应的客户端建立TCP长连接之后，需要将策略记录相对应的要求上报日志信息发送至客户端，要求上报日志信息包括要求上报日志指令、日志时间段及要求上报日志对应的关键字，例如查找策略记录中用户帐号对应的TCP长连接，把策略推送给移动终端App。
205、获取到客户端根据要求上报日志指令、日志时间段及要求上报日志对应的关键字确定的指定日志；
当将策略记录相对应的要求上报日志信息发送至客户端之后，需要获取到客户端根据要求上报日志指令、日志时间段及要求上报日志对应的关键字确定的指定日志，例如接收到用户终端上报的日志后，如果是压缩格式需要先解压再存储，否则直接存储。
206、将接收到的指定日志标记为已处理。
当获取到客户端根据要求上报日志指令、日志时间段及要求上报日志对应的关键字确定的指定日志之后，需要将接收到的指定日志标记为已处理，例如策略数据库中对应的记录标记为已处理。
本实施例中，通过定期进行数据库扫描，并确定数据库中存在有未处理的策略记录，然后根据未处理的策略记录确定对应的客户端，并与客户端建立连接关系，并将策略记录相对应的要求上报日志信息发送至客户端，最后获取到客户端根据要求上报日志信息上报的与要求上报日志信息相对应的指定日志，实现了云端主动抓取终端日志的功能，解决了目前由于运行日志信息量太大，以及云端被动接收日志所导致的抓取终端日志的精确性低的技术问题。
以及当云端业务服务器处理业务时发现某用户帐号的业务处理异常。比如App闪退，App传入的业务参数错误或者服务器处理异常。在这些情况下，需要主动收集App端日志与云端服务器日志共同确认问题所在，实现了全程主动抓取终端日志的功能。
二、需要人工指定主动抓取终端日志；
请参阅图3，本发明实施例中提供的一种终端日志抓取方法的另一个实施例包括：
301、将获取到的通过人工输入的用户账户、当前时间、要求上报日志对应的关键字记录再数据库中；
本实施例中，当云端需要主动抓取终端的日志时，该终端包括移动终端、PC客户端或者其他终端设备等，首先需要将获取到的通过人工输入的用户账户、当前时间、要求上报日志对应的关键字记录再数据库中，例如用户在App内主动上报错误时，App会同时提交其对应时段的错误日志或者运行日志上来。但在具体分析问题时，主动上报的对应时段的日志未必完善，也可能需要更多时段的日志做对比。这时需要人工配置策略来主动抓取终端日志，需要人工指定主动抓取终端日志时，把用户帐号、当前时间、需要抓取的日志应该包含的关键字填入策略数据库。
302、定期进行数据库扫描，并确定数据库中存在有未处理的策略记录；
当将获取到的通过人工输入的用户账户、当前时间、要求上报日志对应的关键字记录再数据库中，定期进行数据库扫描，并确定数据库中存在有未处理的策略记录。
303、根据数据库中未处理的策略记录确定相对应的用户账户，并根据用户账户与对应的客户端建立TCP长连接；
当定期进行数据库扫描，并确定数据库中存在有未处理的策略记录之后，需要根据数据库中未处理的策略记录确定相对应的用户账户，并根据用户账户与对应的客户端建立TCP长连接，例如定期扫描策略数据库，发现有未处理的策略记录。
304、将策略记录相对应的要求上报日志信息发送至客户端；
当根据数据库中未处理的策略记录确定相对应的用户账户，并根据用户账户与对应的客户端建立TCP长连接之后，需要将策略记录相对应的要求上报日志信息发送至客户端，要求上报日志信息包括要求上报日志指令、日志时间段及要求上报日志对应的关键字，例如查找策略记录中用户帐号对应的TCP长连接，把策略推送给移动终端App。
305、获取到客户端根据要求上报日志指令、日志时间段及要求上报日志对应的关键字确定的指定日志；
当将策略记录相对应的要求上报日志信息发送至客户端之后，需要获取到客户端根据要求上报日志指令、日志时间段及要求上报日志对应的关键字确定的指定日志，例如接收到用户终端上报的日志后，如果是压缩格式需要先解压再存储，否则直接存储。
306、将接收到的指定日志标记为已处理。
当获取到客户端根据要求上报日志指令、日志时间段及要求上报日志对应的关键字确定的指定日志之后，需要将接收到的指定日志标记为已处理，例如策略数据库中对应的记录标记为已处理。
本实施例中，通过定期进行数据库扫描，并确定数据库中存在有未处理的策略记录，然后根据未处理的策略记录确定对应的客户端，并与客户端建立连接关系，并将策略记录相对应的要求上报日志信息发送至客户端，最后获取到客户端根据要求上报日志信息上报的与要求上报日志信息相对应的指定日志，实现了云端主动抓取终端日志的功能，解决了目前由于运行日志信息量太大，以及云端被动接收日志所导致的抓取终端日志的精确性低的技术问题。
以及用户在App内主动上报错误时，App会同时提交其对应时段的错误日志或者运行日志上来。但在具体分析问题时，主动上报的对应时段的日志未必完善，也可能需要更多时段的日志做对比，这时需要人工配置策略来主动抓取终端日志，进一步提高了智能操作的功能。
为了便于理解下面以移动终端的App对图2和图3的实施例进行说明，如图7所示，应用例包括：
1.云端服务器发现有用户帐号运行时错误，把用户帐号、当前时间填入策略数据库。或者需要人工指定主动抓取终端日志时，把用户帐号、当前时间、需要抓取的日志应该包含的关键字填入策略数据库。
2.定期扫描策略数据库，发现有未处理的策略记录，查找策略记录中用户帐号对应的TCP长连接，把策略推送给移动终端App。
3.App中的SDK网络层接收到云端下发的上报日志指令以及相关参数后，传递给SDK日志处理模块。参数包括：日志时间段、包含关键字。
4.SDK日志处理模块在本地日志文件中查找符合参数指定的日志。将内容传递给SDK网络层。在实际系统中，为了减少网络传输量，传递给SDK网络层的日志内容经过了压缩。SDK网络层把日志上传给云端。
5.接收到用户终端上报的日志后，如果是压缩格式需要先解压再存储，否则直接存储，同时把策略数据库中对应的记录标记为已处理。
请参阅图4，本发明实施例中提供的一种终端日志抓取装置的一个实施例包括：
日志抓取策略模块401，用于定期进行数据库扫描，并确定数据库中存在有未处理的策略记录；
网络层模块402，用于根据未处理的策略记录确定对应的客户端，并与客户端建立连接关系，并将策略记录相对应的要求上报日志信息发送至客户端；
云端日志收集模块403，用于获取到客户端根据要求上报日志信息上报的与要求上报日志信息相对应的指定日志。
本实施例中，通过日志抓取策略模块401定期进行数据库扫描，并确定数据库中存在有未处理的策略记录，然后网络层模块402根据未处理的策略记录确定对应的客户端，并与客户端建立连接关系，并将策略记录相对应的要求上报日志信息发送至客户端，最后云端日志收集模块403获取到客户端根据要求上报日志信息上报的与要求上报日志信息相对应的指定日志，实现了云端主动抓取终端日志的功能，解决了目前由于运行日志信息量太大，以及云端被动接收日志所导致的抓取终端日志的精确性低的技术问题。
上面是对终端日志抓取装置的各模块进行详细的描述，下面将对附加模块进行详细的描述，请参阅图5，本发明实施例中提供的一种终端日志抓取装置的另一个实施例包括：
策略数据库501，用于当确定用户账号对应的业务处理异常时，将用户账号与当前时间进行记录，策略数据库501，还用于将获取到的通过人工输入的用户账户、当前时间、要求上报日志对应的关键字进行记录，策略数据库，策略数据库记录需要主动抓取的用户帐号、日志的时间段以及需要抓取的日志应该包含的关键字。此记录可由业务服务器主动写入策略数据库，也可人工配置写入策略数据库。
日志抓取策略模块502，用于定期进行数据库扫描，并确定数据库中存在有未处理的策略记录，日志抓取策略模块502后端是策略数据库，例如日志抓取策略模块502，用于生成指定抓取特定终端日志的指令。特定终端的唯一性由终端唯一设备号或者处于登录态下的App的唯一标识(比如用户帐号)确定。以下两种情况下需要主动抓取终端日志。这里以用户帐号是App的唯一标识来阐述。
1.当云端业务服务器处理业务时发现某用户帐号的业务处理异常。比如App闪退，App传入的业务参数错误或者服务器处理异常。在这些情况下，需要主动收集App端日志与云端服务器日志共同确认问题所在。
2.用户在App内主动上报错误时，App会同时提交其对应时段的错误日志或者运行日志上来。但在具体分析问题时，主动上报的对应时段的日志未必完善，也可能需要更多时段的日志做对比。这时需要人工配置策略来主动抓取终端日志。
日志抓取策略模块502定时扫描策略数据库，当发现有新增记录时，提取此记录，把记录传递给网络层模块503。网络层模块503下发策略信息给移动终端的App，要求上报策略指定的日志。
网络层模块503，用于根据未处理的策略记录确定对应的客户端，并与客户端建立连接关系，并将策略记录相对应的要求上报日志信息发送至客户端，网络层模块503接收到用户终端上报的日志后，如果是压缩格式需要先解压再转交，否则直接转交给云端日志收集模块504存储，例如网络层模块503用于保持云端服务器和App的TCP长连接，用于：1)云端下发给App的上报日志指令以及相关参数；2)接收App通过此长连接上报相应的日志。
网络层模块503具体包括：
确定子模块5031，用于根据数据库中未处理的策略记录确定相对应的用户账户，并根据用户账户与对应的客户端建立TCP长连接；
发送子模块5032，用于将策略记录相对应的要求上报日志信息发送至客户端，要求上报日志信息包括要求上报日志指令、日志时间段及要求上报日志对应的关键字。
云端日志收集模块504，用于获取到客户端根据要求上报日志信息上报的与要求上报日志信息相对应的指定日志，云端日志收集模块504是一个带有检索功能的存储系统。云端收集到终端日志后可由人工分析处理，找出终端的问题所在。
云端日志收集模块504具体包括：
获取子模块5041，用于获取到网络层模块转发的客户端根据要求上报日志指令、日志时间段及要求上报日志对应的关键字确定的指定日志；
标记子模块5042，用于将接收到的指定日志标记为已处理。
本实施例中，通过日志抓取策略模块502定期进行数据库扫描，并确定数据库中存在有未处理的策略记录，然后网络层模块503根据未处理的策略记录确定对应的客户端，并与客户端建立连接关系，并将策略记录相对应的要求上报日志信息发送至客户端，最后云端日志收集模块504获取到客户端根据要求上报日志信息上报的与要求上报日志信息相对应的指定日志，实现了云端主动抓取终端日志的功能，解决了目前由于运行日志信息量太大，以及云端被动接收日志所导致的抓取终端日志的精确性低的技术问题，以及在客户端(包括移动终端、PC客户端或者其他终端设备)上部署本发明的基础组件可实现日志的云端主动抓取，当云端需要抓取客户端日志时，通过组件发送消息给客户端，指定要抓取日志的时间段、关键字等参数，客户端收到消息后上报相应的日志。上报过程中日志经过加密和压缩，确保信息安全。
请参阅图6，本发明实施例中提供的一种终端日志抓取系统一个实施例包括：
客户端61，以及图4和图5实施例提及的终端日志抓取装置62；
客户端61与终端日志抓取装置62建立有通信连接关系；
客户端61，用于将终端日志抓取装置62发送的要求上报日志信息相对应的指定日志。
客户端61具体包括：
客户端网络层模块611，用于获取终端日志抓取装置62发送的根据未处理的策略记录相对应的要求上报日志信息，或者将要求上报日志信息对应的指定日志上报至终端日志抓取装置62；
日志处理模块612，用于根据要求上报日志信息，在本地日志文件中，查找到相对应的指定日志。
例如以移动终端的App为例，抓取系统以SDK的形式封装，分为ios和Andriod两个版本，在发布的App中嵌入sdk，便可以实现云端抓去移动终端App的日志的功能。
SDK的构成模块包括：网络层模块611、日志处理模块612。
SDK网络层模块用于保持用于日志抓取的App和云端服务器的TCP长连接。用于：1)App接收云端下发的上报日志指令及相关参数；2)App通过此长连接上报相应的日志。
SDK网络层模块接收到云端下发的上报日志指令以及相关参数后，传递给SDK日志处理模块。参数包括：日志时间段、包含关键字。在本地日志文件中查找符合参数指定的日志。将内容传递给SDK网络层。在实际系统中，为了减少网络传输量，传递给SDK网络层的日志内容经过了压缩。
本实施例中，终端日志抓取系统的处理流程如下：
1.云端服务器发现有用户帐号运行时错误，把用户帐号、当前时间填入策略数据库。或者需要人工指定主动抓取终端日志时，把用户帐号、当前时间、需要抓取的日志应该包含的关键字填入策略数据库。
2.云端日志抓取策略模块定期扫描策略数据库，发现有未处理的策略记录，把策略记录转交给云端网络层模块。网络层查找策略记录中用户帐号对应的TCP长连接，把策略推送给移动终端App。
3.App中的SDK网络层接收到云端下发的上报日志指令以及相关参数后，传递给SDK日志处理模块。参数包括：日志时间段、包含关键字。
4.SDK日志处理模块在本地日志文件中查找符合参数指定的日志。将内容传递给SDK网络层。在实际系统中，为了减少网络传输量，传递给SDK网络层的日志内容经过了压缩。SDK网络层把日志上传给云端。
5.云端网络层模块接收到用户终端上报的日志后，如果是压缩格式需要先解压再转交，否则直接转交给云端日志收集模块存储，同时把策略数据库中对应的记录标记为已处理。
云端日志收集模块是一个带有检索功能的存储系统。云端收集到终端日志后可由人工分析处理，找出终端的问题所在。
本实施例中，在客户端61(包括移动终端、PC客户端或者其他终端设备)上部署本发明的基础组件可实现日志的云端主动抓取，当云端需要抓取客户端日志时，通过组件发送消息给客户端61，指定要抓取日志的时间段、关键字等参数，客户端61收到消息后上报相应的日志。上报过程中日志经过加密和压缩，确保信息安全。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (12)
1.一种终端日志抓取方法，其特征在于，包括：
定期进行数据库扫描，并确定所述数据库中存在有未处理的策略记录；
根据未处理的所述策略记录确定对应的客户端，并与所述客户端建立连接关系，并将所述策略记录相对应的要求上报日志信息发送至所述客户端；
获取到所述客户端根据所述要求上报日志信息上报的与所述要求上报日志信息相对应的指定日志。
2.根据权利要求1所述的终端日志抓取方法，其特征在于，根据未处理的所述策略记录确定对应的客户端，并与所述客户端建立连接关系，并将所述策略记录相对应的要求上报日志信息发送至所述客户端之前还包括：
当确定用户账号对应的业务处理异常时，将所述用户账号与当前时间记录在所述数据库中。
3.根据权利要求1所述的终端日志抓取方法，其特征在于，根据未处理的所述策略记录确定对应的客户端，并与所述客户端建立连接关系，并将所述策略记录相对应的要求上报日志信息发送至所述客户端之前还包括：
将获取到的通过人工输入的用户账户、当前时间、要求上报日志对应的关键字记录再所述数据库中。
4.根据权利要求1至3中任意一项所述的终端日志抓取方法，其特征在于，根据未处理的所述策略记录确定对应的客户端，并与所述客户端建立连接关系，并将所述策略记录相对应的要求上报日志信息发送至所述客户端具体包括：
根据所述数据库中未处理的所述策略记录确定相对应的用户账户，并根据所述用户账户与对应的所述客户端建立TCP长连接；
将所述策略记录相对应的要求上报日志信息发送至所述客户端，所述要求上报日志信息包括要求上报日志指令、日志时间段及要求上报日志对应的关键字。
5.根据权利要求4所述的终端日志抓取方法，其特征在于，获取到所述客户端根据所述要求上报日志信息上报的与所述要求上报日志信息相对应的指定日志具体包括：
获取到所述客户端根据所述要求上报日志指令、所述日志时间段及所述要求上报日志对应的所述关键字确定的所述指定日志；
将接收到的所述指定日志标记为已处理。
6.一种终端日志抓取装置，其特征在于，包括：
日志抓取策略模块，用于定期进行数据库扫描，并确定所述数据库中存在有未处理的策略记录；
网络层模块，用于根据未处理的所述策略记录确定对应的客户端，并与所述客户端建立连接关系，并将所述策略记录相对应的要求上报日志信息发送至所述客户端；
云端日志收集模块，用于获取到所述客户端根据所述要求上报日志信息上报的与所述要求上报日志信息相对应的指定日志。
7.根据权利要求6所述的终端日志抓取装置，其特征在于，所述终端日志抓取装置还包括：
策略数据库，用于当确定用户账号对应的业务处理异常时，将所述用户账号与当前时间进行记录。
8.根据权利要求6所述的终端日志抓取装置，其特征在于，所述策略数据库，还用于将获取到的通过人工输入的用户账户、当前时间、要求上报日志对应的关键字进行记录。
9.根据权利要求6至8中任意一项所述的终端日志抓取装置，其特征在于，网络层模块具体包括：
确定子模块，用于根据所述数据库中未处理的所述策略记录确定相对应的用户账户，并根据所述用户账户与对应的所述客户端建立TCP长连接；
发送子模块，用于将所述策略记录相对应的要求上报日志信息发送至所述客户端，所述要求上报日志信息包括要求上报日志指令、日志时间段及要求上报日志对应的关键字。
10.根据权利要求9所述的终端日志抓取装置，其特征在于，云端日志收集模块具体包括：
获取子模块，用于获取到所述网络层模块转发的所述客户端根据所述要求上报日志指令、所述日志时间段及所述要求上报日志对应的所述关键字确定的所述指定日志；
标记子模块，用于将接收到的所述指定日志标记为已处理。
11.一种终端日志抓取系统，其特征在于，包括：
客户端，以及如权利要求6至10中任意一项所述的终端日志抓取装置；
所述客户端与所述终端日志抓取装置建立有通信连接关系；
所述客户端，用于将所述终端日志抓取装置发送的所述要求上报日志信息相对应的指定日志。
12.根据权利要求11所述的终端日志抓取系统，其特征在于，所述客户端具体包括：
客户端网络层模块，用于获取所述终端日志抓取装置发送的根据未处理的所述策略记录相对应的要求上报日志信息，或者将所述要求上报日志信息对应的指定日志上报至所述终端日志抓取装置；
日志处理模块，用于根据所述要求上报日志信息，在本地日志文件中，查找到相对应的所述指定日志。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510843646.0A CN105490841B (zh) | 2015-11-26 | 2015-11-26 | 一种终端日志抓取方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510843646.0A CN105490841B (zh) | 2015-11-26 | 2015-11-26 | 一种终端日志抓取方法、装置及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105490841A true CN105490841A (zh) | 2016-04-13 |
| CN105490841B CN105490841B (zh) | 2019-03-01 |
Family
ID=55677585
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510843646.0A Active CN105490841B (zh) | 2015-11-26 | 2015-11-26 | 一种终端日志抓取方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105490841B (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106341291A (zh) * | 2016-09-08 | 2017-01-18 | 北京小米移动软件有限公司 | 网络连接稳定性的测试方法及装置 |
| CN106407077A (zh) * | 2016-09-21 | 2017-02-15 | 广州华多网络科技有限公司 | 一种实时告警方法及系统 |
| CN107704365A (zh) * | 2017-10-10 | 2018-02-16 | 武汉斗鱼网络科技有限公司 | 一种移动端混合应用的监控数据上报方法及装置 |
| CN109359484A (zh) * | 2018-08-22 | 2019-02-19 | 北京中测安华科技有限公司 | 云平台的安全审计终端日志的处理方法、装置、设备和介质 |
| CN109710490A (zh) * | 2018-12-20 | 2019-05-03 | 网易（杭州）网络有限公司 | 客户端日志的采集方法、装置、存储介质和电子设备 |
| CN110209553A (zh) * | 2019-06-11 | 2019-09-06 | 湖南快乐阳光互动娱乐传媒有限公司 | 数据获取方法及装置 |
| CN110399350A (zh) * | 2018-04-19 | 2019-11-01 | 沪江教育科技（上海）股份有限公司 | 日志信息的处理方法、装置、存储介质及电子设备 |
| CN111224823A (zh) * | 2020-01-06 | 2020-06-02 | 杭州数群科技有限公司 | 一种基于异网日志分析的方法 |
| CN111831523A (zh) * | 2020-06-24 | 2020-10-27 | 上海识装信息科技有限公司 | 一种客户端无感知排查线上问题的方法及系统 |
| CN112054923A (zh) * | 2020-08-24 | 2020-12-08 | 腾讯科技（深圳）有限公司 | 业务请求检测方法、设备及介质 |
| CN112887351A (zh) * | 2019-11-29 | 2021-06-01 | 阿里巴巴集团控股有限公司 | 日志信息收集系统、方法、装置及电子设备 |
| CN112910994A (zh) * | 2021-01-29 | 2021-06-04 | 重庆长安汽车股份有限公司 | 一种应用日志远程上传与获取方法 |
| CN113312667A (zh) * | 2021-06-07 | 2021-08-27 | 支付宝(杭州)信息技术有限公司 | 一种风险防控方法、装置及设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070050846A1 (en) * | 2005-08-30 | 2007-03-01 | Fortinet, Inc. | Logging method, system, and device with analytical capabilities for the network traffic |
| CN101668155A (zh) * | 2009-09-10 | 2010-03-10 | 中兴通讯股份有限公司 | 一种iptv系统日志消息跟踪方法及系统 |
| CN102158748A (zh) * | 2010-05-14 | 2011-08-17 | 青岛海信传媒网络技术有限公司 | 一种日志收集与上传方法及系统 |
| CN103138989A (zh) * | 2013-02-25 | 2013-06-05 | 武汉华工安鼎信息技术有限责任公司 | 一种海量日志分析系统及方法 |
| CN103412893A (zh) * | 2013-07-24 | 2013-11-27 | 广东电子工业研究院有限公司 | 一种日志收集系统及其收集方法 |
-
2015
- 2015-11-26 CN CN201510843646.0A patent/CN105490841B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070050846A1 (en) * | 2005-08-30 | 2007-03-01 | Fortinet, Inc. | Logging method, system, and device with analytical capabilities for the network traffic |
| CN101668155A (zh) * | 2009-09-10 | 2010-03-10 | 中兴通讯股份有限公司 | 一种iptv系统日志消息跟踪方法及系统 |
| CN102158748A (zh) * | 2010-05-14 | 2011-08-17 | 青岛海信传媒网络技术有限公司 | 一种日志收集与上传方法及系统 |
| CN103138989A (zh) * | 2013-02-25 | 2013-06-05 | 武汉华工安鼎信息技术有限责任公司 | 一种海量日志分析系统及方法 |
| CN103412893A (zh) * | 2013-07-24 | 2013-11-27 | 广东电子工业研究院有限公司 | 一种日志收集系统及其收集方法 |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106341291B (zh) * | 2016-09-08 | 2019-11-15 | 北京小米移动软件有限公司 | 网络连接稳定性的测试方法及装置 |
| CN106341291A (zh) * | 2016-09-08 | 2017-01-18 | 北京小米移动软件有限公司 | 网络连接稳定性的测试方法及装置 |
| CN106407077A (zh) * | 2016-09-21 | 2017-02-15 | 广州华多网络科技有限公司 | 一种实时告警方法及系统 |
| CN107704365A (zh) * | 2017-10-10 | 2018-02-16 | 武汉斗鱼网络科技有限公司 | 一种移动端混合应用的监控数据上报方法及装置 |
| CN110399350A (zh) * | 2018-04-19 | 2019-11-01 | 沪江教育科技（上海）股份有限公司 | 日志信息的处理方法、装置、存储介质及电子设备 |
| CN109359484A (zh) * | 2018-08-22 | 2019-02-19 | 北京中测安华科技有限公司 | 云平台的安全审计终端日志的处理方法、装置、设备和介质 |
| CN109710490A (zh) * | 2018-12-20 | 2019-05-03 | 网易（杭州）网络有限公司 | 客户端日志的采集方法、装置、存储介质和电子设备 |
| CN110209553A (zh) * | 2019-06-11 | 2019-09-06 | 湖南快乐阳光互动娱乐传媒有限公司 | 数据获取方法及装置 |
| CN112887351A (zh) * | 2019-11-29 | 2021-06-01 | 阿里巴巴集团控股有限公司 | 日志信息收集系统、方法、装置及电子设备 |
| CN112887351B (zh) * | 2019-11-29 | 2023-01-03 | 阿里巴巴(深圳)技术有限公司 | 日志信息收集系统、方法、装置及电子设备 |
| CN111224823A (zh) * | 2020-01-06 | 2020-06-02 | 杭州数群科技有限公司 | 一种基于异网日志分析的方法 |
| CN111224823B (zh) * | 2020-01-06 | 2022-08-16 | 杭州数群科技有限公司 | 一种基于异网日志分析的方法 |
| CN111831523A (zh) * | 2020-06-24 | 2020-10-27 | 上海识装信息科技有限公司 | 一种客户端无感知排查线上问题的方法及系统 |
| CN112054923A (zh) * | 2020-08-24 | 2020-12-08 | 腾讯科技（深圳）有限公司 | 业务请求检测方法、设备及介质 |
| CN112054923B (zh) * | 2020-08-24 | 2023-08-18 | 腾讯科技（深圳）有限公司 | 业务请求检测方法、设备及介质 |
| CN112910994A (zh) * | 2021-01-29 | 2021-06-04 | 重庆长安汽车股份有限公司 | 一种应用日志远程上传与获取方法 |
| CN113312667A (zh) * | 2021-06-07 | 2021-08-27 | 支付宝(杭州)信息技术有限公司 | 一种风险防控方法、装置及设备 |
| CN113312667B (zh) * | 2021-06-07 | 2022-09-02 | 支付宝(杭州)信息技术有限公司 | 一种风险防控方法、装置及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105490841B (zh) | 2019-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105490841A (zh) | 一种终端日志抓取方法、装置及系统 | |
| CN103812683B (zh) | 一种用户行为数据的处理方法、装置和系统 | |
| CN104135424B (zh) | 一种应用消息推送方法、服务器、终端以及系统 | |
| US20100088197A1 (en) | Systems and methods for generating remote system inventory capable of differential update reports | |
| CN103795580A (zh) | 一种数据监控方法、系统及相关设备 | |
| CN103067198A (zh) | 一种关联用户CookieID的方法及系统 | |
| CN109768623A (zh) | 电力系统的监控方法、装置、计算机设备和存储介质 | |
| CN108132868A (zh) | 一种数据监控方法、装置、计算设备及存储介质 | |
| CN102118451B (zh) | 用户资源的上传处理方法及装置 | |
| CN104378236A (zh) | 一种物联网设备管理平台及方法 | |
| CN104320325A (zh) | 一种消息推送方法及装置 | |
| CN105207832A (zh) | 一种服务器压力测试方法和装置 | |
| CN105306261A (zh) | 一种收集日志的方法、装置及系统 | |
| CN103279564A (zh) | 基于html的图表数据输出方法及装置 | |
| CN111881093A (zh) | 一种数据报送方法、装置及报送系统 | |
| CN103747042A (zh) | 一种信息获取方法和装置 | |
| CN103440302B (zh) | 实时数据交换的方法和系统 | |
| CN110515797A (zh) | 一种数据处理方法、装置、设备及计算机可读存储介质 | |
| CN108011870B (zh) | 一种软件远程在线升级信息自动识别管理方法 | |
| CN113868248A (zh) | 指标数据预聚合方法 | |
| CN104468248A (zh) | 业务性能的监控方法、反向代理服务器、统计分析服务器及系统 | |
| CN103078905B (zh) | 一种gps终端的通讯管理方法 | |
| CN108228417A (zh) | 车联网日志处理方法及处理装置 | |
| CN103763401A (zh) | 半导体工厂设备的分布式管理系统 | |
| CN103795810A (zh) | 数据分发系统及方法以及该数据分发系统中的中心服务器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 511442 floor 28 floor B1 of Wanda Plaza, Panyu District South Village, Guangzhou City, Guangdong Applicant after: Guangzhou Huaduo Network Technology Co., Ltd. Address before: 510665, Guangzhou, Whampoa Avenue, No. 2, creative industrial park, building 3-08, Applicant before: Guangzhou Huaduo Network Technology Co., Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210113 Address after: 510000 3108, 79 Wanbo 2nd Road, Nancun Town, Panyu District, Guangzhou City, Guangdong Province Patentee after: GUANGZHOU CUBESILI INFORMATION TECHNOLOGY Co.,Ltd. Address before: 28th floor, block B1, Wanda Plaza, Nancun Town, Panyu District, Guangzhou City, Guangdong Province Patentee before: GUANGZHOU HUADUO NETWORK TECHNOLOGY Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20160413 Assignee: GUANGZHOU HUADUO NETWORK TECHNOLOGY Co.,Ltd. Assignor: GUANGZHOU CUBESILI INFORMATION TECHNOLOGY Co.,Ltd. Contract record no.: X2021440000053 Denomination of invention: A terminal log capture method, device and system Granted publication date: 20190301 License type: Common License Record date: 20210208 |
|
| EE01 | Entry into force of recordation of patent licensing contract |