CN105099764B - 日志处理方法及装置 - Google Patents
日志处理方法及装置 Download PDFInfo
- Publication number
- CN105099764B CN105099764B CN201510368267.0A CN201510368267A CN105099764B CN 105099764 B CN105099764 B CN 105099764B CN 201510368267 A CN201510368267 A CN 201510368267A CN 105099764 B CN105099764 B CN 105099764B
- Authority
- CN
- China
- Prior art keywords
- log
- specified
- parameter
- scanning result
- specified parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明提供一种日志处理方法及装置。本发明实施例通过根据日志扫描任务，对日志服务器中所存储的N个日志进行扫描处理，以获得M个日志，所述日志为根据日志采集规则所生成的，进而根据所述M个日志，获得指定参数的统计情况，使得能够根据所述指定参数的统计情况，获得扫描结果，所述扫描结果包括指示正常情况的信息和指示异常情况的信息中的至少一项，这样，能够及时发现日志服务器中所存储的异常日志。
Description
【技术领域】
本发明涉及日志技术，尤其涉及一种日志处理方法及装置。
【背景技术】
随着通信技术的发展，终端集成了越来越多的功能，从而使得终端的系统功能列表中包含了越来越多相应的应用(Application，APP)。这些应用每天都会产生大量的网络行为数据，利用预先设置的日志采集规则，对这些网络行为数据进行数据抽取生成一些日志(log)，并存储在日志服务器中，例如，点击类日志、浏览类日志和播放类日志等。对这些日志进行获取与分析，能够确定应用优缺点、突发热点事情、用户的兴趣变化等重要信息。
然而，日志服务器中所存储的日志中可能存在大量的异常日志，例如，日志中缺少某些关键字段等，会使得这些异常日志成为无用日志。由于日志每天都在以惊人的速度产生着，如果任由这些异常日志继续存在或产生，那么日志服务器中所存储的异常日志势必会越来越多，这样，不但浪费了日志服务器的存储资源，同时也降低了日志的利用率。因此，亟需提出一种能够及时发现日志服务器中所存储的异常日志的方法。
【发明内容】
本发明的多个方面提供一种日志处理方法及装置，用以及时发现日志服务器中所存储的异常日志。
本发明的一方面，提供一种日志处理方法，包括：
根据日志扫描任务，对日志服务器中所存储的N个日志进行扫描处理，以获得M个日志，所述日志为根据日志采集规则所生成的；N为大于或等于1的整数；M为大于或等于0，且小于或等于N的整数；
根据所述M个日志，获得指定参数的统计情况；
根据所述指定参数的统计情况，获得扫描结果，所述扫描结果包括指示正常情况的信息和指示异常情况的信息中的至少一项。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述指定参数包括下列参数中的至少一项：
所述日志扫描任务中所设置的扫描参数；以及
默认参数。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述指定参数包括下列参数中的至少一项：
M的取值；
指定日志字段；
全部日志字段；以及
所述M个日志。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述指定参数为M的取值；所述指定参数的统计情况，包括：
M的取值情况。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述指定参数为指定日志字段；所述指定参数的统计情况，包括：
所述指定日志字段的空值情况。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述指定参数为全部日志字段；所述指定参数的统计情况，包括：
所述全部日志字段中每个日志字段的出现情况和使用情况中的至少一项。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述指定参数为全部日志；所述指定参数的统计情况，包括：
所述M个日志中每个日志的出现情况和使用情况中的至少一项。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述根据所述指定参数的统计情况，获得扫描结果之后，还包括：
输出所述扫描结果。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述输出所述扫描结果，包括：
对所述扫描结果，进行可视化展现。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述根据所述指定参数的统计情况，获得扫描结果之后，还包括：
根据所述扫描结果，调整所述日志采集规则；或者
根据所述扫描结果，对所述日志服务器中的部分日志，进行删除处理。
本发明的另一方面，提供一种日志处理装置，包括：
扫描单元，用于根据日志扫描任务，对日志服务器中所存储的N个日志进行扫描处理，以获得M个日志，所述日志为根据日志采集规则所生成的；N为大于或等于1的整数；M为大于或等于0，且小于或等于N的整数；
统计单元，用于根据所述M个日志，获得指定参数的统计情况；
分析单元，用于根据所述指定参数的统计情况，获得扫描结果，所述扫描结果包括指示正常情况的信息和指示异常情况的信息中的至少一项。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述指定参数包括下列参数中的至少一项：
所述日志扫描任务中所设置的扫描参数；以及
默认参数。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述指定参数包括下列参数中的至少一项：
M的取值；
指定日志字段；
全部日志字段；以及
所述M个日志。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述指定参数为M的取值；所述指定参数的统计情况，包括：
M的取值情况。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述指定参数为指定日志字段；所述指定参数的统计情况，包括：
所述指定日志字段的空值情况。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述指定参数为全部日志字段；所述指定参数的统计情况，包括：
所述全部日志字段中每个日志字段的出现情况和使用情况中的至少一项。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述指定参数为全部日志；所述指定参数的统计情况，包括：
所述M个日志中每个日志的出现情况和使用情况中的至少一项。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述装置还包括输出单元，用于
输出所述扫描结果。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述输出单元，具体用于
对所述扫描结果，进行可视化展现。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述装置还包括调整单元，用于
根据所述扫描结果，调整所述日志采集规则；或者
根据所述扫描结果，对所述日志服务器中的部分日志，进行删除处理。
由上述技术方案可知，本发明实施例通过根据日志扫描任务，对日志服务器中所存储的N个日志进行扫描处理，以获得M个日志，所述日志为根据日志采集规则所生成的，进而根据所述M个日志，获得指定参数的统计情况，使得能够根据所述指定参数的统计情况，获得扫描结果，所述扫描结果包括指示正常情况的信息和指示异常情况的信息中的至少一项，这样，能够及时发现日志服务器中所存储的异常日志。
另外，采用本发明提供的技术方案，通过输出所获得的扫描结果，能够使得开发人员根据扫描结果，调整日志采集规则或者对日志服务器中的部分日志，进行删除处理，以减少或者避免异常日志继续存在或产生，使得日志服务器中所存储的异常日志不再继续增加，这样，能够避免日志服务器的存储资源的浪费，同时提高了日志的利用率。
另外，采用本发明提供的技术方案，通过根据所获得的扫描结果，调整所述日志采集规则或者对日志服务器中的部分日志，进行删除处理，无需人工参与，操作简单，能够有效提高处理效率。
【附图说明】
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的日志处理方法的流程示意图；
图2为本发明另一实施例提供的日志处理装置的结构示意图；
图3为本发明另一实施例提供的日志处理装置的结构示意图；
图4为本发明另一实施例提供的日志处理装置的结构示意图；
图5A为图1对应的实施例中日志扫描任务的设置界面示意图；
图5B为图1对应的实施例中扫描结果的可视化展现示意图。
【具体实施方式】
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本发明保护的范围。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
图1为本发明一实施例提供的日志处理方法的流程示意图，如图1所示。
101、根据日志扫描任务，对日志服务器中所存储的N个日志进行扫描处理，以获得M个日志，所述日志为根据日志采集规则所生成的；N为大于或等于1的整数；M为大于或等于0，且小于或等于N的整数。
102、根据所述M个日志，获得指定参数的统计情况。
103、根据所述指定参数的统计情况，获得扫描结果，所述扫描结果包括指示正常情况的信息和指示异常情况的信息中的至少一项。
需要说明的是，101～103的执行主体的部分或全部可以为位于本地终端的应用，或者还可以为设置在位于本地终端的应用中的插件或软件开发工具包(SoftwareDevelopment Kit，SDK)等功能单元，或者还可以为位于网络侧服务器中的处理引擎，或者还可以为位于网络侧的分布式系统，本实施例对此不进行特别限定。
可以理解的是，所述应用可以是安装在终端上的本地程序(nativeApp)，或者还可以是终端上的浏览器的一个网页程序(webApp)，本实施例对此不进行限定。
这样，通过根据日志扫描任务，对日志服务器中所存储的N个日志进行扫描处理，以获得M个日志，所述日志为根据日志采集规则所生成的，进而根据所述M个日志，获得指定参数的统计情况，使得能够根据所述指定参数的统计情况，获得扫描结果，所述扫描结果包括指示正常情况的信息和指示异常情况的信息中的至少一项，这样，能够及时发现日志服务器中所存储的异常日志。
所谓的日志服务器，用于对日志采集单元所生成的日志，进行存储处理。日志服务器只具有简单的日志存储能力，不具有对日志进行计算、统计等其他处理的计算能力。如果需要对日志进行计算、统计等其他处理，具体可以从日志服务器所存储的日志中获取所需要的日志，将其导入数据仓库等处理系统中，进行进一步的计算、统计等其他处理。日志服务器，作为日志产生之后的第一个存储环节，如果能在这个环节，及时发现其所存储的日志存在异常情况，那么，能够以最短的时间将异常情况反馈给开发人员，开发人员则可以根据所反馈的异常情况，重新修改日志采集规则，这样，就能够避免新产生的日志继续出现异常情况，从而保证了日志的正确性。
可选地，在本实施例的一个可能的实现方式中，在101之前，还可以进一步设置所述日志扫描任务。
具体地，具体可以由操作人员进行日志扫描任务的设置，图5A为图1对应的实施例中日志扫描任务的设置界面示意图，如图5A所示，一个日志扫描任务可以包括但不限于扫描参数、扫描规则、扫描时间、扫描周期、日志返回数量等属性，本实施例对此不进行特别限定。
所述扫描参数，具体可以分为两种，一种是主扫描参数，用以在日志服务器所存储的N个日志中，获得匹配的M个日志，另一种是辅扫描参数，用以在所获得的M个日志中，获得匹配的日志。
在一个具体的实现过程中，具体可以在所述主扫描参数中，定义一个参数作为主字段，以作为扫描任务的标识名称，本实施例对此不进行特别限定。
需要说明的是，所述扫描参数具体可以只包括主扫描参数，或者还可以既包括主扫描参数，又包括辅扫描参数，本实施例对此不进行特别限定。
所述扫描规则，是指与扫描参数所对应的匹配原则，可以包括但不限于明确一个取值的精确匹配(即匹配符号为“＝”)、明确取值在指定范围内的匹配(即匹配符号为“in”)、无明确取值的存在性匹配(即匹配符号为“exist”)、正则匹配(即匹配符号为“match”)、字符串包含匹配(即匹配符号为“contain”)等，本实施例对此不进行特别限定。
所述扫描时间，是指扫描开始时间和扫描结束时间；扫描开始时间用于指示日志扫描任务开始被执行的时间，扫描结束时间用于指示日志扫描任务结束被执行的时间。
所述扫描周期，日志扫描任务被执行一次的间隔时间。
所述日志返回数量，最大返回日志的数量阈值，例如将所述数量阈值设置为10，那么，如果统计结果所对应日志的数量大于或等于10，则可以返回10个日志，如果统计结果所对应日志的数量小于10，则可以返回这些日志。
只需要操作人员设置一次日志扫描任务，就可以周期性执行所设置的日志扫描任务，可以实时对日志服务器中所存储的日志进行扫描，以及时发现日志服务器中所存储的异常日志。
可选地，在本实施例的一个可能的实现方式中，在101中，具体可以根据所述日志扫描任务中所设置的主扫描参数和该主扫描参数所对应的扫描规则，对日志服务器中所存储的N个日志进行扫描处理，以获得所匹配的扫描数据即M个日志。
可选地，在本实施例的一个可能的实现方式中，在102中，所述指定参数可以包括但不限于下列参数中的至少一项：
所述日志扫描任务中所设置的扫描参数；以及
默认参数。
所谓的所述日志扫描任务中所设置的扫描参数，可以包括但不限于所述日志扫描任务中所设置的主扫描参数和辅扫描参数中的至少一项，本实施例对此不进行特别限定。
所谓的默认参数，可以包括但不限于操作系统中默认的参数和所述日志扫描任务中默认的参数中的至少一项，本实施例对此不进行特别限定。
例如，在102中，具体可以对M个日志的指定参数进行统计处理，以获得所述指定参数的统计情况。
或者，再例如，在102中，具体可以根据所述日志扫描任务中所设置的辅扫描参数和该辅扫描参数所对应的扫描规则，对M个日志进行扫描处理，以获得所匹配的扫描数据，进而可以对所匹配的扫描数据的指定参数进行统计处理，以获得所述指定参数的统计情况。
在一个具体的实现过程中，所述指定参数可以为M的取值。那么，所述指定参数的统计情况则可以为M的取值情况。
相应地，在103中，若M的取值大于预先设置的预设阈值如0，则获得扫描结果，该扫描结果包括用于指示扫描成功的信息；若M的取值小于或等于预先设置的预设阈值如0，则获得扫描结果，该扫描结果包括用于指示扫描失败的信息。
在另一个具体的实现过程中，所述指定参数可以为指定日志字段。那么，所述指定参数的统计情况则可以为所述指定日志字段的空值情况。所述指定日志字段的空值情况，是指指定日志字段的取值为空值的情况，可以包括但不限于所述指定日志字段的空值率和空值数量中的至少一项，本实施例对此不进行特别限定。
相应地，在103中，若所述指定日志字段的空值率或者空值数量大于或等于预先设置的空值阈值，则获得扫描结果，该扫描结果包括用于指示所述指定日志字段异常的信息；若所述指定日志字段的空值率或者空值数量小于预先设置的空值阈值，则获得扫描结果，该扫描结果包括用于指示所述指定日志字段需要关注的信息。进一步地，所获得的扫描结果还可以进一步包括所述指定日志字段的取值为空值所在的日志。
在另一个具体的实现过程中，所述指定参数可以为全部日志字段。那么，所述指定参数的统计情况则可以为所述全部日志字段中每个日志字段的出现情况和使用情况中的至少一项。所述每个日志字段的出现情况，是指每个日志字段在同一个日志中的出现次数。所述每个日志字段的使用情况，是指每个日志字段的读取次数。
相应地，在103中，若某个日志字段在同一个日志中的出现次数大于或等于2，说明该日志字段存在重复出现情况，则获得扫描结果，该扫描结果包括用于指示所述日志字段异常的信息；若某个日志字段在同一个日志中的出现次数为1，说明该日志字段不存在重复出现情况，则获得扫描结果，该扫描结果包括用于指示所述日志字段正常的信息。进一步地，所获得的扫描结果还可以进一步包括存在重复出现情况的日志字段，及其所在的日志。
相应地，在103中，若某个日志字段的读取次数为0，说明该日志字段的使用情况为从来没有被使用过，则获得扫描结果，该扫描结果包括用于指示所述日志字段异常的信息；若某个日志字段的读取次数大于或等于1，说明该日志字段的使用情况为曾经被使用过，则获得扫描结果，该扫描结果包括用于指示所述日志字段正常的信息。进一步地，所获得的扫描结果还可以进一步包括从来没有被使用过的日志字段，及其所在的日志。
在另一个具体的实现过程中，所述指定参数可以为所述M个日志。那么，所述指定参数的统计情况则可以为所述M个日志中每个日志的出现情况和使用情况中的至少一项。所述每个日志的出现情况，是指每个日志在所述M个日志中的出现次数。所述每个日志的使用情况，是指每个日志的读取次数。
相应地，在103中，若某个日志在所述M个日志中的出现次数大于或等于2，说明该日志存在重复出现情况，则获得扫描结果，该扫描结果包括用于指示所述日志异常的信息；若某个日志在所述M个日志中的出现次数为1，说明该日志不存在重复出现情况，则获得扫描结果，该扫描结果包括用于指示所述日志正常的信息。进一步地，所获得的扫描结果还可以进一步包括存在重复出现情况的日志。
相应地，在103中，若某个日志的读取次数为0，说明该日志的使用情况为从来没有被使用过，则获得扫描结果，该扫描结果包括用于指示所述日志异常的信息；若某个日志的读取次数大于或等于1，说明该日志的使用情况为曾经被使用过，则获得扫描结果，该扫描结果包括用于指示所述日志正常的信息。进一步地，所获得的扫描结果还可以进一步包括从来没有被使用过的日志。
在另一个具体的实现过程中，所述指定参数还可以为上述几个实现过程中所提供的参数中任意两个或多个参数的组合。那么，所述指定参数的统计情况则可以上述几个实现过程中所提供的指定参数的统计情况中任意两个或多个统计情况的组合。
可选地，在本实施例的一个可能的实现方式中，在103之后，还可以进一步输出所述扫描结果。这样，通过输出所获得的扫描结果，能够使得开发人员根据扫描结果，调整日志采集规则或者对日志服务器中的部分日志，进行删除处理，以减少或者避免异常日志继续存在或产生，使得日志服务器中所存储的异常日志不再继续增加，这样，能够避免日志服务器的存储资源的浪费，同时提高了日志的利用率。
具体地，具体可以对所述扫描结果，进行可视化展现。例如，生成并输出一份扫描结果报告，以展现所述扫描结果，如图5B所示。
由于在日志产生之后的第一个存储环节，及时发现其所存储的日志存在异常情况，那么，能够以最短的时间将异常情况反馈给开发人员，开发人员则可以根据所反馈的异常情况，重新修改日志采集规则，这样，就能够避免新产生的日志继续出现异常情况，从而保证了日志的正确性。
可选地，在本实施例的一个可能的实现方式中，在103之后，还可以进一步根据所述扫描结果，调整所述日志采集规则，或者对所述日志服务器中的部分日志，进行删除处理。这样，通过根据所获得的扫描结果，调整所述日志采集规则或者对日志服务器中的部分日志，进行删除处理，无需人工参与，操作简单，能够有效提高处理效率。
本实施例中，通过根据日志扫描任务，对日志服务器中所存储的N个日志进行扫描处理，以获得M个日志，所述日志为根据日志采集规则所生成的，进而根据所述M个日志，获得指定参数的统计情况，使得能够根据所述指定参数的统计情况，获得扫描结果，所述扫描结果包括指示正常情况的信息和指示异常情况的信息中的至少一项，这样，能够及时发现日志服务器中所存储的异常日志。
另外，采用本发明提供的技术方案，通过输出所获得的扫描结果，能够使得开发人员根据扫描结果，调整日志采集规则或者对日志服务器中的部分日志，进行删除处理，以减少或者避免异常日志继续存在或产生，使得日志服务器中所存储的异常日志不再继续增加，这样，能够避免日志服务器的存储资源的浪费，同时提高了日志的利用率。
另外，采用本发明提供的技术方案，通过根据所获得的扫描结果，调整所述日志采集规则或者对日志服务器中的部分日志，进行删除处理，无需人工参与，操作简单，能够有效提高处理效率。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
图2为本发明另一实施例提供的日志处理装置的结构示意图，如图2所示。本实施例的日志处理装置可以包括扫描单元21、统计单元22和分析单元23。其中，扫描单元21，用于根据日志扫描任务，对日志服务器中所存储的N个日志进行扫描处理，以获得M个日志，所述日志为根据日志采集规则所生成的；N为大于或等于1的整数；M为大于或等于0，且小于或等于N的整数；统计单元22，用于根据所述M个日志，获得指定参数的统计情况；分析单元23，用于根据所述指定参数的统计情况，获得扫描结果，所述扫描结果包括指示正常情况的信息和指示异常情况的信息中的至少一项。
需要说明的是，本实施例所提供的日志处理装置的执行主体的部分或全部可以为位于本地终端的应用，或者还可以为设置在位于本地终端的应用中的插件或软件开发工具包(Software Development Kit，SDK)等功能单元，或者还可以为位于网络侧服务器中的处理引擎，或者还可以为位于网络侧的分布式系统，本实施例对此不进行特别限定。
可以理解的是，所述应用可以是安装在终端上的本地程序(nativeApp)，或者还可以是终端上的浏览器的一个网页程序(webApp)，本实施例对此不进行限定。
可选地，在本实施例的一个可能的实现方式中，所述指定参数可以包括但不限于下列参数中的至少一项：
所述日志扫描任务中所设置的扫描参数；以及
默认参数。
可选地，在本实施例的一个可能的实现方式中，所述指定参数可以包括但不限于下列参数中的至少一项：
M的取值；
指定日志字段；
全部日志字段；以及
所述M个日志。
在一个具体的实现过程中，所述指定参数可以为M的取值。那么，所述指定参数的统计情况则可以为M的取值情况。
在另一个具体的实现过程中，所述指定参数可以为指定日志字段。那么，所述指定参数的统计情况则可以为所述指定日志字段的空值情况。
在另一个具体的实现过程中，所述指定参数可以为全部日志字段。那么，所述指定参数的统计情况则可以为所述全部日志字段中每个日志字段的出现情况和使用情况中的至少一项。
在另一个具体的实现过程中，所述指定参数可以为所述M个日志。那么，所述指定参数的统计情况则可以为所述M个日志中每个日志的出现情况和使用情况中的至少一项。
在另一个具体的实现过程中，所述指定参数还可以为上述几个实现过程中所提供的参数中任意两个或多个参数的组合。那么，所述指定参数的统计情况则可以上述几个实现过程中所提供的指定参数的统计情况中任意两个或多个统计情况的组合。
可选地，在本实施例的一个可能的实现方式中，如图3所示，本实施例所提供的日志处理装置还可以进一步包括输出单元31，用于输出所述扫描结果。
具体地，所述输出单元31，具体可以用于对所述扫描结果，进行可视化展现。
可选地，在本实施例的一个可能的实现方式中，如图4所示，本实施例所提供的日志处理装置还可以进一步包括调整单元41，用于根据所述扫描结果，调整所述日志采集规则；或者根据所述扫描结果，对所述日志服务器中的部分日志，进行删除处理。
需要说明的是，图1对应的实施例中方法，可以由本实施例提供的日志处理装置实现。详细描述可以参见图1对应的实施例中的相关内容，此处不再赘述。
本实施例中，通过扫描单元根据日志扫描任务，对日志服务器中所存储的N个日志进行扫描处理，以获得M个日志，所述日志为根据日志采集规则所生成的，进而由统计单元根据所述M个日志，获得指定参数的统计情况，使得分析单元能够根据所述指定参数的统计情况，获得扫描结果，所述扫描结果包括指示正常情况的信息和指示异常情况的信息中的至少一项，这样，能够及时发现日志服务器中所存储的异常日志。
另外，采用本发明提供的技术方案，通过输出所获得的扫描结果，能够使得开发人员根据扫描结果，调整日志采集规则或者对日志服务器中的部分日志，进行删除处理，以减少或者避免异常日志继续存在或产生，使得日志服务器中所存储的异常日志不再继续增加，这样，能够避免日志服务器的存储资源的浪费，同时提高了日志的利用率。
另外，采用本发明提供的技术方案，通过根据所获得的扫描结果，调整所述日志采集规则或者对日志服务器中的部分日志，进行删除处理，无需人工参与，操作简单，能够有效提高处理效率。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (18)
1.一种日志处理方法，其特征在于，包括：
根据日志扫描任务，对日志服务器中所存储的N个日志进行扫描处理，以获得M个日志，所述日志为根据日志采集规则所生成的；N为大于或等于1的整数；M为大于或等于0，且小于或等于N的整数；
根据所述M个日志，获得指定参数的统计情况；
根据所述指定参数的统计情况，获得扫描结果，所述扫描结果包括指示日志正常情况的信息和指示日志异常情况的信息中的至少一项；
所述根据所述指定参数的统计情况，获得扫描结果之后，还包括：
根据所述扫描结果，调整所述日志采集规则；或者
根据所述扫描结果，对所述日志服务器中的部分日志，进行删除处理。
2.根据权利要求1所述的方法，其特征在于，所述指定参数包括下列参数中的至少一项：
所述日志扫描任务中所设置的扫描参数；以及
默认参数。
3.根据权利要求1所述的方法，其特征在于，所述指定参数包括下列参数中的至少一项：
M的取值；
指定日志字段；
全部日志字段；以及
所述M个日志。
4.根据权利要求3所述的方法，其特征在于，所述指定参数为M的取值；所述指定参数的统计情况，包括：
M的取值情况。
5.根据权利要求3所述的方法，其特征在于，所述指定参数为指定日志字段；所述指定参数的统计情况，包括：
所述指定日志字段的空值情况。
6.根据权利要求3所述的方法，其特征在于，所述指定参数为全部日志字段；所述指定参数的统计情况，包括：
所述全部日志字段中每个日志字段的出现情况和使用情况中的至少一项。
7.根据权利要求3所述的方法，其特征在于，所述指定参数为全部日志；所述指定参数的统计情况，包括：
所述M个日志中每个日志的出现情况和使用情况中的至少一项。
8.根据权利要求1所述的方法，其特征在于，所述根据所述指定参数的统计情况，获得扫描结果之后，还包括：
输出所述扫描结果。
9.根据权利要求8所述的方法，其特征在于，所述输出所述扫描结果，包括：
对所述扫描结果，进行可视化展现。
10.一种日志处理装置，其特征在于，包括：
扫描单元，用于根据日志扫描任务，对日志服务器中所存储的N个日志进行扫描处理，以获得M个日志，所述日志为根据日志采集规则所生成的；N为大于或等于1的整数；M为大于或等于0，且小于或等于N的整数；
统计单元，用于根据所述M个日志，获得指定参数的统计情况；
分析单元，用于根据所述指定参数的统计情况，获得扫描结果，所述扫描结果包括指示日志正常情况的信息和指示日志异常情况的信息中的至少一项；
所述装置还包括调整单元，用于
根据所述扫描结果，调整所述日志采集规则；或者
根据所述扫描结果，对所述日志服务器中的部分日志，进行删除处理。
11.根据权利要求10所述的装置，其特征在于，所述指定参数包括下列参数中的至少一项：
所述日志扫描任务中所设置的扫描参数；以及
默认参数。
12.根据权利要求10所述的装置，其特征在于，所述指定参数包括下列参数中的至少一项：
M的取值；
指定日志字段；
全部日志字段；以及
所述M个日志。
13.根据权利要求10所述的装置，其特征在于，所述指定参数为M的取值；所述指定参数的统计情况，包括：
M的取值情况。
14.根据权利要求12所述的装置，其特征在于，所述指定参数为指定日志字段；所述指定参数的统计情况，包括：
所述指定日志字段的空值情况。
15.根据权利要求12所述的装置，其特征在于，所述指定参数为全部日志字段；所述指定参数的统计情况，包括：
所述全部日志字段中每个日志字段的出现情况和使用情况中的至少一项。
16.根据权利要求12所述的装置，其特征在于，所述指定参数为全部日志；所述指定参数的统计情况，包括：
所述M个日志中每个日志的出现情况和使用情况中的至少一项。
17.根据权利要求10所述的装置，其特征在于，所述装置还包括输出单元，用于
输出所述扫描结果。
18.根据权利要求17所述的装置，其特征在于，所述输出单元，具体用于
对所述扫描结果，进行可视化展现。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510368267.0A CN105099764B (zh) | 2015-06-29 | 2015-06-29 | 日志处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510368267.0A CN105099764B (zh) | 2015-06-29 | 2015-06-29 | 日志处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105099764A CN105099764A (zh) | 2015-11-25 |
| CN105099764B true CN105099764B (zh) | 2019-01-18 |
Family
ID=54579380
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510368267.0A Active CN105099764B (zh) | 2015-06-29 | 2015-06-29 | 日志处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105099764B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105912587A (zh) * | 2016-03-31 | 2016-08-31 | 乐视控股（北京）有限公司 | 一种数据采集方法和系统 |
| CN107844400B (zh) * | 2017-10-16 | 2021-07-27 | 创新先进技术有限公司 | 一种日志数据的校验方法及装置 |
| CN110995836A (zh) * | 2019-11-29 | 2020-04-10 | 安徽江淮汽车集团股份有限公司 | 基于车联网平台的日志管理方法、设备、存储介质及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1761277A (zh) * | 2004-10-11 | 2006-04-19 | 中兴通讯股份有限公司 | 一种对话单进行动态分析的装置及动态分析方法 |
| CN101382891A (zh) * | 2008-09-19 | 2009-03-11 | 中兴通讯股份有限公司 | 每日构建日志输出的统计方法及装置 |
| CN103853743A (zh) * | 2012-11-29 | 2014-06-11 | 百度在线网络技术（北京）有限公司 | 一种分布式系统及其日志查询方法 |
| CN104182506A (zh) * | 2014-08-19 | 2014-12-03 | 浪潮(北京)电子信息产业有限公司 | 日志管理方法 |
| CN104462606A (zh) * | 2014-12-31 | 2015-03-25 | 中国科学院深圳先进技术研究院 | 一种基于日志数据确定诊断处理措施的方法 |
-
2015
- 2015-06-29 CN CN201510368267.0A patent/CN105099764B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1761277A (zh) * | 2004-10-11 | 2006-04-19 | 中兴通讯股份有限公司 | 一种对话单进行动态分析的装置及动态分析方法 |
| CN101382891A (zh) * | 2008-09-19 | 2009-03-11 | 中兴通讯股份有限公司 | 每日构建日志输出的统计方法及装置 |
| CN103853743A (zh) * | 2012-11-29 | 2014-06-11 | 百度在线网络技术（北京）有限公司 | 一种分布式系统及其日志查询方法 |
| CN104182506A (zh) * | 2014-08-19 | 2014-12-03 | 浪潮(北京)电子信息产业有限公司 | 日志管理方法 |
| CN104462606A (zh) * | 2014-12-31 | 2015-03-25 | 中国科学院深圳先进技术研究院 | 一种基于日志数据确定诊断处理措施的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105099764A (zh) | 2015-11-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2015201161B2 (en) | Event correlation | |
| CA2712984C (en) | Traffic visualization across web maps | |
| CN105786993B (zh) | 应用程序的功能插件推荐方法及装置 | |
| CN102377790B (zh) | 一种推送数据的方法和装置 | |
| CN104077415B (zh) | 搜索方法及装置 | |
| CN105099764B (zh) | 日志处理方法及装置 | |
| CN103138981B (zh) | 一种社交网络分析方法和装置 | |
| WO2008070744A2 (en) | Centralized web-based software solution for search engine optimization | |
| EP2817730A1 (en) | System and method for context specific website optimization | |
| WO2018040997A1 (zh) | 漏斗模型的节点的评估系统、方法和装置 | |
| CN110688598A (zh) | 业务参数采集方法、装置、计算机设备和存储介质 | |
| CN104881734A (zh) | 一种基于灰度发布引导产品改进的方法、装置及系统 | |
| CN110263070A (zh) | 事件上报方法及装置 | |
| EP2882135B1 (en) | Network server system, client device, computer program product and computer-implemented method | |
| CN106788896A (zh) | 日志数据的上传方法和装置 | |
| CN105354249B (zh) | 多账号关联方法、装置及电子设备 | |
| CN102937973B (zh) | 一种生成用于信息呈现的呈现配置信息的方法和设备 | |
| CN104572707A (zh) | 一种用于提供优选对象信息的方法与设备 | |
| Lee et al. | ATMSim: An anomaly teletraffic detection measurement analysis simulator | |
| CN115576973B (zh) | 一种业务部署方法、装置、计算机设备和可读存储介质 | |
| CN110457089A (zh) | 数据采集方法、装置、计算机可读存储介质和计算机设备 | |
| US20170223136A1 (en) | Any Web Page Reporting and Capture | |
| Bröring et al. | Processing real-time sensor data streams for 3D web visualization | |
| CN105162780A (zh) | 一种url过滤地址设置方法及系统 | |
| US8379525B2 (en) | Techniques to support large numbers of subscribers to a real-time event |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C41 | Transfer of patent application or patent right or utility model | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20160316 Address after: 100027 Haidian District, Qinghe Qinghe East Road, No. 23, building two, floor 2108, No., No. 18 Applicant after: BEIJING YINZHIBANG CULTURE TECHNOLOGY Co.,Ltd. Address before: 100085 Beijing, Haidian District, No. ten on the street Baidu building, No. 10 Applicant before: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220413 Address after: 518057 3305, floor 3, building 1, aerospace building, No. 51, Gaoxin South ninth Road, high tech Zone community, Yuehai street, Nanshan District, Shenzhen, Guangdong Patentee after: Shenzhen Taile Culture Technology Co.,Ltd. Address before: 2108, floor 2, building 23, No. 18, anningzhuang East Road, Qinghe, Haidian District, Beijing 100027 Patentee before: BEIJING YINZHIBANG CULTURE TECHNOLOGY Co.,Ltd. |
|
| TR01 | Transfer of patent right |