CN110874309B - 一种日志处理方法、装置及设备 - Google Patents

Abstract

本申请提供一种日志处理方法、装置及设备，该方法包括：获取第一日志集合，所述第一日志集合包括多个原始日志；根据所述原始日志的数据模式对第一日志集合中的原始日志进行处理，得到第二日志集合，所述第二日志集合包括多个模式日志；根据所述原始日志的跟踪标识对第一日志集合中的原始日志进行处理，得到第三日志集合，所述第三日志集合包括多个跟踪日志；根据所述跟踪日志对第二日志集合中的模式日志进行处理，得到第四日志集合，所述第四日志集合包括多个目标日志，所述多个目标日志的数量小于所述多个原始日志的数量。通过本申请的技术方案，可以将大量原始日志处理为少量的目标日志，实现原始日志的压缩与处理，减少日志的数量。

Description

一种日志处理方法、装置及设备

技术领域

本申请涉及互联网技术领域，尤其是一种日志处理方法、装置及设备。

背景技术

随着互联网技术的快速发展，日志数据越来越重要，用户行为日志是一种重要的日志数据，通过分析用户行为日志可以提高服务质量，提供个性化服务。

其中，用户行为是指用户在网站或者APP(应用程序)的操作行为，如注册、登录、商品搜索、页面浏览、视频观看、商品购买、页面收藏、添加购物车、商品下单、商品支付、评论等等。通过采集用户行为日志，就可以分析出用户行为，继而根据用户行为向用户提供个性化服务，从而提高服务质量。

针对用户的所有操作行为，均需要采集用户行为日志，且每个操作行为均可能产生大量用户行为日志，例如，用户的一次登录行为，可能产生几百个用户行为日志，因此，上述方式会导致采集到大量用户行为日志。为了分析用户行为，可以将这些用户行为日志均显示给业务人员，由业务人员从大量用户行为日志中选择有价值的用户行为日志，并根据用户行为日志分析用户行为。

显然，在上述方式中，需要从大量的用户行为日志中选择有价值的用户行为日志，其工作量比较大，业务体验比较差，并不利于用户行为的分析。

发明内容

本申请提供一种日志处理方法，所述方法包括：

获取第一日志集合，所述第一日志集合包括多个原始日志；

根据所述原始日志的数据模式对所述第一日志集合中的原始日志进行处理，得到第二日志集合，所述第二日志集合包括多个模式日志；

根据所述原始日志的跟踪标识对所述第一日志集合中的原始日志进行处理，得到第三日志集合，所述第三日志集合包括多个跟踪日志；

根据所述跟踪日志对所述第二日志集合中的模式日志进行处理，得到第四日志集合，所述第四日志集合包括多个目标日志，所述多个目标日志的数量小于所述多个原始日志的数量。

本申请提供一种日志处理装置，所述装置包括：

获取模块，用于获取第一日志集合，所述第一日志集合包括多个原始日志；

处理模块，用于根据所述原始日志的数据模式对所述第一日志集合中的原始日志进行处理，得到第二日志集合，所述第二日志集合包括多个模式日志；

根据所述原始日志的跟踪标识对所述第一日志集合中的原始日志进行处理，得到第三日志集合，所述第三日志集合包括多个跟踪日志；

根据所述跟踪日志对所述第二日志集合中的模式日志进行处理，得到第四日志集合，所述第四日志集合包括多个目标日志，所述多个目标日志的数量小于所述多个原始日志的数量。

本申请提供一种日志处理设备，包括：

处理器和机器可读存储介质，所述机器可读存储介质上存储有若干计算机指令，所述处理器执行所述计算机指令时进行如下处理：

获取第一日志集合，所述第一日志集合包括多个原始日志；

根据所述原始日志的数据模式对所述第一日志集合中的原始日志进行处理，得到第二日志集合，所述第二日志集合包括多个模式日志；

根据所述原始日志的跟踪标识对所述第一日志集合中的原始日志进行处理，得到第三日志集合，所述第三日志集合包括多个跟踪日志；

根据所述跟踪日志对所述第二日志集合中的模式日志进行处理，得到第四日志集合，所述第四日志集合包括多个目标日志，所述多个目标日志的数量小于所述多个原始日志的数量。

基于上述方案，本申请实施例中，可以将大量原始日志重组为少量的目标日志，从而实现原始日志的压缩与处理，并可以减少日志的数量，例如，可以将10000行原始日志处理为10行目标日志。而且，可以将少量的目标日志显示给业务人员，由业务人员从少量的目标日志中选择有价值的日志，工作量比较小，业务体验较好，利于用户行为的分析。

附图说明

为了更加清楚地说明本申请实施例或者现有技术中的技术方案，下面将对本申请实施例或者现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据本申请实施例的这些附图获得其它的附图。

图1是本申请一种实施方式中的日志处理方法的流程图；

图2是本申请另一种实施方式中的日志处理方法的流程图；

图3是本申请一种实施方式中的日志处理装置的结构图。

具体实施方式

在本申请实施例使用的术语仅仅是出于描述特定实施例的目的，而非限制本申请。本申请和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。还应当理解，本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

本申请实施例中提出一种日志处理方法，用于实现原始日志的重组，参见图1所示，为该日志处理方法的流程示意图，该日志处理方法可以包括：

步骤101，获取第一日志集合，该第一日志集合可以包括多个原始日志。

步骤102，根据原始日志的数据模式对该第一日志集合中的原始日志进行处理，得到第二日志集合，该第二日志集合可以包括多个模式日志。

在一个例子中，步骤102之前，可以将该原始日志的日志原文中的可变化参数调整为设定参数，并将调整后的日志原文确定为该原始日志的数据模式。

在一个例子中，根据原始日志的数据模式对该第一日志集合中的原始日志进行处理，得到第二日志集合，可以包括但不限于：从该第一日志集合中确定具有相同数据模式的原始日志；然后，可以对具有相同数据模式的原始日志进行处理，得到处理后的日志；进一步的，可以将该第一日志集合中剩余的日志确定为模式日志，并将由所述模式日志组成的集合确定为第二日志集合。

其中，对具有相同数据模式的原始日志进行处理，得到处理后的日志，可以包括但不限于：在该第一日志集合中保留具有相同数据模式的所有原始日志中的一个原始日志(即任意一个原始日志，如第一个原始日志)，并从该第一日志集合中去除具有相同数据模式的所有原始日志中的其它原始日志。

步骤103，根据原始日志的跟踪标识对该第一日志集合中的原始日志进行处理，得到第三日志集合，该第三日志集合可以包括多个跟踪日志。

在一个例子中，步骤103之前，由于原始日志的上下文信息中包括跟踪标识，因此，还可以从原始日志的上下文信息中获取该原始日志的跟踪标识。

在一个例子中，根据原始日志的跟踪标识对该第一日志集合中的原始日志进行处理，得到第三日志集合，可以包括但不限于：从该第一日志集合中确定具有相同跟踪标识的原始日志；然后，可以对具有相同跟踪标识的原始日志进行处理，得到处理后的日志；进一步的，可以将该第一日志集合中剩余的日志确定为跟踪日志，并将由所述跟踪日志组成的集合确定为第三日志集合。

其中，对具有相同跟踪标识的原始日志进行处理，得到处理后的日志，可以包括但不限于：将具有相同跟踪标识的所有原始日志重组为同一日志。进一步，在将具有相同跟踪标识的所有原始日志重组为同一日志时，针对具有相同跟踪标识的所有原始日志，还可以根据原始日志的数据模式对这些原始日志进行重组(如保留具有相同数据模式的原始日志中的一个原始日志，并去除具有相同数据模式的原始日志中的其它原始日志)，重组后的原始日志是跟踪日志。

步骤104，根据跟踪日志对该第二日志集合中的模式日志进行处理，得到第四日志集合，其中，该第四日志集合可以包括多个目标日志，多个目标日志的数量小于多个原始日志的数量，即第四日志集合中的日志数量小于第一日志集合中的日志数量。

在一个例子中，根据跟踪日志对该第二日志集合中的模式日志进行处理，得到第四日志集合，可以包括但不限于：根据模式日志的跟踪标识与跟踪日志的跟踪标识，从该第三日志集合中确定与该模式日志对应的跟踪日志；根据该第二日志集合中的每个模式日志对应的跟踪日志，对该第二日志集合中的模式日志进行处理，得到处理后的日志；然后，可以将该第二日志集合中剩余的日志确定为目标日志，并将由所述目标日志组成的集合确定为第四日志集合。

在一个例子中，根据模式日志的跟踪标识与跟踪日志的跟踪标识，从该第三日志集合中确定与该模式日志对应的跟踪日志，可以包括但不限于：针对该第二日志集合中的每个模式日志，若跟踪日志的跟踪标识与该模式日志的跟踪标识相同，则可以将该跟踪日志确定为与该模式日志对应的跟踪日志。

根据该第二日志集合中的每个模式日志对应的跟踪日志，对该第二日志集合中的模式日志进行处理，得到处理后的日志，可以包括但不限于：针对该第二日志集合中的每个模式日志，若至少两个模式日志对应的跟踪日志相同，则可以将所述至少两个模式日志重组为同一个日志，得到重组后的日志。

进一步的，将所述至少两个模式日志重组为同一个日志，得到重组后的日志，可以包括但不限于：在该第二日志集合中保留至少两个模式日志中的一个模式日志，并从该第二日志集合中去除至少两个模式日志中的其它模式日志，也就是说，重组后的日志是一个模式日志。或者，从该第二日志集合中去除所述至少两个模式日志，并将至少两个模式日志对应的跟踪日志确定为重组后的日志，也就是说，重组后的日志是至少两个模式日志对应的同一个跟踪日志。

在上述实施例中，所述获取第一日志集合之后，还可以在数据库中存储该第一日志集合；所述得到第二日志集合之后，还可以在数据库中存储该第二日志集合；所述得到第三日志集合之后，还可以在数据库中存储第该三日志集合；所述得到第四日志集合之后，还可以在数据库中存储该第四日志集合。

在上述实施例中，在根据跟踪日志对该第二日志集合中的模式日志进行处理，得到第四日志集合之后，还可以对该第四日志集合进行显示。例如，还可以将该第四日志集合显示给业务人员，以使业务人员获取到目标日志。

在上述实施例中，原始日志可以包括但不限于：用户行为日志。

在上述实施例中，针对各日志的处理，可以为针对日志的合并处理。

进一步的，模式日志可以包括但不限于：用户行为日志；跟踪日志可以包括但不限于：用户行为日志；目标日志可以包括但不限于：用户行为日志。

在一个例子中，上述执行顺序只是为了方便描述给出的一个示例，在实际应用中，还可以改变步骤之间的执行顺序，对此执行顺序不做限制。在其它实施例中，并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其它实施例中可能被分解为多个步骤进行描述；本说明书中所描述的多个步骤，在其它实施例也可能被合并为单个步骤进行描述。

例如，针对步骤102和步骤103，可以先执行步骤102，后执行步骤103，也可以先执行步骤103，后执行步骤102，还可以并行执行步骤102和步骤103。

基于上述方案，本申请实施例中，可以将大量原始日志处理为少量的目标日志，从而实现原始日志的压缩与处理，可以减少日志的数量，例如，可以将10000行原始日志处理为10行目标日志。而且，可以将少量目标日志显示给业务人员，由业务人员从少量目标日志中选择有价值的日志，并利用该日志进行用户行为的分析，工作量比较小，业务体验较好，利于用户行为的分析。

以下结合具体应用场景，对上述技术方案进行说明。本应用场景中，日志处理方法可以应用于任意设备，对此设备的类型不做限制，如可以是移动终端、智能手机、服务器、数据平台、电商平台、笔记本电脑、个人计算机等。

参见图2所示，为本应用场景中的日志处理方法的流程示意图。

步骤201，采集原始日志，并将该原始日志添加到第一日志集合，该第一日志集合可以包括多个原始日志。其中，该原始日志可以如用户行为日志等。

例如，针对用户在网站或者APP的操作行为，例如，注册、登录、商品搜索、页面浏览、视频观看、商品购买、页面收藏、添加购物车、商品下单、商品支付、评论等，均会产生日志，为了方便描述，将操作行为产生的日志称为原始日志。而且，每个操作行为可能产生大量原始日志，因此，针对用户在网站或者APP的操作行为，可以采集到这个操作行为对应的大量原始日志，并将这些原始日志添加到日志集合，从而得到包括多个原始日志的第一日志集合。

例如，针对用户的登录行为，可能产生如下原始日志：2018-08-10,03:54:31|0baf5f5915338443509465961e4490|-user id:124,login in success。2018-08-10,03:54:31|0baf5f5915338443509465961e4490|-user id:234，login in success。当然，这些原始日志只是示例，实际应用中，登录行为产生的原始日志远远大于2个。

而且，上述原始日志是以登录行为为例，在实际应用中，商品搜索、页面浏览、视频观看、商品购买、页面收藏、添加购物车、商品下单、商品支付、评论等其它操作行为，也会产生对应的原始日志，对此原始日志不再赘述。

在上述原始日志中，左侧部分是该原始日志的上下文信息，该上下文信息可以包括但不限于时间信息(如2018-08-10,03:54:31等)和跟踪标识(也可以称为traceid，如0baf5f5915338443509465961e4490等)，当然，在实际应用中，上下文信息还可以包括其它内容，如线程名字等，对此上下文信息不做限制。

在上述原始日志中，右侧部分是该原始日志的日志原文，如user id:124,loginin success等，user id:124表示用户标识是124，而login in success表示登录成功。

步骤202，针对该第一日志集合中的每个原始日志，确定该原始日志的数据模式(也可以称为pattern)，该数据模式是区分原始日志的类型的标识，每个原始日志具有一个数据模式，且相同类型的原始日志的数据模式可以相同。

具体的，可以将该原始日志的日志原文中的可变化参数调整为设定参数(可以根据经验配置)，并将调整后的日志原文确定为该原始日志的数据模式。

例如，原始日志2018-08-10,03:54:31|0baf5f5915338443509465961e4490|-userid:124,login in success的日志原文是user id:124,login in success，在该日志原文中，124就是可变化参数。具体的，针对登录行为，只要是登录成功，则日志原文的内容就是user id:***,login in success，对于不同用户来说，只有user id后面的内容会发生变化，而其它内容不会发生变化，因此，user id后面的124就是可变化参数，这样，可以将该可变化参数124调整为设定参数(如AAA、BB、数字等，对此设定参数不做限制)，基于此，调整后的日志原文是user id:数字,login in success，也就是说，该原始日志的数据模式是userid:数字,login in success。

同理，原始日志2018-08-10,03:54:31|0baf5f5915338443509465961e4490|-userid:234，login in success的日志原文是user id:234，login in success，234是可变化参数，可以将可变化参数调整为设定参数“数字”，调整后的日志原文是user id:数字,loginin success，该原始日志的数据模式是user id:数字,login in success。

步骤203，根据原始日志的数据模式对该第一日志集合中的原始日志进行处理，得到第二日志集合，其中，该第二日志集合可以包括多个模式日志。

具体的，基于该第一日志集合中的每个原始日志，可以从该第一日志集合中确定具有相同数据模式的原始日志，并将具有相同数据模式的原始日志进行合并，得到合并后的日志(如保留具有相同数据模式的所有原始日志中的一个原始日志(如第一个原始日志)，并去除具有相同数据模式的所有原始日志中的其它原始日志)。进一步的，可以将该第一日志集合中剩余的日志确定为模式日志，为了区分方便，可以将第一日志集合中剩余的日志称为模式日志，而不再称为原始日志，然后，将由模式日志组成的集合确定为第二日志集合。

例如，假设第一日志集合包括原始日志1-原始日志300，原始日志1-原始日志100的数据模式相同，则可以对原始日志1-原始日志100进行合并，而合并后的日志是原始日志1-原始日志100中的任意一个，如原始日志1，即在第一日志集合中保留原始日志1，而原始日志2-原始日志100被去除。假设原始日志101-原始日志300的数据模式相同，则可以对原始日志101-原始日志300进行合并，而合并后的日志是原始日志101，即在第一日志集合中保留原始日志101，而原始日志102-原始日志300被去除。显然，经过上述处理，第一日志集合中只剩余原始日志1和原始日志101，为了区分方便，可以将原始日志1称为模式日志1(即基于数据模式合并后的日志)，可以将原始日志101称为模式日志101，而模式日志1和模式日志101组成的集合，就可以是第二日志集合。

由于原始日志2018-08-10,03:54:31|0baf5f5915338443509465961e4490|-userid:124,login in success的数据模式，与另一个原始日志2018-08-10,03:54:31|0baf5f5915338443509465961e4490|-user id:234，login in success的数据模式相同，因此，在步骤203中，可以对所述两个原始日志进行合并，使得该第二日志集合中只包括所述两个原始日志中的一个，而不是包括所述两个原始日志。

例如，第一日志集合可以包括1000个原始日志，在根据数据模式对第一日志集合中的原始日志进行合并后，第二日志集合可以只包括20个模式日志，从而显著减少第二日志集合中的日志数量。表1为20个模式日志的示例，在这些模式日志中，模式日志的上下文信息中只示出了跟踪标识，并未视出其它内容。

表1

序号	次数	模式日志
			1	2000	0baf5f5915338443509465961e4490-login in check args id:124
2	794	0baf5f5915338443509465961e4489-properties load
			3	580	0baf5f5915338443509465961e4488-check db data
4	338	0baf5f5915338443509465961e4487-syn diamond data
			5	298	0baf5f5915338443509465961e4490-get msg from tair fail
6	874	0baf5f5915338443509465961e4489-login fail
			7	286	0baf5f5915338443509465961e4488-get hbase data
8	983	0baf5f5915338443509465961e4487-loading cache fail
			9	39	0baf5f5915338443509465961e4490-put msg memory
10	21	0baf5f5915338443509465961e4489-loading NPE
			11	31	0baf5f5915338443509465961e4488-get word fail
12	38	0baf5f5915338443509465961e4487-show user msg
			13	63	0baf5f5915338443509465961e4490-get user fail
14	71	0baf5f5915338443509465961e4489-user undefine
			15	87	0baf5f5915338443509465961e4488-user delete
16	98	0baf5f5915338443509465961e4487-success
			17	98	0baf5f5915338443509465961e4490-fail netword
18	20	0baf5f5915338443509465961e4489-check properties fail
			19	233	0baf5f5915338443509465961e4488-db is down
20	120	0baf5f5915338443509465961e4487-server start

步骤204，针对该第一日志集合中的每个原始日志，从该原始日志的上下文信息中获取该原始日志的跟踪标识，该跟踪标识表示用户的操作行为，即每次操作行为的唯一标识。例如，针对登录行为，可能产生9个原始日志，这9个原始日志的跟踪标识相同，而且，针对登录行为，可以产生一个跟踪标识(如一个随机数1)，则登录行为的9个原始日志的跟踪标识均是该随机数1。

例如，原始日志2018-08-10,03:54:31|0baf5f5915338443509465961e4490|-userid:124,login in success的上下文信息中的0baf5f5915338443509465961e4490就是该原始日志的跟踪标识。又例如，在另外的一个原始日志2018-08-10,03:54:31|0baf5f5915338443509465961e4490|-user id:234，login in success中，上下文信息中的0baf5f5915338443509465961e4490就是该原始日志的跟踪标识。

步骤205，根据原始日志的跟踪标识对该第一日志集合中的原始日志进行处理，得到第三日志集合，其中，该第三日志集合可以包括多个跟踪日志。

具体的，基于该第一日志集合中的每个原始日志，可以从该第一日志集合中确定具有相同跟踪标识的原始日志，并将具有相同跟踪标识的原始日志进行合并，得到合并后的日志(例如，将具有相同跟踪标识的所有原始日志合并为同一个日志)。进一步的，还可以将该第一日志集合中剩余的日志确定为跟踪日志，为了区分方便，可以将第一日志集合中剩余的日志称为跟踪日志，而不再称为原始日志，然后，将由跟踪日志组成的集合确定为第三日志集合。

例如，假设第一日志集合包括原始日志1-原始日志300，原始日志1-原始日志200的跟踪标识相同，则可以对原始日志1-原始日志200进行合并，得到合并后的跟踪日志A，该跟踪日志A包括原始日志1-原始日志200。然后，可以利用原始日志的数据模式对原始日志1-原始日志200进行合并，具体合并方式参见步骤203，在此不再赘述，这样，可以将原始日志1-原始日志200合并为原始日志1和原始日志101，即跟踪日志A可以包括原始日志1和原始日志101。

假设原始日志201-原始日志300的跟踪标识相同，则可以对原始日志201-原始日志300进行合并，得到合并后的跟踪日志B，跟踪日志B包括原始日志201-原始日志300。然后，可以利用原始日志的数据模式对原始日志201-原始日志300进行合并，具体合并方式参见步骤203，在此不再赘述，这样，可以将原始日志201-原始日志300合并为原始日志201，即跟踪日志B包括原始日志201。

显然，经过上述处理，可以得到跟踪日志A(基于跟踪标识合并后的日志)和跟踪日志B，跟踪日志A包括原始日志1和原始日志101，跟踪日志B包括原始日志201，而跟踪日志A和跟踪日志B组成的集合，可以是第三日志集合。

例如，第一日志集合可以包括1000个原始日志，在根据跟踪标识对第一日志集合中的原始日志进行合并后，则第三日志集合可以如表2所示。在这些跟踪日志的上下文信息中只示出了跟踪标识，并未视出其它内容。在表2中，跟踪标识“0baf5f5915338443509465961e4490”对应的“login in check args id:124；get msgfrom tair fail；put msg memory；get user fail；fail netword”是同一个跟踪日志，可以理解为一个跟踪日志，而不是五个跟踪日志，此外，其它跟踪标识的实现与跟踪标识“0baf5f5915338443509465961e4490”类似，在此不再赘述。

表2

步骤206，针对第二日志集合中的每个模式日志，根据模式日志的跟踪标识与跟踪日志的跟踪标识，从第三日志集合中确定与该模式日志对应的跟踪日志。

在一个例子中，针对该第二日志集合中的每个模式日志，若跟踪日志的跟踪标识与该模式日志的跟踪标识相同，则还可以将该跟踪日志确定为与该模式日志对应的跟踪日志。或者，若跟踪日志的跟踪标识与该模式日志的跟踪标识不同，则还可以确定该跟踪日志不是与该模式日志对应的跟踪日志。

步骤207，根据该第二日志集合中的每个模式日志对应的跟踪日志，对该第二日志集合中的模式日志进行处理，得到处理后的日志，并将第二日志集合中剩余的日志确定为目标日志，为了区分方便，将剩余的日志称为目标日志。

在一个例子中，针对该第二日志集合中的每个模式日志，若至少两个模式日志对应的跟踪日志相同，则可以将所述至少两个模式日志合并为同一个日志，得到合并后的日志。例如，可以在该第二日志集合中保留至少两个模式日志中的一个模式日志，并从该第二日志集合中去除至少两个模式日志中的其它模式日志，这样，合并后的日志是一个模式日志。或者，从该第二日志集合中去除所述至少两个模式日志，并将至少两个模式日志对应的跟踪日志确定为合并后的日志，这样，合并后的日志是至少两个模式日志对应的同一个跟踪日志。

步骤208，将由目标日志组成的集合确定为第四日志集合。

以下结合表1和表2，对步骤206-步骤208进行说明。针对第二日志集合中的模式日志0baf5f5915338443509465961e4490-login in check args id:124，跟踪标识为0baf5f5915338443509465961e4490，通过该跟踪标识查询表2，得到与该模式日志对应的跟踪日志是“0baf5f5915338443509465961e4490-login in check args id:124；0baf5f5915338443509465961e4490-get msg from tair fail；0baf5f5915338443509465961e4490-put msg memory；0baf5f5915338443509465961e4490-get user fail；0baf5f5915338443509465961e4490-fail netword”，同理，针对表1所示的第二日志集合中的每个模式日志，可以通过该模式日志的跟踪标识查询表2所示的第三日志集合，从而得到第二日志集合中的每个模式日志对应的跟踪日志。

进一步的，由于模式日志0baf5f5915338443509465961e4490-login in checkargs id:124对应的跟踪日志、模式日志0baf5f5915338443509465961e4490-get msg fromtair fail对应的跟踪日志、模式日志0baf5f5915338443509465961e4490-put msg memory对应的跟踪日志、模式日志0baf5f5915338443509465961e4490-get user fail对应的跟踪日志、模式日志0baf5f5915338443509465961e4490-fail netword对应的跟踪日志均相同，因此，可以在表1所示的第二日志集合中，将上述五个模式日志合并为同一个日志，得到合并后的日志，而合并后的日志就是目标日志，而目标日志组合的第四日志集合可以参见表3或者表4所示。

在表3中，合并方式为：保留一个模式日志(如第一个模式日志)，并去除其它的模式日志，也就是说，目标日志可以是模式日志。在表4中，合并方式为：去除模式日志，并将该模式日志对应的跟踪日志确定为目标日志。

表3

序号	目标日志
		1	0baf5f5915338443509465961e4490-login in check args id:124
2	0baf5f5915338443509465961e4489-properties load
		3	0baf5f5915338443509465961e4488-check db data
4	0baf5f5915338443509465961e4487-syn diamond data

表4

在表4中，虽然目标日志由5个原始日志组成，但是，每个目标日志只是一个日志，在实际的存储和显示过程中，均以一个日志的形式进行存储和显示。

在一个例子中，上述执行顺序只是为了方便描述给出的一个示例，在实际应用中，还可以改变步骤之间的执行顺序，对此执行顺序不做限制。在其它实施例中，并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其它实施例中可能被分解为多个步骤进行描述；本说明书中所描述的多个步骤，在其它实施例也可能被合并为单个步骤进行描述。

经过上述处理，就可以得到由目标日志组成的第四日志集合，而且，还可以对该第四日志集合进行显示，如将该第四日志集合显示给业务人员，以使业务人员获取到目标日志，并根据该目标日志分析用户行为，继而根据用户行为向用户提供个性化服务，从而提高服务质量。由于上述方式可以将大量原始日志合并为少量的目标日志，从而实现原始日志的压缩与合并，可以减少日志的数量，由业务人员从少量的目标日志中选择有价值的日志，并利用该日志进行用户行为的分析，工作量比较小，业务体验较好，利于用户行为的分析。

在上述方式中，在得到第二日志集合后，不是直接对第二日志集合进行显示，而是利用跟踪标识对第二日志集合中的模式日志进行进一步的合并，从而再次减少日志数量。而且，在对第二日志集合中的模式日志进行合并时，是将相同跟踪标识的模式日志合并，即，将同一操作行为的模式日志合并(跟踪标识表示操作行为，同一操作行为对应相同的跟踪标识，不同操作行为对应不同的跟踪标识)，使合并后的目标日志是针对操作行为的，能够与操作行为相适应，继而与服务对应，即每个目标日志对应一种操作行为，继而对应一种服务。

基于与上述方法同样的申请构思，本申请实施例还提供一种日志处理装置，如图3所示，为所述装置的结构图，所述装置可以包括：

获取模块301，用于获取第一日志集合，第一日志集合包括多个原始日志；

处理模块302，用于根据所述原始日志的数据模式对所述第一日志集合中的原始日志进行处理，得到第二日志集合，所述第二日志集合包括多个模式日志；

根据所述原始日志的跟踪标识对所述第一日志集合中的原始日志进行处理，得到第三日志集合，所述第三日志集合包括多个跟踪日志；

根据所述跟踪日志对所述第二日志集合中的模式日志进行处理，得到第四日志集合，所述第四日志集合包括多个目标日志，所述多个目标日志的数量小于所述多个原始日志的数量。

在一个例子中，所述处理模块302根据所述原始日志的数据模式对所述第一日志集合中的原始日志进行处理，得到第二日志集合时具体用于：

从所述第一日志集合中确定具有相同数据模式的原始日志；

对具有相同数据模式的原始日志进行处理，得到处理后的日志；

将所述第一日志集合中剩余的日志确定为模式日志；

将由所述模式日志组成的集合确定为所述第二日志集合。

在一个例子中，所述处理模块302根据所述原始日志的跟踪标识对所述第一日志集合中的原始日志进行处理，得到第三日志集合时具体用于：

从所述第一日志集合中确定具有相同跟踪标识的原始日志；

对具有相同跟踪标识的原始日志进行处理，得到处理后的日志；

将所述第一日志集合中剩余的日志确定为跟踪日志；

将由所述跟踪日志组成的集合确定为所述第三日志集合。

在一个例子中，所述处理模块302根据所述跟踪日志对所述第二日志集合中的模式日志进行处理，得到第四日志集合时具体用于：

根据所述模式日志的跟踪标识与所述跟踪日志的跟踪标识，从所述第三日志集合中确定与所述模式日志对应的跟踪日志；

根据所述第二日志集合中的模式日志对应的跟踪日志，对所述第二日志集合中的模式日志进行处理，得到处理后的日志；

将所述第二日志集合中剩余的日志确定为目标日志；

将由所述目标日志组成的集合确定为所述第四日志集合。

基于与上述方法同样的构思，本实施例还提供一种日志处理设备，包括：处理器和机器可读存储介质；所述机器可读存储介质上存储有若干计算机指令，所述处理器执行所述计算机指令时进行如下处理：

获取第一日志集合，所述第一日志集合包括多个原始日志；根据所述原始日志的数据模式对所述第一日志集合中的原始日志进行处理，得到第二日志集合，所述第二日志集合包括多个模式日志；根据所述原始日志的跟踪标识对所述第一日志集合中的原始日志进行处理，得到第三日志集合，所述第三日志集合包括多个跟踪日志；根据所述跟踪日志对所述第二日志集合中的模式日志进行处理，得到第四日志集合，所述第四日志集合包括多个目标日志，所述多个目标日志的数量小于所述多个原始日志的数量。

本实施例还提供一种机器可读存储介质，所述机器可读存储介质上存储有若干计算机指令，所述计算机指令被执行时进行如下处理：

获取第一日志集合，所述第一日志集合包括多个原始日志；根据所述原始日志的数据模式对所述第一日志集合中的原始日志进行处理，得到第二日志集合，所述第二日志集合包括多个模式日志；根据所述原始日志的跟踪标识对所述第一日志集合中的原始日志进行处理，得到第三日志集合，所述第三日志集合包括多个跟踪日志；根据所述跟踪日志对所述第二日志集合中的模式日志进行处理，得到第四日志集合，所述第四日志集合包括多个目标日志，所述多个目标日志的数量小于所述多个原始日志的数量。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

而且，这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (18)

1.一种日志处理方法，其特征在于，所述方法包括：

获取第一日志集合，所述第一日志集合包括多个原始日志；

根据所述原始日志的数据模式对所述第一日志集合中的原始日志进行处理，以保留具有相同数据模式的所有原始日志中的一个原始日志，得到第二日志集合，所述第二日志集合包括多个模式日志；

根据所述原始日志的跟踪标识对所述第一日志集合中的原始日志进行处理，以将具有相同跟踪标识的所有原始日志合并为同一个日志，得到第三日志集合，所述第三日志集合包括多个跟踪日志；

根据所述跟踪日志对所述第二日志集合中的模式日志进行处理，得到第四日志集合，所述第四日志集合包括多个目标日志，所述多个目标日志的数量小于所述多个原始日志的数量；

其中，所述根据所述跟踪日志对所述第二日志集合中的模式日志进行处理，得到第四日志集合，包括：根据所述模式日志的跟踪标识与所述跟踪日志的跟踪标识，从所述第三日志集合中确定与所述模式日志对应的跟踪日志；根据所述第二日志集合中的模式日志对应的跟踪日志，对所述第二日志集合中的模式日志进行处理，得到处理后的日志；将所述第二日志集合中剩余的日志确定为目标日志；将由所述目标日志组成的集合确定为所述第四日志集合。

2.根据权利要求1所述的方法，其特征在于，

所述根据所述原始日志的数据模式对所述第一日志集合中的原始日志进行处理，得到第二日志集合之前，所述方法还包括：

将所述原始日志的日志原文中的可变化参数调整为设定参数；

将调整后的日志原文确定为所述原始日志的数据模式。

3.根据权利要求1或2所述的方法，其特征在于，根据所述原始日志的数据模式对所述第一日志集合中的原始日志进行处理，得到第二日志集合，包括：

从所述第一日志集合中确定具有相同数据模式的原始日志；

对具有相同数据模式的原始日志进行处理，得到处理后的日志；

将所述第一日志集合中剩余的日志确定为模式日志；

将由所述模式日志组成的集合确定为所述第二日志集合。

4.根据权利要求3所述的方法，其特征在于，

所述对具有相同数据模式的原始日志进行处理，得到处理后的日志，包括：

保留所述具有相同数据模式的所有原始日志中的一个原始日志；

去除所述具有相同数据模式的所有原始日志中的其它原始日志。

5.根据权利要求1所述的方法，其特征在于，

所述根据所述原始日志的跟踪标识对所述第一日志集合中的原始日志进行处理，得到第三日志集合之前，所述方法还包括：

从所述原始日志的上下文信息中获取所述原始日志的跟踪标识。

6.根据权利要求1或5所述的方法，其特征在于，根据所述原始日志的跟踪标识对所述第一日志集合中的原始日志进行处理，得到第三日志集合，包括：

从所述第一日志集合中确定具有相同跟踪标识的原始日志；

对具有相同跟踪标识的原始日志进行处理，得到处理后的日志；

将所述第一日志集合中剩余的日志确定为跟踪日志；

将由所述跟踪日志组成的集合确定为所述第三日志集合。

7.根据权利要求6所述的方法，其特征在于，

所述对具有相同跟踪标识的原始日志进行处理，得到处理后的日志，包括：

将具有相同跟踪标识的所有原始日志重组为同一日志。

8.根据权利要求1所述的方法，其特征在于，

所述根据所述模式日志的跟踪标识与所述跟踪日志的跟踪标识，从所述第三日志集合中确定与所述模式日志对应的跟踪日志，包括：

针对第二日志集合中的模式日志，若跟踪日志的跟踪标识与所述模式日志的跟踪标识相同，则将所述跟踪日志确定为与所述模式日志对应的跟踪日志。

9.根据权利要求1所述的方法，其特征在于，

所述根据所述第二日志集合中的模式日志对应的跟踪日志，对所述第二日志集合中的模式日志进行处理，得到处理后的日志，包括：

针对第二日志集合中的模式日志，若至少两个模式日志对应的跟踪日志相同，则将所述至少两个模式日志重组为同一个日志，得到重组后的日志。

10.根据权利要求9所述的方法，其特征在于，

将所述至少两个模式日志重组为同一个日志，得到重组后的日志，包括：

在所述第二日志集合中保留所述至少两个模式日志中的一个模式日志；

从所述第二日志集合中去除所述至少两个模式日志中的其它模式日志。

11.根据权利要求9所述的方法，其特征在于，

将所述至少两个模式日志重组为同一个日志，得到重组后的日志，包括：

从所述第二日志集合中去除所述至少两个模式日志；

将所述至少两个模式日志对应的跟踪日志确定为重组后的日志。

12.根据权利要求1所述的方法，其特征在于，所述方法还包括：

所述获取第一日志集合后，在数据库中存储所述第一日志集合；

所述得到第二日志集合后，在数据库中存储所述第二日志集合；

所述得到第三日志集合后，在数据库中存储所述第三日志集合；

所述得到第四日志集合后，在数据库中存储所述第四日志集合。

13.根据权利要求1所述的方法，其特征在于，根据所述跟踪日志对所述第二日志集合中的模式日志进行处理，得到第四日志集合之后，还包括：

对所述第四日志集合进行显示。

14.根据权利要求1所述的方法，其特征在于，

所述原始日志包括：用户行为日志。

15.一种日志处理装置，其特征在于，所述装置包括：

获取模块，用于获取第一日志集合，所述第一日志集合包括多个原始日志；

处理模块，用于根据所述原始日志的数据模式对所述第一日志集合中的原始日志进行处理，以保留具有相同数据模式的所有原始日志中的一个原始日志，得到第二日志集合，所述第二日志集合包括多个模式日志；

根据所述原始日志的跟踪标识对所述第一日志集合中的原始日志进行处理，以将具有相同跟踪标识的所有原始日志合并为同一个日志，得到第三日志集合，所述第三日志集合包括多个跟踪日志；

根据所述跟踪日志对所述第二日志集合中的模式日志进行处理，得到第四日志集合，所述第四日志集合包括多个目标日志，所述多个目标日志的数量小于所述多个原始日志的数量；其中，所述处理模块根据所述跟踪日志对所述第二日志集合中的模式日志进行处理，得到第四日志集合时具体用于：根据所述模式日志的跟踪标识与所述跟踪日志的跟踪标识，从所述第三日志集合中确定与所述模式日志对应的跟踪日志；根据所述第二日志集合中的模式日志对应的跟踪日志，对所述第二日志集合中的模式日志进行处理，得到处理后的日志；将所述第二日志集合中剩余的日志确定为目标日志；将由所述目标日志组成的集合确定为所述第四日志集合。

16.根据权利要求15所述的装置，其特征在于，

所述处理模块根据所述原始日志的数据模式对所述第一日志集合中的原始日志进行处理，得到第二日志集合时具体用于：

从所述第一日志集合中确定具有相同数据模式的原始日志；

对具有相同数据模式的原始日志进行处理，得到处理后的日志；

将所述第一日志集合中剩余的日志确定为模式日志；

将由所述模式日志组成的集合确定为所述第二日志集合。

17.根据权利要求15所述的装置，其特征在于，

所述处理模块根据所述原始日志的跟踪标识对所述第一日志集合中的原始日志进行处理，得到第三日志集合时具体用于：

从所述第一日志集合中确定具有相同跟踪标识的原始日志；

对具有相同跟踪标识的原始日志进行处理，得到处理后的日志；

将所述第一日志集合中剩余的日志确定为跟踪日志；

将由所述跟踪日志组成的集合确定为所述第三日志集合。

18.一种日志处理设备，其特征在于，包括：

处理器和机器可读存储介质，所述机器可读存储介质上存储有若干计算机指令，所述处理器执行所述计算机指令时进行如下处理：

获取第一日志集合，所述第一日志集合包括多个原始日志；

根据所述原始日志的数据模式对所述第一日志集合中的原始日志进行处理，以保留具有相同数据模式的所有原始日志中的一个原始日志，得到第二日志集合，所述第二日志集合包括多个模式日志；

根据所述原始日志的跟踪标识对所述第一日志集合中的原始日志进行处理，以将具有相同跟踪标识的所有原始日志合并为同一个日志，得到第三日志集合，所述第三日志集合包括多个跟踪日志；

根据所述跟踪日志对所述第二日志集合中的模式日志进行处理，得到第四日志集合，所述第四日志集合包括多个目标日志，所述多个目标日志的数量小于所述多个原始日志的数量；

其中，所述根据所述跟踪日志对所述第二日志集合中的模式日志进行处理，得到第四日志集合，包括：根据所述模式日志的跟踪标识与所述跟踪日志的跟踪标识，从所述第三日志集合中确定与所述模式日志对应的跟踪日志；根据所述第二日志集合中的模式日志对应的跟踪日志，对所述第二日志集合中的模式日志进行处理，得到处理后的日志；将所述第二日志集合中剩余的日志确定为目标日志；将由所述目标日志组成的集合确定为所述第四日志集合。

Images