CN107800591A - 一种统一日志数据的分析方法 - Google Patents

Abstract

本发明公开一种统一日志数据的分析方法。网站系统中可以使用统一日志脚本生成统一日志数据集合，可以按照统一日志脚本的要求来统一生成该集合，从而便于对日志数据的自动分析。首先按照用户标识和日志类型对统一日志数据集合中的统一日志数据进行分组。对于同一组内的多个统一日志数据，可以通过功能点的组合得到同一个用户的完整操作轨迹，实现对用户的业务追踪。对于同一组内的多个统一日志数据，通过对每个功能点的耗费时长进行比较确定出耗费时长超过阈值的功能点，实现对功能点的性能分析。对于同一组内的多个统一日志数据，统计出每个功能点的使用频率，实现对功能点的热点分析，通过统计出每个功能点的前后置功能，实现对业务的关联分析。

Description

一种统一日志数据的分析方法

技术领域

本发明涉及计算机技术领域，具体涉及一种统一日志数据的分析方法。

背景技术

在信息化时代，数值的价值是无穷的。想要对网站系统进行有效的监控、维护、优化和改进，都离不开对日志数据的使用。对于不同网站，日志的统计指标类型也是不同的，通过各种统计指标数据可以反映产品总体情况，数据的价值除了反映现状，还有更重要的是应用。通过采集用户行为日志，统计并分析用户行为数据，可以为我们了解用户真正的需求，改善产品,指导业务增长提供科学依据。

现有技术提供的网站系统中，对用户行为日志的采集研究不太成熟，甚至很多网站系统并没有采集用户行为数据，现有技术中每个网站系统采集的日志并不相同，需要针对不同的日志数据进行人工分析，因此降低了日志数据的分析效率。

发明内容

本发明的目的在于提供一种统一日志数据的分析方法，用于对统一日志数据进行自动分析，提高日志数据的分析效率。

为了达到上述目的，本发明采用这样的如下技术方案：

本发明提供一种统一日志数据的分析方法，包括：

从网站系统获取使用统一日志脚本生成的统一日志数据集合，所述统一日志数据集合中包括的每一个统一日志数据包括：用户标识、日志类型、功能点、时间点和位置标识；

按照用户标识和日志类型对所述统一日志数据集合中的统一日志数据进行分组，得到多组的统一日志数据，其中，属于同一组内的多个统一日志数据具有相同的日志类型；

对于同一组内的多个统一日志数据，根据所述用户标识获取到同一个用户的多个统一日志数据，按照时间点的先后顺序进行功能点的组合，得到同一个用户的完整操作轨迹；

对于同一组内的多个统一日志数据，按照时间点的先后顺序获取前后两条统一日志数据之间间隔的时间差，得到每个功能点的耗费时长，通过对每个功能点的耗费时长进行比较确定出耗费时长超过阈值的功能点；

对于同一组内的多个统一日志数据，根据同一组内的多个统一日志数据分别对应的位置标识，统计出每个功能点的使用频率，以及统计出每个功能点的前后置功能。

采用上述技术方案后，本发明提供的技术方案将有如下优点：

网站系统中可以使用统一日志脚本生成统一日志数据集合，因此网站系统生成的统一日志数据集合是可以按照统一日志脚本的要求来统一生成，从而便于对日志数据的自动分析。本发明实施例中按照用户标识和日志类型对统一日志数据集合中的统一日志数据进行分组，得到多组的统一日志数据。对于同一组内的多个统一日志数据，可以通过功能点的组合得到同一个用户的完整操作轨迹，从而可以实现对用户的业务追踪。对于同一组内的多个统一日志数据，还可以通过对每个功能点的耗费时长进行比较确定出耗费时长超过阈值的功能点，从而可以实现对功能点的性能分析。对于同一组内的多个统一日志数据，还可以统计出每个功能点的使用频率，从而可以实现对功能点的热点分析，通过统计出每个功能点的前后置功能，可以实现对业务的关联分析。因此通过本发明实施例提供的统一日志数据的分析方法，所有的日志数据都可以通过统一日志脚本来采集生成，因此可以实现对统一日志数据进行自动分析，提高日志数据的分析效率。

附图说明

图1为本发明实施例提供一种统一日志数据的分析方法的流程方框示意图；

图2为本发明实施例中使用统一日志数据进行业务追踪的内部逻辑图。

具体实施方式

本发明实施例提供了一种统一日志数据的分析方法，用于对统一日志数据进行自动分析，提高日志数据的分析效率。

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域的技术人员所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本发明的实施例中对相同属性的对象在描述时所采用的区分方式。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。

以下分别进行详细说明。

本发明统一日志数据的分析方法的一个实施例，可应用于网站系统内对日志数据的自动分析场景中。请参阅图1和图2所示，本发明提供的统一日志数据的分析方法，可以包括如下步骤：

101、从网站系统获取使用统一日志脚本生成的统一日志数据集合，统一日志数据集合中包括的每一个统一日志数据包括：用户标识、日志类型、功能点、时间点和位置标识。

在本发明实施例中，网站系统中的每个网页都预先嵌入有统一日志脚本，该统一日志脚本是日志采集的脚本程序，统一日志脚本可以实现日志采集组件化，其中，组件化是指解耦复杂系统时将多个功能模块拆分、重组的过程，就是像功能做成可插拔的组件，主要是体现功能的弱耦合性。比如需要采集日志的网页，本发明实施例中可以引入统一日志脚本，如果不需要采集日志，就不引入这个脚本，这个脚本就像是一个组件，引入这个脚本后页面遵循这个日志脚本的使用规范即可。使用统一日志脚本可以生成统一日志数据集合，在统一日志数据集合中包括的每一个统一日志数据包括：用户标识、日志类型、功能点、时间点和位置标识。其中，用户标识是用于标识用户的唯一ID号，对于网站系统的用户，如果是登录用户，记录其账号；如果是访客，其值为0。日志类型与采用的统一日志脚本有关，可以通过统一日志脚本设置需要采集的日志类型有哪些种。功能点是指网站系统为用户提供的系统功能，在本发明的一些实施例中，功能点为网页系统内的业务模块。时间点是指用户操作网页的时间。位置标识是以编码方式表示操作的位置标识，格式为：“系统.栏目.按钮”。本发明实施例中统一日志脚本生成多个统一日志数据，这些统一日志数据具有规范的数据格式，这些多个统一日志数据构成统一日志数据集合。

在本发明实施例中，统一日志脚本中预先设定日志组成要素，日志组成要素，包括：操作时间、客户端IP地址、浏览客户端、跟踪ID、访客标识、网站标识、用户标识、位置标识、按钮名称、域名、页面标题、页面统一资源定位符(Uniform Resoure Locator，URL)、来源页、状态码。

举例说明，如下表1所示：

102、按照用户标识和日志类型对统一日志数据集合中的统一日志数据进行分组，得到多组的统一日志数据，其中，属于同一组内的多个统一日志数据具有相同的日志类型。

在本发明实施例中，获取到统一日志数据集合之后，可以根据用户标识和日志类型进行日志分组，因此按用户标识和日志类型可以获取一组相同类型的操作日志。

在本发明的一些实施例中，步骤102从网站系统获取使用统一日志脚本生成的统一日志数据集合之后，本发明实施例提供的方法还包括：

按照每条统一日志数据的时间点对统一日志数据集合内的多个统一日志数据进行正序排列。

其中，在获取到多组的统一日志数据之后，还可以根据统一日志数据的时间点进行排序，即可以按照创建时间对多条统一日志数据进行正序排列，从而便于按照日志创建时间来得到各个组的统一日志数据。

在本发明的一些实施例中，步骤101从网站系统获取使用统一日志脚本生成的统一日志数据集合之后，本发明实施例提供的方法还可以包括如下步骤：

获取每条统一日志数据的访问路径和操作动作；

根据访问路径和操作动作获取每条统一日志数据的功能点与页面操作区域。

其中，获取每条统一日志数据的访问路径(即来源页)、操作动作等，并据此获取该统一日志数据所对应的系统功能点与页面操作区域。因此可以获取到用户访问了哪个功能页面以及点击了哪个操作按钮，通过对每条统一日志数据的功能点与页面操作区域的获取，便于快速分析出用户在网站内的操作轨迹。

103、对于同一组内的多个统一日志数据，根据用户标识获取到同一个用户的多个统一日志数据，按照时间点的先后顺序进行功能点的组合，得到同一个用户的完整操作轨迹。

在本发明实施例中，按顺序组合前述步骤中多条统一日志数据的分析结果，该分析结果可以包括：用户访问的功能模块或点击的操作按钮，即可获取当前用户的完整操作轨迹，完整操作轨迹是指用户在网站系统内按照触发时间先后访问的网页以及具体的操作位置，因此可以实现用户的操作还原和系统的业务追踪。

104、对于同一组内的多个统一日志数据，按照时间点的先后顺序获取前后两条统一日志数据之间间隔的时间差，得到每个功能点的耗费时长，通过对每个功能点的耗费时长进行比较确定出耗费时长超过阈值的功能点。

在本发明实施例中，通过计算前后两条统一日志数据间隔的时间差，即可获取每个功能点的耗费时长。通过对各个功能点被操作的耗时长短进行比较，可以找出耗时较多的业务并进行改进，从而实现对业务的性能分析与优化。

105、对于同一组内的多个统一日志数据，根据同一组内的多个统一日志数据分别对应的位置标识，统计出每个功能点的使用频率，以及统计出每个功能点的前后置功能。

在本发明实施例中，通过统一日志数据的位置标识信息，获取每条统一日志数据所涉及的功能点，该功能点可以是网站系统中的业务模块，然后可以通过统计这些功能点的使用频率，进行业务的热点分析。

在本发明的一些实施例中，统计出每个功能点的前后置功能，包括：

根据每个功能点的前后操作动作、动作执行结果确定每个功能点的前后置功能。

其中，通过分析各个功能点的前后步骤、执行结果等，发现它们之前可能存在的关联关系，即进行业务的关联分析。统一日志数据的应用，主要是通过对大量同类日志的对比和分析，找出其中的特定规律和异同点，为业务的完善和提升，提供数据依据。

本发明实施例中按日志的类型，对其数据格式进行了统一规范，为日志数据的分析提供了基础。通过对用户标识、操作位置标识、操作动作标识的分组统计，可以对各个业务功能进行业务追踪、性能分析、关联分析等，并根据分析结果进行相应的服务优化和业务提升。比如，分析一组业务中耗费时较长的环节，进行相应的精简优化；分析用户经常使用和重点关注的系统功能，进行热点服务推荐；分析各个业务的关联性，进行相应的服务绑定等。用户行为的监控、用户操作轨迹的追溯和还原、系统异常的定位和排查等；再进一步，通过对日志数据的深入挖掘和分析，可以进行用户行为预测、相关服务推荐等。

本发明实施例涉及一种统一日志数据的应用，基于标准格式的统一日志数据，可以对用户的操作过程进行追溯和还原，从而进行系统异常的定位排查和系统业务的智能分析，如：热点分析(即分析使用较频繁的业务)、关联性分析(即分析不同业务的关联关系)、导向性分析(即分析当前业务的下一步骤或可能结果)等。

通过前述实施例对本发明的举例说明可知，网站系统中可以使用统一日志脚本生成统一日志数据集合，因此网站系统生成的统一日志数据集合是可以按照统一日志脚本的要求来统一生成，从而便于对日志数据的自动分析。本发明实施例中按照用户标识和日志类型对统一日志数据集合中的统一日志数据进行分组，得到多组的统一日志数据。对于同一组内的多个统一日志数据，可以通过功能点的组合得到同一个用户的完整操作轨迹，从而可以实现对用户的业务追踪。对于同一组内的多个统一日志数据，还可以通过对每个功能点的耗费时长进行比较确定出耗费时长超过阈值的功能点，从而可以实现对功能点的性能分析。对于同一组内的多个统一日志数据，还可以统计出每个功能点的使用频率，从而可以实现对功能点的热点分析，通过统计出每个功能点的前后置功能，可以实现对业务的关联分析。因此通过本发明实施例提供的统一日志数据的分析方法，所有的日志数据都可以通过统一日志脚本来采集生成，因此可以实现对统一日志数据进行自动分析，提高日志数据的分析效率。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本发明而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

综上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照上述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对上述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (5)

1.一种统一日志数据的分析方法，其特征在于，包括：

从网站系统获取使用统一日志脚本生成的统一日志数据集合，所述统一日志数据集合中包括的每一个统一日志数据包括：用户标识、日志类型、功能点、时间点和位置标识；

按照用户标识和日志类型对所述统一日志数据集合中的统一日志数据进行分组，得到多组的统一日志数据，其中，属于同一组内的多个统一日志数据具有相同的日志类型；

对于同一组内的多个统一日志数据，根据所述用户标识获取到同一个用户的多个统一日志数据，按照时间点的先后顺序进行功能点的组合，得到同一个用户的完整操作轨迹；

对于同一组内的多个统一日志数据，按照时间点的先后顺序获取前后两条统一日志数据之间间隔的时间差，得到每个功能点的耗费时长，通过对每个功能点的耗费时长进行比较确定出耗费时长超过阈值的功能点；

对于同一组内的多个统一日志数据，根据同一组内的多个统一日志数据分别对应的位置标识，统计出每个功能点的使用频率，以及统计出每个功能点的前后置功能。

2.根据权利要求1所述的一种统一日志数据的分析方法，其特征在于，所述从网站系统获取使用统一日志脚本生成的统一日志数据集合之后，所述方法还包括：

获取每条统一日志数据的访问路径和操作动作；

根据所述访问路径和操作动作获取每条统一日志数据的功能点与页面操作区域。

3.根据权利要求1所述的一种统一日志数据的分析方法，其特征在于，所述统计出每个功能点的前后置功能，包括：

根据所述每个功能点的前后操作动作、动作执行结果确定所述每个功能点的前后置功能。

4.根据权利要求1所述的一种统一日志数据的分析方法，其特征在于，所述从网站系统获取使用统一日志脚本生成的统一日志数据集合之后，所述方法还包括：

按照每条统一日志数据的时间点对所述统一日志数据集合内的多个统一日志数据进行正序排列。

5.根据权利要求1所述的一种统一日志数据的分析方法，其特征在于，所述功能点为所述网页系统内的业务模块。