CN109033404A - 日志数据处理方法、装置和系统 - Google Patents

日志数据处理方法、装置和系统 Download PDF

Info

Publication number
CN109033404A
CN109033404A CN201810877030.9A CN201810877030A CN109033404A CN 109033404 A CN109033404 A CN 109033404A CN 201810877030 A CN201810877030 A CN 201810877030A CN 109033404 A CN109033404 A CN 109033404A
Authority
CN
China
Prior art keywords
attribute
attribute value
daily record
record data
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810877030.9A
Other languages
English (en)
Other versions
CN109033404B (zh
Inventor
章淼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201810877030.9A priority Critical patent/CN109033404B/zh
Publication of CN109033404A publication Critical patent/CN109033404A/zh
Priority to US16/505,284 priority patent/US11188443B2/en
Application granted granted Critical
Publication of CN109033404B publication Critical patent/CN109033404B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3438—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment monitoring of user actions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3452—Performance evaluation by statistical analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/875—Monitoring of systems including the internet

Abstract

本申请实施例公开了日志数据处理方法、装置和系统。该方法的一具体实施方式包括：获取预设时间段内基于日志生成的多条待处理日志数据，其中，待处理日志数据包括多个属性以及预设指标；确定多个属性值组；对于每一个属性值组，根据具有该属性值组的每一属性值的多条待处理日志数据分别指示的预设指标的指标值，确定出具有该属性值组的每一个属性值的日志的预设指标的指标统计值；根据多个属性值组分别对应的预设指标的指标统计值，生成日志数据汇聚表。当将日志数据汇聚表进行传输以对预设时间段内的日志进一步进行统计分析时，可以减少所占用的带宽资源。有利于提高数据传输效率。

Description

日志数据处理方法、装置和系统
技术领域
本申请实施例涉及计算机技术领域，具体涉及互联网技术领域，尤其涉及日志数据处理方法、装置和系统。
背景技术
Web日志，可以包括但不限于各种前端Web服务器等产生的用户访问日志。
每条用户访问日志通常代表用户的一次访问行为。从一条用户访问日志中可以得到很多有用的信息，例如访问者的IP、访问的时间、访问的目标网页、来源的地址等。因此，用户访问日志中包含了大量人们会感兴趣额信息，例如，我们可以从中获取网站每类页面的页面访问量等等。
一种常用的日志分析方式是，将一定时间段(例如1分钟)内的用户访问日志汇总计算，生成多维数据表。
现有的多维数据表的方式是将所有提供信息服务的信息节点生成的用户访问日志，通过消息队列，发送到日志汇聚服务器做汇聚计算。
发明内容
本申请实施例提出了一种日志数据处理方法、装置和系统。
第一方面，本申请实施例提供了一种日志数据处理方法，该方法包括：获取预设时间段内基于日志生成的多条待处理日志数据，其中，待处理日志数据包括多个属性以及预设指标；确定多个属性值组，其中，每一属性值组包括至少两个属性值，每一个属性值组中的各属性值所对应的属性不相同；对于每一个属性值组，根据具有该属性值组的每一属性值的多条待处理日志数据分别指示的预设指标的指标值，确定出具有该属性值组的每一个属性值的预设指标的指标统计值；根据多个属性值组分别对应的预设指标的指标统计值，生成日志数据汇聚表。
在一些实施例中，待处理日志数据为日志；以及获取预设时间段内基于日志生成的多条待处理日志数据，包括：获取预设时间段内本地生成的多个日志；以及对于每一个属性值组，根据具有该属性值组的每一属性值的多条待处理日志数据分别指示的预设指标的指标值，确定出具有该属性值组的每一个属性值的日志的预设指标的指标统计值，包括：将具有该属性值组的每一个属性值的日志所指示的预设指标的指标值进行累加，得到具有该属性值组的每一个属性值的日志的预设指标的指标统计值。
在一些实施例中，每条待处理日志数据包括预设第一属性值组，以及预设指标的指标值；以及确定多个属性值组，包括：从多条待处理日志数据分别对应的预设第一属性值组中确定出多个属性值组；以及对于每一个属性值组，根据具有该属性值组的每一属性值的多条待处理日志数据分别指示的预设指标的指标值，确定出具有该属性值组的每一个属性值的日志的预设指标的指标统计值，包括：确定出具有该属性值组的每一属性值的多条待处理日志数据；将具有该属性值组的每一属性值的多条待处理日志数据各自指示的预设指标的指标值进行累加，得到具有该属性值组的每一个属性值的日志的预设指标的指标统计值。
在一些实施例中，从多个属性中确定出多个属性子组；对于每一个属性子组中的每一个属性，从日志数据汇聚表确定出该属性的多个属性值；基于该属性子组的每一个属性的多个属性值，确定属于该属性子组的多个属性值子组；对于每一个属性值子组，基于日志数据汇聚表确定出该属性值子组对应的预设指标的指标统计值；根据多个属性值子组分别对应的预设指标的指标统计值，生成对应该属性子组的日志数据汇聚子表。
第二方面，本申请实施例提供了一种日志数据处理装置，该装置包括：获取单元，被配置成获取预设时间段内基于日志生成的多条待处理日志数据，其中，待处理日志数据包括多个属性以及预设指标；第一确定单元，被配置成确定多个属性值组，其中，每一属性值组包括至少两个属性值，每一个属性值组中的各属性值所对应的属性不相同；第二确定单元，被配置成对于每一个属性值组，根据具有该属性值组的每一属性值的多条待处理日志数据分别指示的设指标的指标值，确定出具有该属性值组的每一个属性值的预设指标的指标统计值；第一生成单元，被配置成根据多个属性值组分别对应的预设指标的指标统计值，生成日志数据汇聚表。
在一些实施例中，待处理日志数据为日志；以及获取单元进一步被配置成：获取预设时间段内本地生成的多个日志；以及第二确定单元进一步被配置成：对于每一个属性值组，将具有该属性值组的每一个属性值的日志所指示的预设指标的指标值进行累加，得到具有该属性值组的每一个属性值的日志的预设指标的指标统计值；以及第一生成单元进一步被配置成：根据多个属性值组分别对应的预设指标的指标统计值，生成日志数据汇聚表。
在一些实施例中，每条待处理日志数据包括预设第一属性值组，以及预设指标的指标值；第一确定单元进一步被配置成：从多条待处理日志数据分别对应的预设第一属性值组中确定出多个属性值组；以及第二确定单元进一步被配置成：对于每一个属性值组，确定出具有该属性值组的每一属性值的多条待处理日志数据；将具有该属性值组的每一属性值的多条待处理日志数据各自指示的预设指标的指标值进行累加，得到具有该属性值组的每一个属性值的日志的预设指标的指标统计值。
在一些实施例中，该装置还包括第二生成单元，第二生成单元被配置成：从多个属性中确定出多个属性子组；对于每一个属性子组中的每一个属性，从日志数据汇聚表确定出该属性的多个属性值；基于该属性子组的每一个属性的多个属性值，确定属于该属性子组的多个属性值子组；对于每一个属性值子组，基于日志数据汇聚表确定出该属性值子组对应的预设指标的指标统计值；根据多个属性值子组分别对应的用预设指标的指标统计值，生成对应该属性子组的日志数据汇聚子表。
第三方面，本申请实施例提供了一种日志数据处理系统，包括：包括信息服务节点，其中，信息服务节点用于：获取预设时间段内的多条待处理日志数据，待处理日志数据包括多个属性以及预设指标，待处理日志数据为信息节点本地生成的日志；确定多个属性值组，其中，每一属性值组包括至少两个属性值，每一个属性值组中的各属性值所对应的属性不相同；对于每一个属性值组，根据具有该属性值组的每一属性值的多条待处理日志数据分别指示的预设指标的指标值，确定出具有该属性值组的每一个属性值的日志的预设指标的指标统计值；根据多个属性值组分别对应的预设指标的指标统计值，生成日志数据汇聚表，日志数据汇聚表包括多个属性值组分别对应的预设指标的指标统计值。
在一些实施例中，该系统还包括一级汇聚节点，一级汇聚节点用于：获取预设时间段内的多条待处理日志数据，待处理日志数据包括多个属性以及预设指标，多条待处理日志数据存储于由不同信息服务节点分别对本地多个日志经过处理得到的本地日志数据汇聚表中；每条待处理日志数据包括预设第一属性值组，以及预设指标的指标值；确定多个属性值组，其中，每一属性值组包括至少两个属性值，每一个属性值组中的各属性值所对应的属性不相同；上述确定多个属性值组包括从多条待处理日志数据分别对应的预设第一属性值组中确定出多个属性值组；对于每一个属性值组，根据具有该属性值组的每一属性值的多条待处理日志数据分别指示的预设指标的指标值，确定出具有该属性值组的每一个属性值的日志的预设指标的指标统计值；根据多个属性值组分别对应的预设指标的指标统计值，生成日志数据汇聚表，日志数据汇聚表包括多个属性值组分别对应的预设指标的指标统计值。
在一些实施例中，该系统还包括二级汇聚节点，二级汇聚节点用于：获取预设时间段内的多条待处理日志数据，待处理日志数据包括多个属性以及预设指标；其中待处理日志数据存储于由一级汇聚节点对从多个信息服务节点获取的本地日志数据汇聚表进行统计得到的一级日志数据汇聚表中；每条待处理日志数据包括预设第一属性值组，以及预设指标的指标值；确定多个属性值组，其中，每一属性值组包括至少两个属性值，每一个属性值组中的各属性值所对应的属性不相同；上述确定多个属性值组包括从多条待处理日志数据分别对应的预设第一属性值组中确定出多个属性值组；对于每一个属性值组，根据具有该属性值组的每一属性值的多条待处理日志数据分别指示的预设指标的指标值，确定出具有该属性值组的每一个属性值的日志的预设指标的指标统计值；根据多个属性值组分别对应的预设指标的指标统计值，生成日志数据汇聚表，日志数据汇聚表包括多个属性值组分别对应的预设指标的指标统计值。
在一些实施例中，上述二级汇聚节点进一步用于：从多个属性中确定出多个属性子组；对于每一个属性子组中的每一个属性，从日志数据汇聚表确定出该属性的多个属性值；基于该属性子组的每一个属性的多个属性值，确定属于该属性子组的多个属性值子组；对于每一个属性值子组，基于日志数据汇聚表确定出该属性值子组对应的预设指标的指标统计值；根据多个属性值子组分别对应的预设指标的指标统计值，生成对应该属性子组的日志数据汇聚子表。
第四方面，本申请实施例提供了一种电子设备，该电子设备包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器实现如第一方面中任一实现方式描述的方法。
第五方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
本申请实施例提供的日志数据处理方法、装置和系统，通过获取预设时间段内基于日志生成的多条待处理日志数据，其中，待处理日志数据包括多个属性以及预设属性；确定多个属性值组，其中，每一属性值组包括至少两个属性值，每一个属性值组中的各属性值所对应的属性不相同；对于每一个属性值组，根据具有该属性值组的每一属性值的多条待处理日志数据分别指示的预设指标的指标值，确定出具有该属性值组的每一个属性值的日志的预设指标的指标统计值；根据多个属性值组分别对应的预设指标的指标统计值，生成日志数据汇聚表。当将本地日志数据汇聚表进行传输以对预设时间段内的日志进一步进行统计分析时，可以减少所占用的带宽资源。有利于提高数据传输效率。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请的一个实施例的日志数据处理方法可以应用于其中的示例性系统架构图；
图2是根据本申请的日志数据处理方法的一个实施例的流程图；
图3是根据本申请的日志数据处理方法的一个应用场景的示意图；
图4是根据本申请的日志数据处理方法的又一个实施例的流程图；
图5是根据本申请的日志数据处理方法的又一个实施例的流程图；
图6是根据本申请的日志数据处理装置的一个实施例的结构示意图；
图7是根据本申请的日志数据处理系统的一个实施例的示意图；
图8是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了本申请的一个实施例的日志数据处理方法可以应用于其中的示例性系统架构日志数据处理方法日志数据处理装置100。
如图1所示，系统架构100可以包括终端设备1001、1002，信息服务节点1004、1005、1006，一级汇聚节点1008、1009，二级汇聚节点1011，网络1003、1007和1010。网络1003用以在终端设备101、102、103和信息服务节点1004、1005、1006之间提供通信链路的介质。网络1007用以在信息服务节点1004、1005、1006和一级汇聚节点1008、1009之间提供通信链路的介质。网络1010用以在一级汇聚节点1008、1009和二级汇聚节点1011之间提供通信链路的介质。网络1003、1007、1010可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备1001、1002通过网络1003与信息服务节点1004、1005、1006交互，以接收或发送消息等。终端设备1001、1002上可以安装有各种客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
信息服务节点1004、1005、1006可以提供各种服务，例如接收终端设备1001、1002的访问请求，向终端设备返回访问请求对应的信息等。信息服务节点1004、1005、1006可以根据用户通过终端设备1001、1002的访问生成用户访问日志，并可以对预设时间段内本地的用户访问日志进行汇聚，并将汇聚生成的数据通过网络1007发送给一级汇聚节点1008、1009。
一级汇聚节点1008、1009可以提供各种服务，例如接收信息服务节点1004、1005、1006发送的经过信息服务节点1004、1005、1006各自对其上的用户访问日志进行汇聚后的数据，然后对上述数据进行汇聚，生成一级汇聚数据，并将一级汇聚数据通过网络1010发送给二级汇聚节点1011。
二级汇聚节点1011可以提供各种服务，例如接收一级汇聚节1008、1009发送的一级汇聚数据，并对一级汇聚数据进行分析处理，得到预设时间段内的日志数据汇聚表。
需要说明的是，本申请实施例所提供的日志数据处理方法可以通过信息服务节点1004、1005、1006执行，也可以通过一级汇聚节点1008、1009执行，还可以通过二级汇聚节点1011执行。本申请对此不做限定。
需要说明的是，信息服务节点可以是硬件，也可以是软件。当信息服务节点为硬件时，可以实现成多个信息服务节点组成的分布式信息服务节点集群，也可以实现成单个信息服务节点。当信息服务节点为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
需要说明的是，一级汇聚节点可以是硬件，也可以是软件。当一级汇聚节点为硬件时，可以实现成多个一级汇聚节点组成的分布式一级汇聚节点集群，也可以实现成单个一级汇聚节点。当一级汇聚节点为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
需要说明的是，二级汇聚节点可以是硬件，也可以是软件。当二级汇聚节点为硬件时，可以实现成多个二级汇聚节点组成的分布式二级汇聚节点集群，也可以实现成单个二级汇聚节点。当二级汇聚节点为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
应该理解，图1中的终端设备、网络、信息服务节点、一级汇聚节点、二级汇聚节点的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络、信息服务节点、一级汇聚节点、二级汇聚节点。
继续参考图2，其示出了根据本申请的日志数据处理方法的一个实施例的流程200。该日志数据处理方法，包括以下步骤：
步骤201，获取预设时间段内基于日志生成的多条待处理日志数据，其中，待处理日志数据包括多个属性以及预设指标。
网络设备、系统及服务程序等，在运作时都会产生一个叫日志的事件记录。每一行日志都记载着日期、时间、使用者及动作等相关操作的描述。
本申请中的日志可以是各种日志，例如应用程序日志、安全日志、系统日志、用户访问日志等。下面以用户访问日志为例进行说明。
在本实施例中，日志数据处理方法的执行主体，可以通过各种方法来获取基于用户访问日志生成的多条待处理日志数据。
在本实施例中，上述执行主体可以是图1所示的信息服务节点、一级汇聚节点、二级汇聚节点。
通常，用户在访问网络以获取信息时，在向用户提供信息的服务器(如图1所示的信息服务节点)中会生成用户访问日志。在用户访问日志中可以包括用户来源、日志所对应的服务类型、信息服务响应结果等信息。可以将上述用户来源、日志所对应的服务类型、信息服务响应结果等作为用户访问日志的属性。这样一来，用户访问日志可以包括多个属性。
此外，上述用户访问日志中还可以包括预设指标，这里的预设指标例如可以为用户访问日志的数量、用户访问日志对应的时延等。
在本实施例的一些可选的实现方式中，上述多条待处理日志数据即为日志。也就是说上述多条待处理日志数据可以为上述信息服务节点在预设时间段内所生成的日志。上述日志可以是用户访问日志。
在本这些可选的实现方式中，日志数据处理方法的执行主体例如可以是图1所示的信息服务节点。上述执行主体可以从本地获取预设时间段内由用户在不同客户端访问本地提供的数据服务而生成的多个用户访问日志。可以理解的是，这里的用户的数量可以包括多个。
在一些应用场景中，上述多条用户访问日志可以存储在预设数据库中。上述执行主体可以在上述预设数据库中提取预设时间段内的多条用户访问日志。
在一些应用场景中，上述多条用户访问日志可以存储于用户访问日志文件中。上述执行主体可以在上述文件中对预设时间段内的用户访问日志进行逐条提取，从而提取出多条用户访问日志。
步骤202，确定多个属性值组，其中，每一属性值组包括至少两个属性值，每一个属性值组中的各属性值所对应的属性不相同。
在本实施例中，基于步骤201中得到多条待处理日志数据，上述执行主体(例如图1所示的信息服务节点)可以首先获取每一条用户访问日志各属性对应的属性值；之后再利用各种分析手段从各条用户访问日志各属性分别对应的属性值中确定出多个属性值组。其中，每一个属性值组可以包括至少两个属性值，每一个属性值组中各属性值所对应的属性不相同。
这里的属性值可以是一个属性的具体取值。例如移动通信供应商A可以是用户访问日志的用户来源属性的一个取值。
在本实施例中，上述各属性值组中所包括的属性值的数量可以相等。
上述属性值组中各属性值所对应的属性可以是预先从用户访问日志的多个属性各自对应的属性值中选取的。
步骤203，对于每一个属性值组，根据具有该属性值组的每一属性值的多条待处理日志数据分别指示的预设指标的指标值，确定出具有该属性值组的每一个属性值的日志的预设指标的指标统计值。
在本实施例中，对于每一个属性值组，日志数据处理方法的执行主体可以首先确定出具有该属性值组的每一属性值的多条待处理日志数据。然后确定每一条待处理日志数据所指示的预设指标的指标值。
在本实施例中，每一条待处理日志数据即为用户访问日志。若预设指标为用户访问日志数量，每一条待处理日志数据所指示的用户访问日志的数量为1。可以根据每一条待处理日志数据所指示的用户访问日志的数量确定出具有该属性值组的每一属性值的用户访问日志的数量。
具体地，对于每一个属性值组，上述执行主体可以对具有该属性值组的每一属性值的用户访问日志的数量进行统计，从而可以确定出具有该属性值组的每一属性值的用户访问日志的数量。
通过上述方法，可以得到各属性值组分别对应的用户访问日志的数量。
若预设指标为用户访问日志对应的时延，则可以将各个具有该属性值组中每一属性值的用户日志所指示的具体的时延值(例如10微秒、20微秒)进行累加，得到具有该属性值组每一属性值的用户日志的预设指标的指标统计值。
步骤204，根据多个属性值组分别对应的预设指标的指标统计值，生成日志数据汇聚表。
在本实施例中，上述执行主体可以根据每一个属性值组分别对应的预设指标的指标统计值，生成日志数据汇聚表。
在上述日志数据汇聚表中，可以包括多个属性值组，以及与每一个属性值组对应的预设指标的指标统计值。
继续参见图3，图3是根据本实施例的日志数据处理方法的应用场景的一个示意图300。在图3的应用场景中，信息服务节点301可以首先在本地获取预设时间段内由用户在不同客户端访问本地提供的数据服务而生成的多个用户访问日志302，其中，每一个用户访问日志可以包括多个属性以及预设指标。信息服务节点301可以从每一个用户访问日志的多个属性分别对应的属性值中确定出多个属性值组303。其中，每一个属性值组包括至少两个属性值，且同一属性值组中的各属性值所对应的属性不相同。然后，对于每一个属性值组，上述信息服务节点301可以根据具有该属性值组的每一属性值的多条待处理日志数据分别指示的预设指标的指标值，确定出具有该属性值组的每一个属性值的预设指标的指标统计值304。最后，上述信息服务节点301根据多个属性值组分别对应的预设指标的指标统计值，生成日志数据汇聚表305。
本申请的上述实施例提供的方法通过将本地的预设时间内的多条日志根据多个属性值组进行汇聚，从而生成了本地日志数据汇聚表。当将本地日志数据汇聚表进行传输以对预设时间段内的日志进一步进行统计分析时，可以减少数据传输所占用的带宽资源。有利于提高数据传输效率。
进一步参考图4，其示出了日志数据处理方法的另一个实施例的流程400。该日志数据处理方法的流程400，包括以下步骤：
步骤401，获取预设时间段内基于日志生成的多条待处理日志数据，其中，待处理日志数据包括多个属性以及预设指标。
在本实施例中，上述执行主体可以通过各种方式获取预设时间段内基于用户访问日志生成的多条待处理日志数据。
在本实施例中，上述执行主体可以是图1所示的一级汇聚节点、二级汇聚节点。
在本实施例中，每一条待处理日志数据可以包括预设第一属性值组，以及具有预设第一属性值组中各属性值的用户访问日志的预设指标的指标值。
第一预设属性值组中的每一个属性值可以对应一个属性。这的属性例如可以是：用户来源、日志所对应的服务类型等。属性值例如可以是上述属性的具体取值。属性“用户来源”的属性值例如可以是移动通信供应商A、移动通信供应商B等。
在本实施例的一些可选的实现方式中，上述待处理日志数据可以存储于信息服务节点根据图2所示实施例的各步骤所生成的日志数据汇聚表中。在本实施例中，可认为信息服务节点所生成的日志数据汇聚表为信息服务节点的本地日志数据汇聚表。
在这些可选的实现方式中，日志数据处理方法的执行主体(例如图1所示的一级汇聚节点)可以通过有线连接方式或者无线连接方式从多个信息服务节点各自的本地日志数据汇聚表中获取多条待处理日志数据。
也就是说，上述多条待处理日志数据可以存储于不同信息服务节点分别根据图2所示实施例的各步骤所生成的本地日志数据汇聚表中。
在这些可选的实现方式中，每一条待处理日志数据的第一预设属性值组可以是该条待处理日志数据所在本地日志数据汇聚表中的与该条待处理日志数据对应的属性值组。
步骤402，确定多个属性值组，其中，每一属性值组包括至少两个属性值，每一个属性值组中的各属性值所对应的属性不相同。
在本实施例中，上述执行主体可以从多条待处理日志数据分别对应的预设第一属性值组中确定出多个属性值组。
例如，从上述多条待处理日志数据对应的预设第一属性值组抽取出所对应的各属性值不完全相同的多个预设第一属性值组。并将所抽取的多个预设第一属性值组确定为本实施例所需的多个属性值组。其中，每一个属性值组可以包括至少两个属性值，每一个属性值组中的各属性值所对应的属性可以不相同。
步骤403，对于每一个属性值组，根据具有该属性值组的每一属性值的多条待处理日志数据分别指示的预设指标的指标值，确定出具有该属性值组的每一个属性值的日志的预设指标的指标统计值。
在本实施例中，上述待处理日志数据是从信息服务节点的本地日志数据汇聚表中获得的，上述每一条待处理日志数据所指示的用户访问日志的预设指标的指标值是由信息服务节点对本地的用户访问日志进行分析得到的。上述每一条待处理日志数据所指示的用户访问日志的预设指标的指标值可以为任意正整数。
在本实施例中，对于每一属性值组，上述执行主体可以在上述多条待处理日志数据中确定出具有该属性值组的每一属性值的多条待处理日志数据。然后将具有该属性值组的每一属性值的多条待处理日志数据各自指示的预设指标的指标值的数量进行累加，得到该属性值组对应的预设指标的指标统计值。
也就是说，对于每一个属性值组，上述执行主体可以对具有该属性值组的每一属性值的多条待处理日志数据分别指示的预设指标的指标值进行累加，得到具有该属性值组的每一属性值的日志的预设指标的指标统计值。
步骤404，根据多个属性值组分别对应的预设指标的指标统计值，生成日志数据汇聚表。
在本实施例中，上述步骤404与图2所示的步骤204相同，此处不赘述。
从图4中可以看出，与图2对应的实施例相比，本实施例中的日志数据处理方法的流程400突出了所获取的多条待处理日志数据包括预设第一属性值组，以及预设指标的指标值，进一步地，上述多条待处理日志数据可以存储于信息服务节点的本地日志数据汇聚表中。由此，本实施例描述的方案可以降低上述执行主体在生成日志数据汇聚表时的计算量，从而可以改善因为在对从不同信息服务节点获得日志进行汇聚生成日志数据汇聚表时，由于计算量过大引起的单台设备性能瓶颈的问题。此外，还可以减少由信息服务节点向一级汇聚节点传输数据时所占用的网络资源。
进一步参考图5，其示出了日志数据处理方法的又一个实施例的流程500。该日志数据处理方法的流程500，包括以下步骤：
步骤501，获取预设时间段内基于日志生成的多条待处理日志数据，其中，待处理日志数据包括多个属性以及预设指标。
在本实施例中，上述执行主体可以通过各种途径获取预设时间段内基于用户访问日志生成的多条待处理日志数据。其中，上述待处理日志数据可以包括多个属性以及预设指标。
在本实施例中，上述执行主体可以是图1所示的二级汇聚节点。
上述待处理日志数据可以包括预设第一属性值组，这里的预设第一属性值组可以包括多个属性值。每一个属性值可以对应一个属性。这里的属性例如可以为日志所对应的服务类型、用户来源、信息服务响应结果等。一个属性的属性值可以是该属性的取值。例如对于属性“用户来源”，该属性的取值可以是移动通信供应商A、移动通信供应商B、移动通信供应商C等。这里的日志所对应的服务类型是指的用户通过访问信息服务节点所获取的信息所对应的类型。例如，用户从信息服务节点获取新闻资讯时所生成的日志的属性“日志所对应的服务类型”可以的取值可以为新闻。
在本实施例的一些可选的实现方式中，上述待处理的日志数据可以存储在一级汇聚节点根据图4所示实施例的各步骤得到的日志汇集表中。在这里，可以将一级汇聚节点所生成的日志数据汇聚表视为一级日志数据汇聚表。
在本实施例的一些可选的实现方式中，上执行主体(例如图1所示的二级汇聚节点)可以从多个一级汇聚节点获取上述多条待处理日志数据。例如上述执行主体可以从每一个一级汇聚节点中获取该一级汇聚节点生成的一级日志数据汇聚表中的各条数据作为待处理日志数据。
在这些可选的实现方式中，每一条待处理日志数据的第一预设属性值组可以是该条待处理日志数据所在一级日志数据汇聚表中的与该条待处理日志数据对应的属性值组。
步骤502，确定多个属性值组，其中，每一属性值组包括至少两个属性值，每一个属性值组中的各属性值所对应的属性不相同。
在本实施例中，上述步骤502与图4所示的步骤402相同，此处不赘述。
步骤503，对于每一个属性值组，根据具有该属性值组的每一属性值的多条待处理日志数据分别指示的预设指标的指标值，确定出具有该属性值组的每一个属性值的日志的预设指标的指标统计值。
在本实施例中，上述待处理日志数据可以是从一级汇聚节点所生成的一级日志数据汇聚表中获得的。上述每一条待处理日志数据所指示的预设指标的指标值可以为大于等于1的正整数。
对于每一个属性值组，上述执行主体可以首先确定出具有该属性值组的每一属性值的多条待处理日志数据，然后对具有该属性值组的每一属性值的多条待处理日志数据各自指示的预设指标的指标值进行累加，得到具有该属性值组的每一属性值的用户访问日志预设指标的指标统计值。
步骤504，根据多个属性值组分别对应的预设指标的指标统计值，生成日志数据汇聚表。
在本实施例中，步骤504与图2所示的步骤204以及图4所示的步骤404相同，此处不赘述。
在本实施例中，由于上述执行主体从一级汇聚节点所生成的一级日志数据汇聚表中获取多条待处理日志数据，因此上述执行主体所执行的计算量较少。
在本实施例中，信息服务节点可以获取其上的预设时间段内的多个日志，按照图2所示实施例所示的步骤生成信息服务节点的本地日志数据汇聚表。一级汇聚节点从多个信息服务节点各自的本地日志数据汇聚表中获取预设时间段内的多条待处理日志数据，然后根据图4所示实施例生成一级日志数据汇聚表。二级汇聚节点可以从多个一级汇聚节点获取多个一级汇聚节点各自的一级日志数据汇聚表中获取预设时间段内的多条待处理日志数据，然后根据图5所示的步骤502-504生成最终的日志数据汇聚表，在上述生成最终的日志数据汇聚表的过程中，将对多个日志的汇聚计算分布在了信息服务节点、一级汇聚节点和二级汇聚节点中，因此，在生成最终的日志数据汇聚表的过程中，不会存在单台设备由于计算量过大而引起性能瓶颈问题。此外，在生成日志数据汇聚表所涉及的数据传输的过程中，所传输的数据量较小，从而不会引起网络资源占用过大引起的网络堵塞。
步骤505，从多个属性中确定出多个属性子组。
在本实施例中，上述执行主体可以对待处理日志数据的多个属性进行拆分，从而拆分出多个属性子组。上述属性子组所包括的属性的数量可以小于待处理日志数据的属性值组中的属性值的数量。
例如，待处理日志数据对应三个属性:用户来源、日志所对应的服务类型、信息服务响应结果，上述执行主体可以将上述三个属性拆分出包括两个属性的三个属性子组和包括一个属性的三个属性子组。其中，包括两个属性的属性子组为：日志所对应的服务类型、用户来源；日志所对应的服务类型、信息服务响应结果；用户来源、信息服务响应结果。包括一个属性的属性子组可以为：日志所对应的服务类型；用户来源；信息服务响应结果。
步骤506，对于每一个属性子组中的每一个属性，从日志数据汇聚表确定出该属性的多个属性值。
在本实施例中，对于每一个属性子组中的每一个属性，上述执行主体可以从在步骤504中得到的日志数据汇聚表中确定出该属性的多个属性值。
例如属性“用户来源”，如果日志数据汇聚表中多条日志数据对应该属性的属性值为移动通信供应商A；多条日志数据对应该属性的属性值为移动通信供应商B；多条日志数据对应该属性的属性值为移动通信供应商C等，上述执行主体可以将移动通信供应商A、移动通信供应商B、移动通信供应商C等作为从该日志数据汇聚表中确定出的属性“用户来源”的多个属性值。
这样一来，对于每一个属性子组中的各个属性所对应的多个属性值。
步骤507，基于该属性子组的每一个属性的多个属性值，确定属于该属性子组的多个属性值子组。
对于每一个属性子组，上述执行主体可以根据该属性子组的每一个属性的多个属性值，确定属于该属性子组的多个属性值子组。
具体地，若该属性子组中的属性的数量大于1时，可以将该属性子组各属性分别对应的多个属性值进行组合，从而确定出属于该属性子组的多个属性值子组。例如，属性子组A包括属性“日志所对应的服务类型”和“用户来源”。其中，属性“日志所对应的服务类型”的属性值包括AA、BB；属性“用户来源”的属性值包括：CC、DD、EE。上述执行主体将上述AA、BB与CC、DD、EE进行组合，得到属于属性子组A的多个属性值子组：AA、CC；AA、DD；AA、EE；BB、CC；BB、DD；BB、EE。
步骤508，对于每一个属性值子组，基于日志数据汇聚表确定出该属性值子组对应的预设指标的指标统计值。
上述执行主体可以将上述步骤504中生成的日志数据汇聚表中具有上述属性值子组的每一个属性值的多条日志数据分别指示的预设指标的指标值进行累加，得到具有该属性值子组的每一个属性值的预设指标的指标统计值。
步骤509，根据多个属性值子组分别对应的预设指标的指标统计值，生成对应该属性子组的日志数据汇聚子表。
对于该属性子组，可以根据对应该属性子组的多个属性值子组分别对应的预设指标的指标统计值，生成对应该属性子组的日志数据汇聚子表。该日志数据汇聚子表中，可以包括该属性子组对应的多个属性值子组，以及各属性值子组分别对应的预设指标的指标统计值。
从图5中可以看出，与图4对应的实施例相比，本实施例中的日志数据处理方法的流程500突出了从图4所示实施例所生成的一级日志数据汇聚表中获取多条待处理日志数据，生成最终的日志数据汇聚表的步骤。由此，本实施例描述的方案可以进一步降低在生成日志数据汇聚表时在单台设备上的计算量，可以进一步提高生成日志数据汇聚表的效率。此外，该流程500还突出了将多个属性分为多个属性子组，确定每一个属性子组所对应的多个属性值子组分别对应的预设指标的指标统计值生成对应该属性子组的日志汇聚子表的步骤，因此，本实施例所提供的日志分析数据更加全面。
进一步参考图6，作为对上述各图所示方法的实现，本申请提供了一种日志数据处理装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图6所示，本实施例的日志数据处理装置600包括：获取单元601、第一确定单元602、第二确定单元603和第一生成单元604。其中，获取单元601，被配置成获取预设时间段内基于日志生成的多条待处理日志数据，其中，待处理日志数据包括多个属性以及预设指标；第一确定单元602，被配置成确定多个属性值组，其中，每一属性值组包括至少两个属性值，每一个属性值组中的各属性值所对应的属性不相同；第二确定单元603，被配置成对于每一个属性值组，根据具有该属性值组的每一属性值的多条待处理日志数据分别指示的预设指标的指标值，确定出具有该属性值组的每一个属性值的日志的预设指标的指标统计值；第一生成单元604，被配置成根据多个属性值组分别对应的预设指标的指标统计值，生成日志数据汇聚表。
在本实施例中，日志数据处理装置600的获取单元601、第一确定单元602、第二确定单元603和第一生成单元604的具体处理及其所带来的技术效果可分别参考图2对应实施例中步骤201、步骤202、步骤203和步骤204的相关说明，在此不再赘述。
在本实施例的一些可选的实现方式中，待处理日志数据为日志；以及获取单元601进一步被配置成：获取预设时间段内本地生成的多个日志；以及第二确定单元603进一步被配置成：对于每一个属性值组，将具有该属性值组的每一个属性值的日志所指示的预设指标的指标值进行累加，得到具有该属性值组的每一个属性值的日志的预设指标的指标统计值。
在本实施例的一些可选的实现方式中，每条待处理日志数据包括预设第一属性值组，以及预设指标的指标值；第一确定单元602进一步被配置成从多条待处理日志数据分别对应的预设第一属性值组中确定出多个属性值组；以及第二确定单元603进一步被配置成对于每一个属性值组，确定出具有该属性值组的每一属性值的多条待处理日志数据；将具有该属性值组的每一属性值的多条待处理日志数据各自指示的预设指标的指标值进行累加，得到具有该属性值组的每一个属性值的日志的预设指标的指标统计值。
在本实施例的一些可选的实现方式中，还包括第二生成单元(图中未示出)，第二生成单元被配置成：从多个属性中确定出多个属性子组；对于每一个属性子组中的每一个属性，从日志数据汇聚表确定出该属性的多个属性值；基于该属性子组的每一个属性的多个属性值，确定属于该属性子组的多个属性值子组；对于每一个属性值子组，基于日志数据汇聚表确定出该属性值子组对应的预设指标的指标统计值；根据多个属性值子组分别对应的预设指标的指标统计值，生成对应该属性子组的日志数据汇聚子表。
请参考图7，图7示出了根据本申请的日志数据处理系统的一个实施例的示意图。
如图7所示，日志处理系统700包括多个信息服务节点701。每一信息服务节点701用于：获取预设时间段内的多条待处理日志数据，待处理日志数据包括多个属性以及预设指标，待处理日志数据为信息服务节点本地生成的日志；确定多个属性值组，其中，每一属性值组包括至少两个属性值，每一个属性值组中的各属性值所对应的属性不相同；对于每一个属性值组，根据具有该属性值组的每一属性值的多条待处理日志数据分别指示的预设指标的指标值，确定出具有该属性值组的每一个属性值的日志的预设指标的指标统计值；根据多个属性值组分别对应的预设指标的指标统计值，生成日志数据汇聚表，日志数据汇聚表包括多个属性值组分别对应的预设指标的指标统计值。
信息服务节点701的生成上述日志数据汇聚表的过程及其所带来的技术效果的详细说明可以参考图2所示实施例的说明，此处不赘述。
在本实施例的一些可选的实现方式中，日志处理系统700还包括多个一级汇聚节点702，一级汇聚节点702用于：获取预设时间段内的多条待处理日志数据，待处理日志数据包括多个属性以及预设指标，多条待处理日志数据存储于由不同信息服务节点分别对本地多个日志经过处理得到的本地日志数据汇聚表中；每条待处理日志数据包括预设第一属性值组，以及预设指标的指标值；确定多个属性值组，其中，每一属性值组包括至少两个属性值，每一个属性值组中的各属性值所对应的属性不相同；确定多个属性值组包括从多条待处理日志数据分别对应的预设第一属性值组中确定出多个属性值组；对于每一个属性值组，根据具有该属性值组的每一属性值的多条待处理日志数据分别指示的预设指标的指标值，确定出具有该属性值组的每一个属性值的日志的预设指标的指标统计值；根据多个属性值组分别对应的预设指标的指标统计值，生成日志数据汇聚表，日志数据汇聚表包括多个属性值组分别对应的预设指标的指标统计值。
一级汇聚节点702的生成上述日志数据汇聚表的过程及其所带来的技术效果的详细说明可以参考图4所示实施例的说明，此处不赘述。
在本实施例的一些可选的实现方式中，日志处理系统700还包括二级汇聚节点703，二级汇聚节点703用于：获取预设时间段内的多条待处理日志数据，待处理日志数据包括多个属性以及预设指标；其中待处理日志数据存储于由一级汇聚节点对从多个信息服务节点获取的本地日志数据汇聚表进行统计得到的一级日志数据汇聚表中；每条待处理日志数据包括预设第一属性值组，以及预设指标的指标值；确定多个属性值组，其中，每一属性值组包括至少两个属性值，每一个属性值组中的各属性值所对应的属性不相同；确定多个属性值组包括从多条待处理日志数据分别对应的预设第一属性值组中确定出多个属性值组；对于每一个属性值组，根据具有该属性值组的每一属性值的多条待处理日志数据分别指示的预设指标的指标值，确定出具有该属性值组的每一个属性值的日志的预设指标的指标统计值；根据多个属性值组分别对应的预设指标的指标统计值，生成日志数据汇聚表，日志数据汇聚表包括多个属性值组分别对应的预设指标的指标统计值。
二级汇聚节点703的生成上述日志数据汇聚表的过程的详细说明可以参考图5所示实施例的说明，此处不赘述。
在这些可选的实现方式中，信息服务节点701可以获取其上的预设时间段内的多个日志，并对多个日志进行分析处理生成信息服务节点701的本地日志数据汇聚表。然后一级汇聚节点702从多个信息服务节点701获取多个信息服务节点701各自的本地日志数据汇聚表中获取预设时间段内的多条待处理日志数据，并对上述多条待处理日志数据进行分析处理生成一级日志数据汇聚表。二级汇聚节点703可以从多个一级汇聚节点702获取多个一级汇聚节点702各自的一级日志数据汇聚表中获取预设时间段内的多条待处理日志数据，然后对上述多条待处理日志数据进行分析处理，得到最终的日志数据汇聚表，在上述生成最终的日志数据汇聚表的过程中，将对多个日志的汇聚计算分布在了信息服务节点701、一级汇聚节点702和二级汇聚节点703中，因此，在生成最终的日志数据汇聚表的过程中，不会存在单台设备由于计算量过大而引起性能瓶颈问题。此外，在生成日志数据汇聚表所涉及的数据传输的过程中，所传输的数据量较小，从而不会引起网络资源占用过大引起的网络堵塞。
在本实施例的一些可选的实现方式中，上述二级汇聚节点703进一步用于：从多个属性中确定出多个属性子组；对于每一个属性子组中的每一个属性，从日志数据汇聚表确定出该属性的多个属性值；基于该属性子组的每一个属性的多个属性值，确定属于该属性子组的多个属性值子组；对于每一个属性值子组，基于日志数据汇聚表确定出该属性值子组对应的预设指标的指标统计值；根据多个属性值子组分别对应的预设指标的指标统计值，生成对应该属性子组的日志数据汇聚子表。
下面参考图8，其示出了适于用来实现本申请实施例的电子设备的计算机系统800的结构示意图。图8示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图8所示，计算机系统800包括中央处理单元(CPU，Central Processing Unit)801，其可以根据存储在只读存储器(ROM，Read Only Memory)802中的程序或者从存储部分806加载到随机访问存储器(RAM，Random Access Memory)803中的程序而执行各种适当的动作和处理。在RAM 803中，还存储有系统800操作所需的各种程序和数据。CPU 801、ROM802以及RAM 803通过总线804彼此相连。输入/输出(I/O，Input/Output)接口805也连接至总线804。
以下部件连接至I/O接口805：包括硬盘等的存储部分806；以及包括诸如LAN(局域网，Local Area Network)卡、调制解调器等的网络接口卡的通信部分807。通信部分807经由诸如因特网的网络执行通信处理。驱动器808也根据需要连接至I/O接口805。可拆卸介质809，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器808上，以便于从其上读出的计算机程序根据需要被安装入存储部分806。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分807从网络上被下载和安装，和/或从可拆卸介质809被安装。在该计算机程序被中央处理单元(CPU)801执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括获取单元、第一确定单元、第二确定单元和第一生成单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，获取单元还可以被描述为“获取预设时间段内基于日志生成的多条待处理日志数据的单元”。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：获取预设时间段内基于日志生成的多条待处理日志数据，其中，待处理日志数据包括多个属性以及预设指标；确定多个属性值组，其中，每一属性值组包括至少两个属性值，每一个属性值组中的各属性值所对应的属性不相同；对于每一个属性值组，根据具有该属性值组的每一属性值的多条待处理日志数据分别指示的预设指标的指标值，确定出具有该属性值组的每一个属性值的所述预设指标的指标统计值；根据多个属性值组分别对应的预设指标的指标统计值，生成日志数据汇聚表。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (14)

1.一种日志数据处理方法，包括：
获取预设时间段内基于日志生成的多条待处理日志数据，其中，所述待处理日志数据包括多个属性以及预设指标；
确定多个属性值组，其中，每一属性值组包括至少两个属性值，每一个属性值组中的各属性值所对应的属性不相同；
对于每一个属性值组，根据具有该属性值组的每一属性值的多条待处理日志数据分别指示的预设指标的指标值，确定出具有该属性值组的每一个属性值的日志的所述预设指标的指标统计值；
根据多个属性值组分别对应的预设指标的指标统计值，生成日志数据汇聚表。
2.根据权利要求1所述的方法，其中，所述待处理日志数据为日志；以及
所述获取预设时间段内基于日志生成的多条待处理日志数据，包括：
获取预设时间段内本地生成的多个日志；以及
所述对于每一个属性值组，根据具有该属性值组的每一属性值的多条待处理日志数据分别指示的预设指标的指标值，确定出具有该属性值组的每一个属性值的日志的所述预设指标的指标统计值，包括：
将具有该属性值组的每一个属性值的日志所指示的所述预设指标的指标值进行累加，得到具有该属性值组的每一个属性值的日志的所述预设指标的指标统计值。
3.根据权利要求1所述的方法，其中，每条待处理日志数据包括预设第一属性值组，以及预设指标的指标值；以及
所述确定多个属性值组，包括：从多条待处理日志数据分别对应的预设第一属性值组中确定出多个属性值组；以及
所述对于每一个属性值组，根据具有该属性值组的每一属性值的多条待处理日志数据分别指示的预设指标的指标值，确定出具有该属性值组的每一个属性值的日志的所述预设指标的指标统计值，包括：
确定出具有该属性值组的每一属性值的多条待处理日志数据；
将具有该属性值组的每一属性值的多条待处理日志数据各自指示的预设指标的指标值进行累加，得到具有该属性值组的每一个属性值的日志的所述预设指标的指标统计值。
4.根据权利要求3所述的方法，其中，所述方法还包括：
从所述多个属性中确定出多个属性子组；
对于每一个属性子组中的每一个属性，从所述日志数据汇聚表确定出该属性的多个属性值；
基于该属性子组的每一个属性的多个属性值，确定属于该属性子组的多个属性值子组；
对于每一个所述属性值子组，基于所述日志数据汇聚表确定出该属性值子组对应的预设指标的指标统计值；
根据所述多个属性值子组分别对应的预设指标的指标统计值，生成对应该属性子组的日志数据汇聚子表。
5.一种日志数据处理装置，包括：
获取单元，被配置成获取预设时间段内基于日志生成的多条待处理日志数据，其中，所述待处理日志数据包括多个属性以及预设指标；
第一确定单元，被配置成确定多个属性值组，其中，每一属性值组包括至少两个属性值，每一个属性值组中的各属性值所对应的属性不相同；
第二确定单元，被配置成对于每一个属性值组，根据具有该属性值组的每一属性值的多条待处理日志数据分别指示的预设指标的指标值，确定出具有该属性值组的每一个属性值的日志的所述预设指标的指标统计值；
第一生成单元，被配置成根据多个属性值组分别对应的预设指标的指标统计值，生成日志数据汇聚表。
6.根据权利要求5所述的装置，其中，所述待处理日志数据为日志；以及
获取单元进一步被配置成：获取预设时间段本地生成的多个日志；以及
所述第二确定单元进一步被配置成：对于每一个属性值组，将具有该属性值组的每一个属性值的日志所指示的所述预设指标的指标值进行累加，得到具有该属性值组的每一个属性值的日志的所述预设指标的指标统计值。
7.根据权利要求5所述的装置，其中，每条待处理日志数据包括预设第一属性值组，以及预设指标的指标值；
所述第一确定单元进一步被配置成：从多条待处理日志数据分别对应的预设第一属性值组中确定出多个属性值组；以及
所述第二确定单元进一步被配置成：对于每一个属性值组，确定出具有该属性值组的每一属性值的多条待处理日志数据；将具有该属性值组的每一属性值的多条待处理日志数据各自指示的预设指标的指标值进行累加，得到具有该属性值组的每一个属性值的日志的所述预设指标的指标统计值。
8.根据权利要求7所述的装置，其中，所述装置还包括第二生成单元，所述第二生成单元被配置成：
从所述多个属性中确定出多个属性子组；
对于每一个属性子组中的每一个属性，从所述日志数据汇聚表确定出该属性的多个属性值；
基于该属性子组的每一个属性的多个属性值，确定属于该属性子组的多个属性值子组；
对于每一个所述属性值子组，基于所述日志数据汇聚表确定出该属性值子组对应的预设指标的指标统计值；
根据所述多个属性值子组分别对应的预设指标的指标统计值，生成对应该属性子组的日志数据汇聚子表。
9.一种日志处理系统，包括信息服务节点，其中，所述信息服务节点用于：
获取预设时间段内的多条待处理日志数据，所述待处理日志数据包括多个属性以及预设指标，所述待处理日志数据为信息服务节点本地生成的日志；
确定多个属性值组，其中，每一属性值组包括至少两个属性值，每一个属性值组中的各属性值所对应的属性不相同；
对于每一个属性值组，根据具有该属性值组的每一属性值的多条待处理日志数据分别指示的预设指标的指标值，确定出具有该属性值组的每一个属性值的日志的所述预设指标的指标统计值；
根据多个属性值组分别对应的预设指标的指标统计值，生成日志数据汇聚表，所述日志数据汇聚表包括多个属性值组分别对应的预设指标的指标统计值。
10.根据权利要求9所述的系统，其中，所述系统还包括一级汇聚节点，所述一级汇聚节点用于：
获取预设时间段内的多条待处理日志数据，所述待处理日志数据包括多个属性以及预设指标，所述多条待处理日志数据存储于由不同信息服务节点分别对本地多个日志经过处理得到的本地日志数据汇聚表中；每条待处理日志数据包括预设第一属性值组，以及预设指标的指标值；
确定多个属性值组，其中，每一属性值组包括至少两个属性值，每一个属性值组中的各属性值所对应的属性不相同；所述确定多个属性值组包括从多条待处理日志数据分别对应的预设第一属性值组中确定出多个属性值组；
对于每一个属性值组，根据具有该属性值组的每一属性值的多条待处理日志数据分别指示的预设指标的指标值，确定出具有该属性值组的每一个属性值的日志的所述预设指标的指标统计值；
根据多个属性值组分别对应的预设指标的指标统计值，生成日志数据汇聚表，所述日志数据汇聚表包括多个属性值组分别对应的预设指标的指标统计值。
11.根据权利要求12所述的系统，其中，所述系统还包括二级汇聚节点，所述二级汇聚节点用于：
获取预设时间段内的多条待处理日志数据，所述待处理日志数据包括多个属性以及预设指标；其中所述待处理日志数据存储于由一级汇聚节点对从多个信息服务节点获取的本地日志数据汇聚表进行统计得到的一级日志数据汇聚表中；每条待处理日志数据包括预设第一属性值组，以及预设指标的指标值；
确定多个属性值组，其中，每一属性值组包括至少两个属性值，每一个属性值组中的各属性值所对应的属性不相同；所述确定多个属性值组包括从多条待处理日志数据分别对应的预设第一属性值组中确定出多个属性值组；
对于每一个属性值组，根据具有该属性值组的每一属性值的多条待处理日志数据分别指示的预设指标的指标值，确定出具有该属性值组的每一个属性值的日志的所述预设指标的指标统计值；
根据多个属性值组分别对应的预设指标的指标统计值，生成日志数据汇聚表，所述日志数据汇聚表包括多个属性值组分别对应的预设指标的指标统计值。
12.根据权利要求11所述的系统，其中，所述二级汇聚节点进一步用于：
从所述多个属性中确定出多个属性子组；
对于每一个属性子组中的每一个属性，从所述日志数据汇聚表确定出该属性的多个属性值；
基于该属性子组的每一个属性的多个属性值，确定属于该属性子组的多个属性值子组；
对于每一个所述属性值子组，基于所述日志数据汇聚表确定出该属性值子组对应的预设指标的指标统计值；
根据所述多个属性值子组分别对应的预设指标的指标统计值，生成对应该属性子组的日志数据汇聚子表。
13.一种电子设备，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-4中任一所述的方法。
14.一种计算机可读介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如权利要求1-4中任一所述的方法。
CN201810877030.9A 2018-08-03 2018-08-03 日志数据处理方法、装置和系统 Active CN109033404B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810877030.9A CN109033404B (zh) 2018-08-03 2018-08-03 日志数据处理方法、装置和系统
US16/505,284 US11188443B2 (en) 2018-08-03 2019-07-08 Method, apparatus and system for processing log data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810877030.9A CN109033404B (zh) 2018-08-03 2018-08-03 日志数据处理方法、装置和系统

Publications (2)

Publication Number Publication Date
CN109033404A true CN109033404A (zh) 2018-12-18
CN109033404B CN109033404B (zh) 2022-03-11

Family

ID=64649173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810877030.9A Active CN109033404B (zh) 2018-08-03 2018-08-03 日志数据处理方法、装置和系统

Country Status (2)

Country Link
US (1) US11188443B2 (zh)
CN (1) CN109033404B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109992569A (zh) * 2019-02-19 2019-07-09 平安科技（深圳）有限公司 集群日志特征提取方法、装置及存储介质
CN112929237A (zh) * 2021-02-26 2021-06-08 携程旅游网络技术（上海）有限公司 网站细分流量的分析方法、系统、设备和介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111522678B (zh) * 2020-04-14 2023-10-24 聚好看科技股份有限公司 故障检测方法和装置
US10877972B1 (en) * 2020-07-27 2020-12-29 Ja1, Inc. Systems and methods for high efficiency data logging
CN113590447B (zh) * 2021-08-02 2024-04-19 北京百度网讯科技有限公司 埋点处理方法和装置
CN113891174B (zh) * 2021-09-27 2023-09-29 上海哔哩哔哩科技有限公司 一种直播视频的带宽统计方法和系统

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100010986A1 (en) * 2006-08-30 2010-01-14 Keiji Icho Information presenting device, information presenting method, information presenting program, and integrated circuit
US20110119374A1 (en) * 2009-10-20 2011-05-19 Jan Matthias Ruhl Method and System for Detecting Anomalies in Time Series Data
US20130198363A1 (en) * 2012-01-27 2013-08-01 Microsoft Corporation Techniques for tracking resource usage statistics per transaction across multiple layers of protocols
CN103379136A (zh) * 2012-04-17 2013-10-30 中国移动通信集团公司 一种日志采集数据压缩方法、解压缩方法及装置
US20140149466A1 (en) * 2012-11-27 2014-05-29 Hitachi, Ltd. Time-series database setup automatic generation method, setup automatic generation system and monitoring server
US20140164379A1 (en) * 2012-05-15 2014-06-12 Perceptive Software Research And Development B.V. Automatic Attribute Level Detection Methods
CN104283723A (zh) * 2014-10-31 2015-01-14 北京蓝汛通信技术有限责任公司 网络访问日志处理方法及装置
US20150039611A1 (en) * 2013-07-30 2015-02-05 International Business Machines Corporation Discovery of related entities in a master data management system
US20150127670A1 (en) * 2013-11-01 2015-05-07 Salesforce.Com, Inc. Methods and systems for processing a log file
US20150193522A1 (en) * 2014-01-07 2015-07-09 Samsung Electronics Co., Ltd. Method and apparatus for operating electronic device
CN104778188A (zh) * 2014-02-24 2015-07-15 贵州电网公司信息通信分公司 一种分布式设备日志采集方法
CN105447099A (zh) * 2015-11-11 2016-03-30 中国建设银行股份有限公司 日志结构化信息提取方法及装置
US20160246849A1 (en) * 2015-02-25 2016-08-25 FactorChain Inc. Service interface for event data store
CN105978728A (zh) * 2016-06-20 2016-09-28 深圳前海微众银行股份有限公司 智能监控系统及业务指标的监控方法
CN106027272A (zh) * 2016-04-26 2016-10-12 乐视控股（北京）有限公司 一种cdn节点服务器流量时间推演方法及系统
US20170039242A1 (en) * 2013-07-17 2017-02-09 PlaceIQ, Inc. Branching mobile-device to system-namespace identifier mappings
CN106528619A (zh) * 2016-09-30 2017-03-22 国家电网公司 一种基于关键字段的交换机日志快速聚合方法
CN106649627A (zh) * 2016-12-06 2017-05-10 杭州迪普科技股份有限公司 一种日志查找的方法和装置
CN107209834A (zh) * 2015-02-04 2017-09-26 日本电信电话株式会社 恶意通信模式提取装置、恶意通信模式提取系统、恶意通信模式提取方法及恶意通信模式提取程序
CN107426022A (zh) * 2017-07-21 2017-12-01 上海携程商务有限公司 安全事件监测方法及装置、电子设备、存储介质
CN107451149A (zh) * 2016-05-31 2017-12-08 北京京东尚科信息技术有限公司 流量数据查询任务的监控方法及其装置

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100010986A1 (en) * 2006-08-30 2010-01-14 Keiji Icho Information presenting device, information presenting method, information presenting program, and integrated circuit
US20110119374A1 (en) * 2009-10-20 2011-05-19 Jan Matthias Ruhl Method and System for Detecting Anomalies in Time Series Data
US20130198363A1 (en) * 2012-01-27 2013-08-01 Microsoft Corporation Techniques for tracking resource usage statistics per transaction across multiple layers of protocols
CN103379136A (zh) * 2012-04-17 2013-10-30 中国移动通信集团公司 一种日志采集数据压缩方法、解压缩方法及装置
US20140164379A1 (en) * 2012-05-15 2014-06-12 Perceptive Software Research And Development B.V. Automatic Attribute Level Detection Methods
US20140149466A1 (en) * 2012-11-27 2014-05-29 Hitachi, Ltd. Time-series database setup automatic generation method, setup automatic generation system and monitoring server
US20170039242A1 (en) * 2013-07-17 2017-02-09 PlaceIQ, Inc. Branching mobile-device to system-namespace identifier mappings
US20150039611A1 (en) * 2013-07-30 2015-02-05 International Business Machines Corporation Discovery of related entities in a master data management system
US20150127670A1 (en) * 2013-11-01 2015-05-07 Salesforce.Com, Inc. Methods and systems for processing a log file
US20150193522A1 (en) * 2014-01-07 2015-07-09 Samsung Electronics Co., Ltd. Method and apparatus for operating electronic device
CN104778188A (zh) * 2014-02-24 2015-07-15 贵州电网公司信息通信分公司 一种分布式设备日志采集方法
CN104283723A (zh) * 2014-10-31 2015-01-14 北京蓝汛通信技术有限责任公司 网络访问日志处理方法及装置
CN107209834A (zh) * 2015-02-04 2017-09-26 日本电信电话株式会社 恶意通信模式提取装置、恶意通信模式提取系统、恶意通信模式提取方法及恶意通信模式提取程序
US20160246849A1 (en) * 2015-02-25 2016-08-25 FactorChain Inc. Service interface for event data store
CN105447099A (zh) * 2015-11-11 2016-03-30 中国建设银行股份有限公司 日志结构化信息提取方法及装置
CN106027272A (zh) * 2016-04-26 2016-10-12 乐视控股（北京）有限公司 一种cdn节点服务器流量时间推演方法及系统
CN107451149A (zh) * 2016-05-31 2017-12-08 北京京东尚科信息技术有限公司 流量数据查询任务的监控方法及其装置
CN105978728A (zh) * 2016-06-20 2016-09-28 深圳前海微众银行股份有限公司 智能监控系统及业务指标的监控方法
CN106528619A (zh) * 2016-09-30 2017-03-22 国家电网公司 一种基于关键字段的交换机日志快速聚合方法
CN106649627A (zh) * 2016-12-06 2017-05-10 杭州迪普科技股份有限公司 一种日志查找的方法和装置
CN107426022A (zh) * 2017-07-21 2017-12-01 上海携程商务有限公司 安全事件监测方法及装置、电子设备、存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王孝亮等: "通过防火墙日志挖掘构建电子期刊数据库统计分析系统", 《现代图书情报技术》 *
郭振英等: "电子资源日志统计系统分析与设计", 《现代图书情报技术》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109992569A (zh) * 2019-02-19 2019-07-09 平安科技（深圳）有限公司 集群日志特征提取方法、装置及存储介质
CN112929237A (zh) * 2021-02-26 2021-06-08 携程旅游网络技术（上海）有限公司 网站细分流量的分析方法、系统、设备和介质

Also Published As

Publication number Publication date
CN109033404B (zh) 2022-03-11
US20200042424A1 (en) 2020-02-06
US11188443B2 (en) 2021-11-30

Similar Documents

Publication Publication Date Title
CN109033404A (zh) 日志数据处理方法、装置和系统
US9911143B2 (en) Methods and systems that categorize and summarize instrumentation-generated events
CN108491267B (zh) 用于生成信息的方法和装置
US11537627B1 (en) Information technology networked cloud service monitoring
CN109981750A (zh) 业务流程系统、业务数据处理方法和装置
CN106302445B (zh) 用于处理请求的方法和装置
CN110120917A (zh) 基于内容的路由方法及装置
CN108334641B (zh) 采集用户行为数据的方法、系统、电子设备、存储介质
AU2014400621B2 (en) System and method for providing contextual analytics data
CN110719215B (zh) 虚拟网络的流信息采集方法及装置
US20150074043A1 (en) Distributed and open schema interactions management system and method
CN103248677B (zh) 互联网行为分析系统及其工作方法
CN108494860A (zh) Web访问系统、用于客户端的web访问方法和装置
CN107977678A (zh) 用于输出信息的方法和装置
CN112347165A (zh) 日志处理方法、装置及服务器和计算机可读存储介质
CN108600780A (zh) 用于推送信息的方法
US10250548B2 (en) Social media engagement engine
CN108932640A (zh) 用于处理订单的方法和装置
CN110245014B (zh) 数据处理方法和装置
CN110334103A (zh) 推荐服务的更新方法、提供装置、访问装置和推荐系统
CN113778499B (zh) 发布服务的方法、装置、设备和计算机可读介质
CN108011936A (zh) 用于推送信息的方法和装置
CN112818654A (zh) 消息存储方法、消息生成方法、装置、电子设备及计算机可读介质
CN110557351B (zh) 用于生成信息的方法和装置
CN107483565A (zh) 一种服务后台识别方法、代理服务器及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant