CN105550250B - 一种访问日志的处理方法及装置 - Google Patents

一种访问日志的处理方法及装置 Download PDF

Info

Publication number
CN105550250B
CN105550250B CN201510900571.5A CN201510900571A CN105550250B CN 105550250 B CN105550250 B CN 105550250B CN 201510900571 A CN201510900571 A CN 201510900571A CN 105550250 B CN105550250 B CN 105550250B
Authority
CN
China
Prior art keywords
parameter
statistical
user
user access
access logs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510900571.5A
Other languages
English (en)
Other versions
CN105550250A (zh
Inventor
刘鹏
侯文�
李冰冰
王蒙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201510900571.5A priority Critical patent/CN105550250B/zh
Publication of CN105550250A publication Critical patent/CN105550250A/zh
Application granted granted Critical
Publication of CN105550250B publication Critical patent/CN105550250B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462Approximate or statistical queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/1805Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815Journaling file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/958Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明实施例提供了一种访问日志的处理方法及装置。一方面,本发明实施例通过获取配置文件,并从所述配置文件中获取配置信息,所述配置信息包含针对用户访问日志的统计项参数和附加参数;从而,将所述配置信息与用户访问日志进行匹配,以获得匹配结果;进而,根据匹配结果,获得针对用户访问日志的统计项的统计数据。因此,本发明实施例提供的技术方案提高了用户访问日志的统计灵活性和通用性,从而提高了用户访问日志的统计效率。

Description

一种访问日志的处理方法及装置
【技术领域】
本发明涉及计算机技术领域,尤其涉及一种访问日志的处理方法及装置。
【背景技术】
网站通常会对用户的操作行为进行记录,然后生成用户访问日志,还需要对用户访问日志进行进一步的统计,以了解用户的操作行为。目前,用户在页面上的操作行为是多种多样的,如登录、注册、点击按钮、退出页面或者浏览信息等,随着页面内容的不断变化,需要记录和统计的用户的操作行为的数目和种类也越来越多。
现有技术中,对用户访问日志进行统计的方法是:人工编辑统计脚本,并在统计脚本中写入需要统计的操作行为的相关参数,统计脚本运行时可以根据写入的相关参数对用户的操作行为进行统计。然而,一旦页面内容发生变化,或者统计的操作行为发生变化后,就需要重新编辑统计脚本,因此现有技术中对用户访问日志的统计方式的灵活性和通用性比较低,降低了用户访问日志的统计效率。
【发明内容】
有鉴于此,本发明实施例提供了一种访问日志的处理方法及装置,提高了用户访问日志的统计灵活性和通用性,从而提高了用户访问日志的统计效率。
本发明实施例的一方面,提供一种访问日志的处理方法,包括:
获取配置文件,并从所述配置文件中获取配置信息,所述配置信息包含针对用户访问日志的统计项参数和附加参数;
将所述配置信息与用户访问日志进行匹配,以获得匹配结果;
根据匹配结果,获得针对用户访问日志的统计项的统计数据。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述获取配置文件,包括:根据预设的存储路径,从服务器中的所述存储路径下获取所述配置文件;
从所述配置文件中获取配置信息,包括:从所述配置文件中读取所述配置信息,并将所述配置信息加载到内存。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述统计项参数包括参数名和参数值,所述参数值表示需要统计的用户操作行为类型;
所述附加参数包括用于表示需要支持正则表达式匹配的参数、用于声明需要统计的用户操作行为类型对应的类别的参数和用于表示所述类别的参数。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述用户访问日志为根据用户在页面上的操作行为,并以脚本对象表示法JSON格式记录所述操作行为的相关参数而生成的。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述用户访问日志的数目为至少一条;将所述配置信息与用户访问日志进行匹配,以获得匹配结果,包括:
对所述配置信息进行解析,以获得所述统计项参数和所述附加参数,以及根据所述统计项参数的参数值和所述附加参数的参数值生成第一映射信息;
利用所述统计项参数的参数名和所述附加参数的参数名,从每条用户访问日志中分别提取相应的参数值,以生成各第二映射信息;
将所述第一映射信息与各第二映射信息分别进行正则表达式匹配,以获得各匹配结果。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,根据匹配结果,获得针对用户访问日志的统计项的统计数据,包括:
若一个匹配结果为所述第一映射信息与所述第二映射信息一致,将所述统计项对应的统计值加1;
将所述第一映射信息与所有第二映射信息进行正则表达式匹配完毕后,将所述统计项对应的统计值作为针对用户访问日志的统计项的统计数据。
本发明实施例的一方面,提供一种访问日志的处理装置,包括:
配置获取模块,用于获取配置文件,并从所述配置文件中获取配置信息,所述配置信息包含针对用户访问日志的统计项参数和附加参数;
日志处理模块,用于将所述配置信息与用户访问日志进行匹配,以获得匹配结果;
数据获取模块,用于根据匹配结果,获得针对用户访问日志的统计项的统计数据。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述配置获取模块,具体用于:根据预设的存储路径,从服务器中的所述存储路径下获取所述配置文件;
以及,所述配置获取模块,具体用于:从所述配置文件中读取所述配置信息,并将所述配置信息加载到内存。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述统计项参数包括参数名和参数值,所述参数值表示需要统计的用户操作行为类型;
所述附加参数包括用于表示需要支持正则表达式匹配的参数、用于声明需要统计的用户操作行为类型对应的类别的参数和用于表示所述类别的参数。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述用户访问日志为根据用户在页面上的操作行为,并以脚本对象表示法JSON格式记录所述操作行为的相关参数而生成的。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述用户访问日志的数目为至少一条;所述日志处理模块,具体用于:
对所述配置信息进行解析,以获得所述统计项参数和所述附加参数,以及根据所述统计项参数的参数值和所述附加参数的参数值生成第一映射信息;
利用所述统计项参数的参数名和所述附加参数的参数名,从每条用户访问日志中分别提取相应的参数值,以生成各第二映射信息;
将所述第一映射信息与各第二映射信息分别进行正则表达式匹配,以获得各匹配结果。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述数据获取模块,具体用于:
若一个匹配结果为所述第一映射信息与所述第二映射信息一致,将所述统计项对应的统计值加1;
将所述第一映射信息与所有第二映射信息进行正则表达式匹配完毕后,将所述统计项对应的统计值作为针对用户访问日志的统计项的统计数据。
由以上技术方案可以看出,本发明实施例具有以下有益效果:
本发明实施例提供的技术方案中,利用配置文件中的配置信息来定义针对用户访问日志的统计信息,并利用该配置信息对用户访问日志进行统计,因此可以根据业务需要,灵活地进行配置信息的修改和更新,与现有技术中重新编辑统计脚本的方式相比,本发明实施例所提供的技术方案在页面内容发生变化后或者需要统计的操作行为发生变化后,只需要进行配置信息的修改和更新,不需要对统计脚本进行重新编辑,因此本发明实施例所提供的技术方案提高了用户访问日志的统计灵活性和通用性,从而提高了用户访问日志的统计效率。
【附图说明】
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
图1是本发明实施例所提供的访问日志的处理方法的流程示意图;
图2是本发明实施例所提供的用户访问日志的示例图;
图3是本发明实施例所提供的访问日志的处理装置的功能方块图。
【具体实施方式】
为了更好的理解本发明的技术方案,下面结合附图对本发明实施例进行详细描述。
应当明确,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
实施例一
本发明实施例给出一种访问日志的处理方法,请参考图1,其为本发明实施例所提供的访问日志的处理方法的流程示意图,如图所示,该方法包括以下步骤:
S101,获取配置文件,并从所述配置文件中获取配置信息,所述配置信息包含针对用户访问日志的统计项参数和附加参数。
S102,将所述配置信息与用户访问日志进行匹配,以获得匹配结果。
S103,根据匹配结果,获得针对用户访问日志的统计项的统计数据。
实施例二
基于上述实施例一所提供的访问日志的处理方法,本发明实施例的S102中将所述配置信息与用户访问日志进行匹配之前,本发明实施例还可以包括:根据用户在页面上的操作行为,以脚本对象表示法(JavaScript Object Notation,JSON)格式记录所述操作行为的相关参数,以生成所述用户访问日志。
可以理解得是,用户访问日志通常可以存储在日志文件中,根据业务需求不同,用户访问日志的格式可能并不统一,然而本发明实施例中,为了实现用户访问日志的统计操作,要求在用户访问日志中以JSON格式记录操作行为的相关参数。
例如,请参考图2,其为本发明实施例所提供的用户访问日志的示例图,如图2所示,图2中用框圈出的字段为用户访问日志中记录的操作行为的相关参数。其中:
“appId=mobileActivity”表示用户所使用的工具的标识;
“lastTarget=libra-v2-timing”表示上一次用户操作行为类型;
“Target=libra-v2-showing-recommend”表示本次的用户操作行为类型;
“userid=5796457”表示用户标识;
“us=Mozilla/5.0(Windows NT 6.1)”表示用户所使用的浏览器信息。
实施例三
基于上述实施例一所提供的访问日志的处理方法,本发明实施例对S101中获取配置文件,并从所述配置文件中获取配置信息的方法进行具体描述。该步骤具体可以包括:
本发明实施例中,为了更加简单和灵活的实现访问日志的统计操作,预先以JSON格式,为实现根据用户访问日志统计用户操作行为生成相应的配置文件,该配置文件中可以包含配置信息,配置信息中定义了针对用户访问日志的统计项参数和附加参数。
优选的,所述统计项参数用于表示用户操作行为类型。
例如,统计项参数可以包括:参数名和参数值。其中,参数名可以为target,参数值表示需要统计的用户操作行为类型。
例如,用户操作行为类型可以包括但不限于:点击图片操作、登录操作、登出操作、注册操作或者点击按钮操作等。
优选的,统计项参数对应的附加参数可以包括:用于表示需要支持正则表达式匹配的参数、用于声明需要统计的用户操作行为类型对应的类别的参数和用于表示所述类别的参数。
在一个具体的实现过程中,附加参数的参数名可以为addition。
在一个具体的实现过程中,附加参数中可以利用参数名Regular作为是否需要正则表达式匹配的参数的参数名,若该参数值为True,表示将用户访问日志与配置信息进行匹配时,需要进行的是正则表达式匹配。
在一个具体的实现过程中,可以利用参数名param作为用于声明需要统计的用户操作行为类型对应的类别的参数的参数名。可以利用参数名config作为用于表示类别的参数的参数名。
可以理解的是,对于一个用户操作行为类型,可以对应有若干类别,因此,如果只针对该用户操作行为类型中的部分类别进行统计,或者针对该用户操作行为类型中的多个类别进行分开统计,则需要利用参数名为param的参数进行声明,并需要进一步利用参数名为config的参数定义需要统计的类别。
例如,需要统计的用户操作行为类型是点击图片,但是页面中有多个图片存在,因此可以利用参数名为param的参数声明需要知道图片名称,然后进一步利用参数名为config的参数的参数值表示该图片名称,这样,就可以根据配置信息确定统计的用户操作行为类型是针对哪个图片的。
或者,又例如,需要统计的用户操作行为类型是登录操作,但是执行登录操作的用户类型不同,存在VIP用户、管理员用户和普通用户。因此可以利用参数名为param的参数声明需要知道用户类型,然后进一步利用参数名为config的参数的参数值表示用户类型,这样,就可以根据配置信息确定统计的用户操作行为类型是针对哪个用户类型的。
以统计不同用户类型的用户登录网站的总次数和统计不同用户类型登录网站的用户数目为例进行说明。下属代码为对应的配置信息:
上述配置信息中,用户操作行为类型用参数名为target的参数定义,用户操作行为类型是login,即登录操作。参数名为addition的参数中包含的各参数为附加参数。其中,参数名为param的参数的参数值为optulevelid,用于声明需要获知登录操作下的用户类型。参数名为config的参数用于定义具体的用户类型,如参数名为config的参数中,用户类型可以用参数名为optulevelid的参数进行区分,参数名为optulevelid的参数的参数值为[0-9]+时,表示用户类型需要用连续的若干数字代表,如参数名为optulevelid的参数的参数值为10101时,表示用户类型1,参数名为optulevelid的参数的参数值为10104时,表示用户类型2,参数名为optulevelid的参数的参数值为55555时,表示用户类型3;参数名为optulevelid的参数的参数值为((?!10101|10104|55555)\\w)+时,表示其他的用户类型使用正则表达式匹配的方式来表示。
本发明实施例中,S101~S103的执行主体可以为网站的服务器中预先设置的统计脚本,统计脚本用于对该网站的用户访问日志进行统计。为了实现对用户访问日志的统计操作,统计脚本需要先获取配置文件。
举例说明,统计脚本获取配置文件的方法可以包括但不限于:在生成上述配置信息后,将该配置信息存储于配置文件,并将配置文件存储在服务器的某存储路径下,并将该存储路径预先配置在统计脚本中。这样,当统计脚本需要使用配置信息完成统计操作时,统计脚本可以根据统计脚本中预设的存储路径,从所述服务器中的该存储路径下获取所述配置文件。
举例说明,统计脚本从所述配置文件中获取配置信息的方法可以包括但不限于:统计脚本从所述配置文件中读取所述配置信息,并将所述配置信息加载到内存,这样,统计脚本就可以对配置信息进行解析,并进一步将解析得到的配置信息与用户访问日志进行匹配。
可以理解的是,若网站提供的页面发生变化,或者,统计需求发生变化,则可以对配置信息进行修改或者重新生成配置信息,将新的配置信息仍然存储在服务器中的存储路径下的配置文件中,这样,统计脚本对用户访问日志进行统计时仍然从配置文件中获得配置信息。因此,本发明实施例所提供的技术方案,当网站提供的页面发生变化,或者,统计需求发生变化时,只需要更新配置信息即可,不需要重新编辑统计脚本。
实施例三
基于上述实施例一所提供的访问日志的处理方法,本发明实施例对S102和S103中将所述配置信息与用户访问日志进行匹配,以获得匹配结果,并根据匹配结果,获得针对用户访问日志的统计项的统计数据的方法进行具体描述。该步骤具体可以包括:
可以理解的是,本发明实施例中,用户访问日志的数目可以为至少一条,统计脚本将针对至少一条用户访问日志进行统计。
本发明实施例中,统计脚本在解析得到配置信息后,可以将该配置信息与等待统计的至少一条用户访问日志中每条用户访问日志进行匹配,以获得至少一个匹配结果,并根据每个匹配结果,获得针对用户访问日志的统计项的统计数据,实现对用户访问日志的统计操作。
举例说明,本发明实施例中,将配置信息与用户访问日志进行匹配,以获得匹配结果的方法可以包括但不限于:
首先,对所述配置信息进行解析,以获得所述统计项参数和所述附加参数,以及根据所述统计项参数的参数值和所述附加参数的参数值生成第一映射信息。然后,利用所述统计项参数的参数名和所述附加参数的参数名,从每条用户访问日志中分别提取相应的参数值,以生成各第二映射信息。最后,将所述第一映射信息与各第二映射信息分别进行正则表达式匹配,以获得各匹配结果。
举例说明,本发明实施中,根据匹配结果,获得针对用户访问日志的统计项的统计数据的方法可以包括但不限于:
若一个匹配结果为所述第一映射信息与所述第二映射信息一致,将所述统计项对应的统计值加1;然后,将所述第一映射信息与所有第二映射信息进行正则表达式匹配完毕后,将所述统计项对应的统计值作为针对用户访问日志的统计项的统计数据。
在一个具体的实现过程中,从配置信息中解析出统计项参数的参数值和附加参数的参数值,然后生成“统计项参数的参数值-附加参数的参数值”组合,然后将该组合作为Key,将该Key与Value对应存储,生成第一映射信息,其中,Value作为统计项的统计值,其初始值为0。
以实施例三中的配置信息为例,可以生成如下第一映射信息:
{
“login-[0-9]+”:0,
“login-10101”:0,
“login-10104”:0,
“login-55555”:0,
“login-((?!10101|10104|55555)\\w)+”:0
}
可以理解的是,login为统计项参数的参数值,表示用户操作行为类型是登录操作。[0-9]+、10101、10104、55555和((?!10101|10104|55555)\\w)+都为附加参数中各参数的参数值。由于配置信息中定义的统计项参数的参数值表示用户操作行为类型为登录操作,该登录操作需要根据不同用户类型进行分别统计,因此为每个用户类型都生成对应的第一映射信息,每个第一映射信息中最后的数字“0”,表示Value的初始值,当还未开始进行用户访问日志的统计时,用户类型的登录操作的统计值的初始值为0。
在一个具体的实现过程中,可以对至少一条用户访问日志进行遍历,对于遍历到的每条用户访问日志,需要根据统计项参数的参数名和附加参数的参数名,从当前遍历到的用户访问日志中提取相应的参数值,并利用提取出的两个参数值进行组合,生成第二映射信息,然后将该第二映射信息与生成的第一映射信息进行正则表达式匹配。如果当前遍历到的用户访问日志对应生成的第二映射信息与某第一映射信息相匹配,即匹配结果为当前遍历到的用户访问日志对应生成的第二映射信息与第一映射信息一致,则该第一映射信息中的Value的数值加1。反之,如果当前遍历到的用户访问日志对应生成的第二映射信息没有与之相匹配的第一映射信息,即匹配结果为当前遍历到的用户访问日志对应生成的第二映射信息与第一映射信息不一致,则不修改第一映射信息的Value的数值,继续遍历下一个用户访问日志,以此类推,直到所有用户访问日志都遍历完毕后,根据各第一映射关系中的Value的数值,获得统计项对应的统计值,并作为针对用户访问日志的统计项的统计数据。
例如,某用户访问日志中有如下信息:
target=login,optulevelid=33333
然后,利用统计项参数的参数名和附加参数的参数名,从该用户访问日志中提取出的参数值为login和33333,并生成第二映射信息“login-33333”,利用该第二映射信息在上述示例中的第一映射关系中进行匹配,如果存在匹配的第一映射关系,则该第一映射关系中的value的数值加1。
本发明实施例进一步给出实现上述方法实施例中各步骤及方法的装置实施例。
请参考图3,其为本发明实施例所提供的访问日志的处理装置的功能方块图。如图所示,该装置包括:
配置获取模块31,用于获取配置文件,并从所述配置文件中获取配置信息,所述配置信息包含针对用户访问日志的统计项参数和附加参数;
日志处理模块32,用于将所述配置信息与用户访问日志进行匹配,以获得匹配结果;
数据获取模块33,用于根据匹配结果,获得针对用户访问日志的统计项的统计数据。
在一个具体的实现过程中,所述配置获取模块31,具体用于:根据预设的存储路径,从所述服务器中的所述存储路径下获取所述配置文件;
以及,所述配置获取模块31,具体用于:从所述配置文件中读取所述配置信息,并将所述配置信息加载到内存。
在一个具体的实现过程中,所述统计项参数包括参数名和参数值,所述参数值表示需要统计的用户操作行为类型;所述附加参数包括用于表示需要支持正则表达式匹配的参数、用于声明需要统计的用户操作行为类型对应的类别的参数和用于表示所述类别的参数。
在一个具体的实现过程中,所述用户访问日志为根据用户在页面上的操作行为,并以脚本对象表示法JSON格式记录所述操作行为的相关参数而生成的。
在一个具体的实现过程中,,所述用户访问日志的数目为至少一条;所述日志处理模块32,具体用于:
对所述配置信息进行解析,以获得所述统计项参数和所述附加参数,以及根据所述统计项参数的参数值和所述附加参数的参数值生成第一映射信息;
利用所述统计项参数的参数名和所述附加参数的参数名,从每条用户访问日志中分别提取相应的参数值,以生成各第二映射信息;
将所述第一映射信息与各第二映射信息分别进行正则表达式匹配,以获得各匹配结果。
在一个具体的实现过程中,所述数据获取模块33,具体用于:
若一个匹配结果为所述第一映射信息与所述第二映射信息一致,将所述统计项对应的统计值加1;
将所述第一映射信息与所有第二映射信息进行正则表达式匹配完毕后,将所述统计项对应的统计值作为针对用户访问日志的统计项的统计数据。
可以理解的是,本实施例所提供的访问日志的处理装置可以利用上述统计脚本实现,该统计脚本可以运行于网站的服务器中,用于根据网站的服务器中预设的配置文件中的配置信息,对网站的服务器所生成的用户访问日志进行处理,以实现用户访问日志的统计操作。
由于本实施例中的各单元能够执行图1所示的方法,本实施例未详细描述的部分,可参考对图1的相关说明。
本发明实施例的技术方案具有以下有益效果:
本发明实施例中,通过获取配置文件,并从所述配置文件中获取配置信息,所述配置信息包含针对用户访问日志的统计项参数和附加参数;从而,将所述配置信息与用户访问日志进行匹配,以获得匹配结果;进而,根据匹配结果,获得针对用户访问日志的统计项的统计数据。
本发明实施例提供的技术方案中,利用配置文件中的配置信息来定义针对用户访问日志的统计信息,并利用该配置信息对用户访问日志进行统计,因此可以根据业务需要,灵活地进行配置信息的修改和更新,与现有技术中重新编辑统计脚本的方式相比,本发明实施例所提供的技术方案在页面内容发生变化后或者需要统计的操作行为发生变化后,只需要进行配置信息的修改和更新,不需要对统计脚本进行重新编辑,因此本发明实施例所提供的技术方案提高了用户访问日志的统计灵活性和通用性,从而提高了用户访问日志的统计效率。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本发明所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机装置(可以是个人计算机,服务器,或者网络装置等)或处理器(Processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。

Claims (8)

1.一种访问日志的处理方法,其特征在于,所述方法包括:
获取配置文件,并从所述配置文件中获取配置信息,所述配置信息包含针对用户访问日志的统计项参数和附加参数;所述用户访问日志的数目为至少一条;所述统计项参数包括参数名和参数值,所述参数值表示需要统计的用户操作行为类型;所述附加参数包括用于表示需要支持正则表达式匹配的参数、用于声明需要统计的用户操作行为类型对应的类别的参数和用于表示所述类别的参数;
对所述配置信息进行解析,以获得所述统计项参数和所述附加参数,以及根据所述统计项参数的参数值和所述附加参数的参数值生成第一映射信息;利用所述统计项参数的参数名和所述附加参数的参数名,从每条用户访问日志中分别提取相应的参数值,以生成各第二映射信息;将所述第一映射信息与各第二映射信息分别进行正则表达式匹配,以获得各匹配结果;
根据匹配结果,获得针对用户访问日志的统计项的统计数据。
2.根据权利要求1所述的方法,其特征在于,
所述获取配置文件,包括:根据预设的存储路径,从服务器中的所述存储路径下获取所述配置文件;
从所述配置文件中获取配置信息,包括:从所述配置文件中读取所述配置信息,并将所述配置信息加载到内存。
3.根据权利要求1或2所述的方法,其特征在于,所述用户访问日志为根据用户在页面上的操作行为,并以脚本对象表示法JSON格式记录所述操作行为的相关参数而生成的。
4.根据权利要求1所述的方法,其特征在于,根据匹配结果,获得针对用户访问日志的统计项的统计数据,包括:
若一个匹配结果为所述第一映射信息与所述第二映射信息一致,将所述统计项对应的统计值加1;
将所述第一映射信息与所有第二映射信息进行正则表达式匹配完毕后,将所述统计项对应的统计值作为针对用户访问日志的统计项的统计数据。
5.一种访问日志的处理装置,其特征在于,所述装置包括:
配置获取模块,用于获取配置文件,并从所述配置文件中获取配置信息,所述配置信息包含针对用户访问日志的统计项参数和附加参数;所述用户访问日志的数目为至少一条;所述统计项参数包括参数名和参数值,所述参数值表示需要统计的用户操作行为类型;所述附加参数包括用于表示需要支持正则表达式匹配的参数、用于声明需要统计的用户操作行为类型对应的类别的参数和用于表示所述类别的参数;
日志处理模块,用于对所述配置信息进行解析,以获得所述统计项参数和所述附加参数,以及根据所述统计项参数的参数值和所述附加参数的参数值生成第一映射信息;利用所述统计项参数的参数名和所述附加参数的参数名,从每条用户访问日志中分别提取相应的参数值,以生成各第二映射信息;将所述第一映射信息与各第二映射信息分别进行正则表达式匹配,以获得各匹配结果;
数据获取模块,用于根据匹配结果,获得针对用户访问日志的统计项的统计数据。
6.根据权利要求5所述的装置,其特征在于,
所述配置获取模块,具体用于:根据预设的存储路径,从服务器中的所述存储路径下获取所述配置文件;
以及,所述配置获取模块,具体用于:从所述配置文件中读取所述配置信息,并将所述配置信息加载到内存。
7.根据权利要求5或6所述的装置,其特征在于,所述用户访问日志为根据用户在页面上的操作行为,并以脚本对象表示法JSON格式记录所述操作行为的相关参数而生成的。
8.根据权利要求5所述的装置,其特征在于,所述数据获取模块,具体用于:
若一个匹配结果为所述第一映射信息与所述第二映射信息一致,将所述统计项对应的统计值加1;
将所述第一映射信息与所有第二映射信息进行正则表达式匹配完毕后,将所述统计项对应的统计值作为针对用户访问日志的统计项的统计数据。
CN201510900571.5A 2015-12-09 2015-12-09 一种访问日志的处理方法及装置 Active CN105550250B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510900571.5A CN105550250B (zh) 2015-12-09 2015-12-09 一种访问日志的处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510900571.5A CN105550250B (zh) 2015-12-09 2015-12-09 一种访问日志的处理方法及装置

Publications (2)

Publication Number Publication Date
CN105550250A CN105550250A (zh) 2016-05-04
CN105550250B true CN105550250B (zh) 2019-06-28

Family

ID=55829439

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510900571.5A Active CN105550250B (zh) 2015-12-09 2015-12-09 一种访问日志的处理方法及装置

Country Status (1)

Country Link
CN (1) CN105550250B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106294559B (zh) * 2016-07-26 2019-09-17 北京三快在线科技有限公司 一种应用流量分析方法及装置
CN108733543B (zh) * 2017-04-24 2021-11-12 北京京东尚科信息技术有限公司 一种日志分析的方法、装置、电子设备和可读存储介质
CN110109812A (zh) * 2019-05-10 2019-08-09 广州英睿科技有限公司 访问日志数据的统计方法、装置、计算机设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102208991A (zh) * 2010-03-29 2011-10-05 腾讯科技(深圳)有限公司 一种日志处理方法、设备和系统
CN102629904A (zh) * 2012-02-24 2012-08-08 安徽博约信息科技有限责任公司 一种网络水军的探测与判定方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7536376B2 (en) * 2003-10-03 2009-05-19 International Business Machines Corporation Task oriented log retrieval utilizing a self-learning search tool
CN101075256A (zh) * 2007-06-08 2007-11-21 北京神舟航天软件技术有限公司 数据库实时审计分析系统及方法
CN103929329B (zh) * 2014-04-14 2018-07-27 北京音之邦文化科技有限公司 日志处理方法、服务端设备和系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102208991A (zh) * 2010-03-29 2011-10-05 腾讯科技(深圳)有限公司 一种日志处理方法、设备和系统
CN102629904A (zh) * 2012-02-24 2012-08-08 安徽博约信息科技有限责任公司 一种网络水军的探测与判定方法

Also Published As

Publication number Publication date
CN105550250A (zh) 2016-05-04

Similar Documents

Publication Publication Date Title
CN108363602B (zh) 智能ui界面布局方法、装置、终端设备及存储介质
CN110099059B (zh) 一种域名识别方法、装置及存储介质
CN108156237A (zh) 产品信息推送方法、装置、存储介质和计算机设备
CN107729475B (zh) 网页元素采集方法、装置、终端与计算机可读存储介质
JP5767471B2 (ja) テストの網羅性を評価する装置及び方法
US20140310691A1 (en) Method and device for testing multiple versions
US11500709B1 (en) Mobile application crash monitoring user interface
US8751184B2 (en) Transaction based workload modeling for effective performance test strategies
CN111339436B (zh) 一种数据识别方法、装置、设备以及可读存储介质
CN106951765A (zh) 一种基于浏览器指纹相似度的零权限移动设备识别方法
JP6514244B2 (ja) 差異検出装置及びプログラム
WO2019061664A1 (zh) 电子装置、基于用户上网数据的产品推荐方法及存储介质
CN106709318A (zh) 一种用户设备唯一性的识别方法、装置和计算设备
CN111552633A (zh) 接口的异常调用测试方法、装置、计算机设备及存储介质
CN105550250B (zh) 一种访问日志的处理方法及装置
CN110472154A (zh) 一种资源推送方法、装置、电子设备及可读存储介质
CN108763274A (zh) 访问请求的识别方法、装置、电子设备及存储介质
CN109949069A (zh) 可疑用户筛选方法、装置、计算机设备及存储介质
EP3058481A1 (en) Acceleration based on cached flows
US20180139288A1 (en) Method, device, and non-transitory computer-readable recording medium
CN104598452B (zh) 用户性别分析方法和装置
CN110209577A (zh) 一种测试方法及装置
CN108153663B (zh) 页面数据处理方法及装置
JP2019101889A (ja) テスト実行装置及びプログラム
WO2016085443A1 (en) Application management based on data correlations

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant