CN101242307A - 用嵌入代码代理日志实现网站访问分析系统与方法 - Google Patents

Abstract

用嵌入代码代理日志实现网站访问分析系统与方法，涉及一种网站分析系统与方法，该系统包括“嵌入网页代码”、“信息采集网页”、“代理日志服务器”、“代理日志程序”、“错误信息网页”、“分析引擎服务器”、“分析引擎程序”；嵌入网页代码、错误信息网页链接调用信息采集网页，信息采集网页调用代理日志程序，代理日志程序记录访问信息，生成访问日志、错误日志、用户Cookie对照表三种文件，分析引擎程序分析代理日志程序生成的文件。本发明将“嵌入代码”与“日志分析”两种网站访问分析方式相结合，既满足了快速、实时统计的需要，又采用日志记录访问信息，方便深入访问分析和数据挖掘，本发明简化了网站访问分析系统构成的复杂性，为大型网站访问分析系统设计，提供了较好的框架设计解决方案。

Description

用嵌入代码代理日志实现网站访问分析系统与方法

技术领域：

本发明涉及一种网站的访问分析、流量分析的系统与方法。

背景技术：

现在世界上有很多网站访问分析或流量分析的系统，通常采用两种体系结构：嵌入代码和日志分析。

嵌入代码结构，是在网页中嵌入一段JavaScript程序，记录访问信息，并进行访问统计分析。其主要优点是：快速统计，访问信息直接进入分析系统，可以实时统计访问信息；可以利用Cookie来识别访问者机器。主要缺点是：不能在GIF、JPEG、FLASH、MP3等流媒体文件中嵌入代码；Cookie不能跨域名生成，当同一个网站链接其他不同域名网站内容时，跨域名统计分析比较困难；没有错误信息日志记录，不能进行错误分析；由于访问详细信息不“落地”，不产生访问日志文件，不方便以后进行数据挖掘。

日志分析结构，是利用Web服务器自身生成的访问日志文件进行分析，主要优点是：记录信息详细，可以分析GIF、JPEG、FLASH、MP3等流媒体文件被访问情况；不区分域名记录信息；主要缺点是：不能进行实时分析，不方便利用Cookie来识别用户；对于分布式集群服务器网站，需分别下载、合并访问日志，比较花费时间。

发明内容：

本发明结合“嵌入代码”和“日志分析”两种方式，提供一种用嵌入代码产生代理日志，实现网站访问分析的系统和方法。

本发明的目的是通过下述技术方案实现的：

系统由5个部分组成：“嵌入网页代码”、“错误信息网页”、“信息采集网页”、“代理日志程序”、“分析引擎程序”；

嵌入网页代码，是一段JavaScript程序，嵌入到被分析网站需要分析的网页中，没有任何具体操作，只是为了链接到“信息采集网页”；

信息采集网页，是一段JavaScript程序，负责维护用户计算机上Cookie和采集用户访问信息；

代理日志程序，是JSP程序，负责维护“用户Cookie对照表”和记录用户访问日志；

错误信息网页，是当用户访问网站发生错误时显示各种错误信息的网页，是本发明设计的分别与各种错误代码对应的网页，在网页中包含链接“信息采集网页”代码，使访问发生错误时，可以自动链接到“信息采集网页”；

分析引擎程序，可以是任何计算机语言编写的程序。

在Internet上设置2组服务器：1、代理日志服务器，至少1台Web服务器，作为代理日志服务器，安装“信息采集网页”和“代理日志程序”；2、分析引擎服务器，至少1台Web服务器，通过网络与代理日志服务器相连接，安装“分析引擎程序”。

用嵌入代码代理日志实现网站访问分析方法，其流程如下：

(1)嵌入网页代码：当用户访问被分析网站嵌入网页代码时，执行嵌入代码，链接到信息采集网页；

(2)错误信息网页：当用户访问错误时，系统自动链接到错误信息网页，并链接到“信息采集网页”；

(3)信息采集网页：“嵌入网页代码”或“错误信息网页”链接到“信息采集网页”，然后被用户下载到浏览器执行，维护用户计算机上的Cookie，采集访问信息，然后调用代理日志程序；

(4)代理日志程序：“信息采集网页”调用代理日志程序，记录访问日志和错误日志信息，维护“用户Cookie对照表”。

(5)分析引擎分析使用“用户Cookie对照表”、访问日志和错误日志记录进行各种统计分析。

所述的嵌入网页代码方法是：提供一段JavaScript代码，在被分析网站需要分析的网页中嵌入此代码，在嵌入代码中需包含传递网页类型标志Page-Flag，用来区别是“注册网页”、“注销网页”还是“普通网页”，在不同网页嵌入代码时，需要在网页类型标志Page-Flag变量中赋予不同的标志加以区别，在链接“信息采集网页”时，需传递Page-Flag，如果是“注册网页”，还需要传递注册用户名。

所述的“信息采集网页”维护用户计算机上的Cookie、采集访问信息的步骤为：首先判断网页是注册用网页、注销网页还是普通网页，如果是注册用网页，同时传递用户名作为用户ID；如果是注销网页链接调用，先删除Cookie文件，然后判断Cookie是否存在？如果不存在：创建Cookie；如果存在，获取用户信息：访问时间、域名、网页URL、URL参数、访问端口、操作系统、浏览器类型、屏幕分辨率、用户语言、referrer参数，然后，调用代理日志程序。

所述的Cookie是“伪Cookie”，“伪Cookie”是自己定义的数据，利用Cookie特性，将其写到用户机器磁盘上作为标记，伪Cookie是一个13位的随机码，是当前时间毫秒数+4位随机数，为保证唯一性；写入cookie时，将cookie的有效时间设置为1年。

错误信息网页的构建方法如下：将错误信息网页放在Web服务器上，重新设置Web错误信息路径，不采用系统默认的错误信息URL链接，将各种错误信息网页文件，拷贝到所设置的错误信息网页路径。

所述的“代理日志程序”日志文件产生方法为：代理日志程序每天产生1个“访问日志”文件、1个“错误日志”文件和1个“用户Cookie对照表”文件；当信息采集网页或“错误信息网页”调用“代理日志程序”时，首先判断当天的“访问日志”、“错误日志”和“用户Cookie对照表”文件是否存在？如果不存在，建立这3个文件，否则，开始记录日志。

所述的“用户Cookie对照表”维护方法为：对照表记录有两个表项：“用户ID”和“Cookie”，如果所写的日志记录中用户ID为空：结束；如果用户ID不为空，查找对照表，看该表中的Cookie`是否等于该记录Cookie的记录，如果没有，说明是一个新的用户Cookie记录，添加记录到对照表。

访问日志文件记录内容为：当“信息采集网页”调用“代理日志程序”时所传递的：Cookie、用户ID、访问时间、域名、页面URL、URL参数、页面端口、操作系统、浏览器类型、屏幕分辨率、语言、referrer参数，再加上代理日志程序获取用户IP地址信息，作为访问日志记录，记录到磁盘文件。

所述的Cookie使用方法如下：访问日志中的记录包含用户Cookie信息，在“分析引擎程序”中对Session会话进行统计分析时，如果在“用户Cookie对照表”有Cookie对应的用户，则以用户名作为Session分析依据，否则为“匿名用户”，可以使用Cookie作为Session分析依据。

本发明的有益效果：

本发明的系统与方法可以对访问分析、流量分析产生如下有益效果：

第一：既可以体现嵌入代码访问统计的实时性，又以代理日志形式记录访问信息，以便于以后进行深入分析和数据挖掘，部分综合了嵌入代码和日志分析两种访问分析的优点。

第二：可以获得Web日志不能获得的用户信息：在Web日志中，不记录用户浏览器使用的语言和屏幕分辨率信息，通过嵌入代码后，可以获得这些信息。

第三：分析完整的注册用户新访问行为轨迹，有些网站需要注册后才可以进行某些操作，本发明将Cookie与注册用户的用户名进行绑定，联合分析该用户的访问行为轨迹，即便是这个用户在先前浏览过程中没有登陆(输入用户名、密码)已经做了一些操作，以后才进行的登陆，同样可以通过Cookie反过来查找访问过的URL，以将未登陆以前访问过的网页查找出来。

第四：避免了访问人次统计错误，当采用IP地址作为访问用户识别时，由于使用代理服务器或路由器共享上网用户，具有相同IP地址的，当统计访问人次时，如果这些用户在同时访问某个网站，会将他们视为同一个用户，访问人次统计会产生错误。本发明采用“伪Cookie”来识别用户，可以有效地避免错误发生。

第五：本发明采用“代理日志”形式，所有的日志文件都集中在1台计算机上，避免了到其他计算机下载日志的麻烦。如果采用纯日志分析方式，日志记录在Web服务器所在的机器上，需要将日志文件从Web服务器下载到分析服务器上；如果是服务器集群网站，日志文件分别存放在不同的服务器上，除了需要分别下载外，还需要对日志文件进行归并，会占用很多资源，也很花费时间。

第六：不同的Web服务器有各自的日志文件格式，又可以人工进行设置来变更日志格式和记录内容，如果采用纯日志进行分析，需要分析系统识别不同的日志文件格式和内容，比较烦琐。采用“代理日志”记录访问信息，统一了不同操作系统、不同Web服务器的日志格式，可以避免这些麻烦。

第七：如果单纯采用“嵌入代码”，当发生错误时，不能像日志分析方式那样产生错误访问日志记录。本发明采用重新设置Web服务器错误信息链接路径，自己记录错误日志，可以得到更简洁、可靠的错误日志，有效地避免了单纯“嵌入代码”方式访问分析的不足之处。

附图说明：

图1是用嵌入代码代理日志实现网站访问分析方法的流程图；

图2是信息采集网页的流程图；

图3是代理日志程序的流程图；

图4是维护用户Cookie的流程图。

具体实施方式：

(1)系统安装

代理日志服务器：在Internet上建立一个Web服务器，将“信息采集网页”程序的JavaScript文件、“代理日志程序”JSP文件程序安装在服务器上。

分析引擎服务器：在Internet上建立一个Web服务器，通过网络与“代理日志服务器”相连接，将“分析引擎程序”安装在这台服务器上。

错误信息网页：将本系统提供的“错误信息网页”拷贝安装到被分析服务器，改变服务器默认的错误信息链接路径，将各种错误信息提示分别设置到“错误信息网页”文件所在路径下。

嵌入代码：在被分析网站的网页中，嵌入将本发明提供的嵌入代码，“网页类型标志”Page-Flag处注释明，是“注册网页”、“注销网页”还是“普通网页”标志。如果是“注册网页”，用程序传递用户名。

(2)系统流程

如图1所示，当用户访问被分析网站嵌入网页代码101，执行嵌入代码，链接到“信息采集网页”102，信息采集网页102调用“代理日志程序”，代理日志为JSP程序，写访问日志记录106、维护“用户Cookie对照表”；如果发生错误，Web服务器自动链接到“错误信息网页”103，错误信息网页103调用“代理日志程序”，写错误日志记录。

(3)信息采集网页流程

如图2所示，当用户访问被分析网站嵌入网页代码101时，执行嵌入代码。嵌入代码101链接调用“信息采集网页”URL，传递“网页类型标记”Page-Flag来区别是“注册网页”、“注销网页”还是“普通网页”201。对Page-Flag进行判断，如果是“注册用”页，传递用户名作为用户ID 202；如果是“注销网页”链接调用，执行删除Cookie文件203，再判断Cookie是否存在？204，如果不存在：先执行创建Cookie205，然后再获取用户访问信息206；如果存在：直接获取用户访问信息206，包括：获取访问时间、获取域名、获取页面URL、获取URL参数、获取页面访问端口、获取用户操作系统、获取用户浏览器、获取用户分辨率、获取用户语言、获取referrer参数。最后，调用“代理日志程序”104。

(4)代理日志流程

图3为代理日志流程。代理日志程序每天产生1个“访问日志”文件、1个“错误日志”文件和1个“用户Cookie对照表”文件。当“信息采集网页”或“错误信息网页”调用“代理日志程序”时，301首先判断今天的“访问日志”、“错误日志”和“用户Cookie对照表”文件是否存在？301，如果不存在，建立这3个文件302，否则，开始写日志记录303。当“信息采集网页”调用“代理日志程序”时，传递：Cookie、用户ID、访问时间、域名、网页URL、URL参数、使用端口、操作系统、浏览器类型、屏幕分辨率、语言、referrer参数，代理日志程序获取用户IP地址信息，将IP地址和传递过来的用户访问信息作为“访问日志”记录，将其记录到磁盘文件。然后对“用户Cookie对照表”进行维护操作。

(5)维护“用户Cookie对照表”

图4是维护“用户Cookie对照表”流程。对照表记录有两个表项：“用户ID”和“Cookie”。首先判断日志记录中用户ID是否为空？401，如果用户ID为空：结束；如果用户ID不为空，通过查找模块402与用户Cookie对照表107对照，看该表中的Cookie`是否等于该记录Cookie的记录，判断该Cookie是否存在？403，如果没有，说明是一个新的用户Cookie记录，执行添加记录404到用户Cookie对照表107；如果已经存在，不必添加记录，结束。

(6)分析引擎分析先将“用户Cookie对照表”装入内存，然后读取“访问日志”记录和“错误日志”记录，进行各种统计分析。

Claims (10)

1、用嵌入代码代理日志实现网站访问分析系统，其特征在于，系统由5个部分组成：“嵌入网页代码”、“错误信息网页”、“信息采集网页”、“代理日志程序”、“分析引擎程序”；

嵌入网页代码，是一段JavaScript程序，嵌入到被分析网站需要分析的网页中，没有任何具体操作，只是为了链接到“信息采集网页”；

信息采集网页，是一段JavaScript程序，负责维护用户计算机上Cookie和采集用户访问信息；

代理日志程序，是JSP程序，负责维护“用户Cookie对照表”和记录用户访问日志；

错误信息网页，是当用户访问网站发生错误时显示各种错误信息的网页，是本发明设计的分别与各种错误代码对应的网页，在网页中包含链接“信息采集网页”代码，使访问发生错误时，可以自动链接到“信息采集网页”；

分析引擎程序，可以是任何计算机语言编写的程序；

在Internet上设置2组服务器：1、代理日志服务器，至少1台Web服务器，作为代理日志服务器，安装“信息采集网页”和“代理日志程序”；2、分析引擎服务器，至少1台Web服务器，通过网络与代理日志服务器相连接，安装“分析引擎程序”。

2、用嵌入代码代理日志实现网站访问分析方法，其特征在于，流程如下：

(1)嵌入网页代码：当用户访问被分析网站嵌入网页代码时，执行嵌入代码，链接到信息采集网页；

(2)错误信息网页：当用户访问错误时，系统自动链接到错误信息网页，并链接到“信息采集网页”；

(3)信息采集网页：“嵌入网页代码”或“错误信息网页”链接到“信息采集网页”，然后被用户下载到浏览器执行，维护用户计算机上的Cookie，采集访问信息，然后调用代理日志程序；

(4)代理日志程序：“信息采集网页”调用代理日志程序，记录访问日志和错误日志信息，维护“用户Cookie对照表”；

(5)分析引擎分析使用“用户Cookie对照表”、访问日志和错误日志记录进行各种统计分析。

3、如权利要求2中所述的用嵌入代码代理日志实现网站访问分析方法，其特征在于：所述的嵌入网页代码方法是：提供一段JavaScript代码，在被分析网站需要分析的网页中嵌入此代码，在嵌入代码中需包含传递网页类型标志Page-Flag，用来区别是“注册网页”、“注销网页”还是“普通网页”，在不同网页嵌入代码时，需要在网页类型标志Page-Flag变量中赋予不同的标志加以区别，在链接“信息采集网页”时，需传递Page-Flag，如果是“注册网页”，还需要传递注册用户名。

4、如权利要求2所述的用嵌入代码代理日志实现网站访问分析方法，其特征在于：所述的“信息采集网页”维护用户计算机上的Cookie、采集访问信息的步骤为：首先判断网页是注册用网页、注销网页还是普通网页，如果是注册用网页，同时传递用户名作为用户ID；如果是注销网页链接调用，先删除Cookie文件，然后判断Cookie是否存在？如果不存在：创建Cookie；如果存在，获取用户信息：访问时间、域名、网页URL、URL参数、访问端口、操作系统、浏览器类型、屏幕分辨率、用户语言、referrer参数，然后，调用代理日志程序。

5、如权利要求2所述的用嵌入代码代理日志实现网站访问分析方法，其特征在于，所述的Cooke是“伪Cookie”，“伪Cookie”是自己定义的数据，利用Cookie特性，将其写到用户机器磁盘上作为标记，伪Cookie是一个13位的随机码，是当前时间毫秒数+4位随机数，为保证唯一性；写入cookie时，将cookie的有效时间设置为1年。

6、如权利要求2中所述的用嵌入代码代理日志实现网站访问分析方法，其特征在于，错误信息网页的构建方法如下：将错误信息网页放在Web服务器上，重新设置Web错误信息路径，不采用系统默认的错误信息URL链接，将各种错误信息网页文件，拷贝到所设置的错误信息网页路径。

7、如权利要求2中所述的用嵌入代码代理日志实现网站访问分析方法，其特征在于，所述的“代理日志程序”日志文件产生方法为：代理日志程序每天产生1个“访问日志”文件、1个“错误日志”文件和1个“用户Cookie对照表”文件；当“信息采集网页”或“错误信息网页”调用“代理日志程序”时，首先判断当天的“访问日志”、“错误日志”和“用户Cookie对照表”文件是否存在？如果不存在，建立这3个文件，否则，开始记录日志。

8、如权利要求2中所述的用嵌入代码代理日志实现网站访问分析方法，其特征在于：所述的“用户Cookie对照表”维护方法为：对照表记录有两个表项：“用户ID”和“Cookie”，如果所写的日志记录中用户ID为空：结束；如果用户ID不为空，查找对照表，看该表中的Cookie`是否等于该记录Cookie的记录，如果没有，说明是一个新的用户Cookie记录，添加记录到对照表。

9、如权利要求2中所述的用嵌入代码代理日志实现网站访问分析方法，其特征在于，访问日志文件记录内容为：当“信息采集网页”调用“代理日志程序”时所传递的：Cookie、用户ID、访问时间、域名、页面URL、URL参数、页面端口、操作系统、浏览器类型、屏幕分辨率、语言、referrer参数，再加上代理日志程序获取用户IP地址信息，作为访问日志记录，记录到磁盘文件。

10、如权利要求9所述的用嵌入代码代理日志实现网站访问分析方法，其特征在于，所述的Cookie使用方法如下：访问日志中的记录包含用户Cookie信息，在“分析引擎程序”中对Session会话进行统计分析时，如果在“用户Cookie对照表”有Cookie对应的用户，则以用户名作为Session分析依据，否则为“匿名用户”，可以使用Cookie作为Session分析依据。

Images