CN1801817A - 日志文件的生成方法和系统 - Google Patents

Abstract

本发明公开了一种日志文件的生成方法，包括：客户机发送请求至Web服务器；Web服务器发送请求至应用程序服务器；应用程序服务器返回处理结果和需要跟踪的日志信息；Web服务器将所述需要跟踪的日志信息记录至日志文件中。本发明中每个应用程序都将各自程序中设定的需要跟踪的日志信息以HTTP头(Http Header)的形式返回Web服务器，由Web服务器将这些需要跟踪的日志信息以及客户的访问信息记录到Web服务器日志中，从而将所有需要的日志信息都统一生成在一个日志文件中，使得日志信息格式统一，可以减少系统的维护工作量，便于集中进行分析、提高了对所有日志信息进行关联分析的效率和速度。

Description

日志文件的生成方法和系统

技术领域

本发明涉及互联网数据分析领域，特别是涉及一种将应用程序生成的多个日志文件，统一生成为一个日志文件的方法和系统。

背景技术

WWW是以Internet作为传输媒介的一个应用系统，WWW网上最基本的传输单位是Web网页。WWW的工作基于客户机/服务器计算模型，由Web浏览器(客户机)和Web服务器(服务器)构成，两者之间采用超文本传送协议(HTTP)进行通信。HTTP协议是基于TCP/IP协议之上的协议，是Web浏览器和Web服务器之间的应用层协议，是通用的、无状态的、面向对象的协议。

参照图1，是现有技术中客户机与服务器之间完成信息处理流程并生成日志文件的流程示意图。该处理流程涉及客户端、Web服务器、应用程序服务器以及日志分析服务器。该处理流程如下所示：步骤1，客户端访问网站，Web浏览器与Web服务器建立连接，Web浏览器向Web服务器发送请求。步骤2，Web服务器与应用程序服务器建立连接，发送请求给应用程序服务器。步骤3，应用程序服务器对请求进行处理，将处理结果返回给Web服务器，并将需要追踪的信息记录到对应的应用程序日志记录中。步骤4，Web服务器将客户请求的处理结果返回客户端，并将客户的访问信息记录到Web服务器的日志记录中。步骤5，关闭Web浏览器和Web服务器之间的连接，以保证其它Web浏览器能够与Web服务器建立连接。

从以上流程可以看出，由于现有技术中，对于网站上每个需要分析的内容，应用程序都需要生成相应的日志文件。每个应用程序都将自己需要追踪的信息生成一个日志文件，则当访问结束时，会存在各种不同的需要分析的日志文件。当日志分析服务器要对日志文件进行分析时，需要收集所有应用程序生成的日志文件，和Web服务器的日志文件一并进行分析。由于存在多个日志文件，不便于日志分析服务器进行收集和分析。并且，由于系统中存在多个日志文件，所以会增加系统的维护工作量，降低系统的工作效率。

由于现有技术中的多个日志文件相互之间是独立的，所以不便于进行关联分析。例如，需要分析在某个电子商务网站投放的广告的效果，通过带来的注册会员数量，该会员发布的商业信息数量以及页面访问量三个参数来考核广告的效果。现有技术的处理方法如下：

在注册会员时，在应用程序服务器中记录第一日志：记录此浏览者是从哪个网站点击过来并注册成会员的。

在浏览者发布商机信息时，在应用程序服务器中记录第二日志：记录此浏览者是从哪个网站点击过来并发布了商业信息的。

在Web服务器中记录访问日志：记录浏览者访问了哪些页面，带来了多少访问量。

然后通过日志分析服务器收集3份日志，并且需要开发3个不同的程序来分析这3份日志，然后还需要将分析后的结果进行合并，才能够得到我们需要的信息：注册会员数，发布的商机信息数和访问量。

由以上的日志分析过程可以看出，现有技术对这些日志文件进行关联分析是很不方便的。并且，日益增长的应用程序数量以及需要追踪的信息的数量，使得及时开发出相应的日志分析程序几乎不可能实现，但是对日志信息进行关联分析后的结果又是企业决策需要的基本数据。

发明内容

鉴于上述问题，本发明的目的是提供一种日志文件的生成方法和系统，可以将所有需要应用程序生成的日志文件，统一生成到一个日志文件中，从而便于收集和分析，同时便于对所有日志信息进行关联分析。

为解决上述技术问题，本发明的目的是通过以下技术方案实现的：

本发明公开了一种日志文件的生成方法，包括：Web服务器发送请求至应用程序服务器；应用程序服务器返回处理结果和需要跟踪的日志信息；Web服务器将所述需要跟踪的日志信息记录至日志文件中。优选的，所述的日志文件的生成方法，还可以包括：将访问信息记录至所述日志文件中。

优选的，所述的日志文件的生成方法，还可以包括：客户机发送请求至Web服务器。优选的，所述的日志文件的生成方法，还可以包括：Web服务器返回处理结果至客户机。

优选的，所述的日志文件的生成方法中涉及的信息传输都采用超文本传送协议HTTP。优选的，所述需要跟踪的日志信息以HTTP头的形式返回。

优选的，所述的日志文件的生成方法，还可以包括对所述日志文件进行分析。

本发明还提供了一种日志生成系统，包括：客户机，用于连接Web服务器并发送请求至Web服务器；Web服务器，用于发送请求至应用程序服务器，将应用程序服务器返回的需要跟踪的日志信息记录至日志文件中，并返回所述请求的处理结果至客户机；应用程序服务器，用于处理所述请求，返回处理结果以及需要跟踪的日志信息至Web服务器。优选的，所述的日志生成系统，还可以包括：日志分析服务器，用于对所述日志文件进行分析。优选的，所述应用程序服务器以HTTP头的形式返回需要跟踪的日志信息。

与现有技术相比，本发明具有以下的优点：

本发明中每个应用程序都将各自程序中设定的需要跟踪的日志信息以HTTP头(Http Header)的形式返回Web服务器，由Web服务器将这些需要跟踪的日志信息以及客户的访问信息记录到Web服务器日志中，从而将所有需要的日志信息都统一生成在一个日志文件中，使得日志信息格式统一，便于集中进行分析、提高了对所有日志信息进行关联分析的效率和速度，可以支持更多的应用程序及更多的需要跟踪的日志信息。

本发明减少了系统中日志文件的数量，从而可以减少系统的维护工作量，并且不需要针对每个应用程序开发不同的日志分析程序，减少了技术人员的劳动强度，可以提高日志分析的效率和速度。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1是现有技术中客户机与服务器之间完成一次信息处理流程的示意图；

图2是本发明所述日志生成方法的步骤流程图；

图3是本发明所述日志生成系统的结构示意图。

具体实施方式

本发明的核心思想在于，改变了现有技术中所有的应用程序都生成各自的日志文件的方式，本发明中所有的应用程序都将各自程序中设定的需要跟踪的日志信息返回至Web服务器(优选实施方式是以HTTP头的形式返回)，由Web服务器将这些需要跟踪的日志信息以及客户的访问信息记录到Web服务器日志中，从而将所有需要的日志信息都统一生成在一个日志文件中，使得日志信息格式统一，便于集中进行分析、并可以减少系统的维护工作量、不需要针对每个应用程序开发不同的日志分析程序。

参照图2，是本发明所述日志生成方法的步骤流程图。

步骤s1，客户机发送请求至Web服务器。

Web服务器也称为WWW(World Wide Web)服务器，主要功能是提供网上信息浏览服务。WWW是互联网Internet的多媒体信息查询工具，是Internet上近年才发展起来的服务，也是发展最快和目前用的最广泛的服务。WWW采用的是客户机/服务器结构，其作用是整理和储存各种WWW资源，并响应客户端软件的请求，把客户所需的资源传送到Windows95(或Windows98)、WindowsNT、UNIX或Linux等平台上。Web服务器专门处理HTTP请求(request)，一般为安装Apache或Microsoft IIS的服务器。

客户机的Web浏览器与Web服务器建立连接，打开一个称为套接字(socket)的虚拟文件，此文件的建立标志着连接建立成功。连接成功之后，Web浏览器通过socket向Web服务器发送请求。HTTP的请求一般采用GET或POST命令(POST用于FORM参数的传递)。GET命令的格式一般为：GET路径/文件名HTTP/1.0，文件名用于指出所访问的文件，HTTP/1.0指出Web浏览器使用的HTTP版本。

步骤s2，Web服务器发送请求至应用程序服务器。

Web浏览器提交请求后，通过HTTP协议传送给Web服务器。Web服务器接到后，进行事务处理，处理结果又通过HTTP传回给Web浏览器，从而在Web浏览器上显示出所请求的页面。Web服务器进行事务处理时，如果是静态页面，直接将应处理结果(Http header和Http体)返回至Web浏览器。如果是动态页面，Web服务器跟应用程序服务器建立连接，发送请求给应用程序服务器。采用动态页面的网站的Web服务一般采用多层结构，例如：采用Web服务器→应用程序服务器→数据库。本发明主要应用于动态页面的情况，Web服务器发送请求至应用程序服务器，由应用程序服务器对该请求进行处理。例如：

客户机与http：//www.alibaba.com/catalogs/15/Home_Supplies.html建立了连接，就会发送GET命令：GET/catalogs/15/Home_Supplies.html。主机名为www.alibaba.com的Web服务器对该请求进行处理。如果是静态页面，www.alibaba.com的Web服务器返回Http头和Http体信息给客户机。如果是动态页面，Web服务器根据特定协议发送请求给应用程序服务器，由应用程序服务器调用对应的程序进行处理。

步骤s3，应用程序服务器返回处理结果和需要跟踪的日志信息。

应用程序服务器一般可以由BEA Weblogic，Resin等相应的供应商提供，提供某些特定的应用逻辑。例如，alibaba网站上的论坛应用服务器，阿里助手应用服务器等，以加速网站的综合应用开发。应用程序服务器一般位于诸如Apache或Microsoft IIS等Web服务器的后面。

应用程序服务器上的应用程序可以是用PHP，java等开发的应用程序。所述应用程序可以根据网站建设的需要进行开发，例如：alibaba网站的论坛应用服务器，阿里助手等应用程序服务器等。一个客户请求可以同时启动不同的应用程序，需要每个应用程序都返回处理结果和需要跟踪的日志信息至Web服务器。所述需要跟踪的信息也是根据网站的实际需要而在程序中设定的，不同的网站会有不同的需要跟踪的信息，本发明并不对所述需要跟踪的信息的内容进行限定。所述需要跟踪的信息可以为：需要追踪在论坛上搜索次数最高的10个关键字；需要追踪注册成网站会员的用户是由哪个网站带来等等。

应用程序服务器对Web服务器发送的请求进行处理，并将处理结果返回至Web服务器。所述处理结果一般是指客户机所需要的资源，例如，前述的http：//WWW.alibaba.com/catalogs/15/Home_Supplies.html的页面资源。应用程序服务器返回的处理结果可以由Http头(Http Header)和Http体(客户请求的具体内容)组成。

Http头由一个状态行和多个头域组成。每个头域由一个域名，冒号，域值三部分组成。常用的HTTP头信息有：

状态行：HTTP 1.0 200 OK。这是Web服务器应答的第一行，列出服务器正在运行的HTTP版本号和应答代码。状态代码“200 OK”表示请求完成。

头域：MIME_Version：1.0。该信息指示MIME类型的版本。

头域：content_type：类型。该信息非常重要，它指示HTTP体信息的MIME类型。如：content_type：text/html指示传送的数据是HTML文档。

头域：content_length：长度值。该信息指示HTTP体信息的长度(字节)。

本发明的应用程序服务器可以将所述需要跟踪的日志信息以Http头(Http Header)的形式返回至Web服务器，其实现需要程序员在开发应用程序时，编写代码将需要追踪的信息写到Http Header中。当然，本发明并不对具体的对Http Header的修改方式进行限定，可以采用任何本领域技术人员熟知的编码方式。

例如：程序员可以定义的一个HTTP header头域：Resin-Trace。具体的形式如：Resin-Trace：name1＝Value1。本发明的应用程序服务器返回处理结果至Web服务器时，在该头域内增加需要追踪的信息。而当Web服务器返回信息至客户机时则不需要该头域。

例如：如果网站的论坛需要追踪在论坛上搜索次数最高的10个关键字。则可以在Http Header中增加：Resin-Trace：club_search＝被search的关键字。如果需要追踪注册成网站会员的用户由哪个网站带来的，则可以在HttpHeader中增加：Resin-Trace：join_from＝带来会员的地址信息。

本发明的应用程序服务器还可以将所述需要跟踪的日志信息以其他形式返回至Web服务器，例如增加在Http体中、或者以其他格式与所述请求的处理结果分开发送等等实现方式。当然，将所述需要跟踪的日志信息以HttpHeader的形式返回至Web服务器，是一种最优的选择，对现有技术的改动最小。只要将需要跟踪的日志信息返回Web服务器，由Web服务器统一生成一个日志文件，就属于本发明的构思之中，本发明并不对日志信息的返回形式进行限定。

步骤s4，Web服务器将所述需要跟踪的日志信息记录至日志文件中。

Web服务器收到应用程序服务器返回的处理结果(包括Http header和Http体)，需要进行再处理，提取出所述需要跟踪的日志信息。该步骤的实现需要对现有的Web服务器进行一些改动，以实现对需要跟踪的日志信息的提取。例如，如果采用的是Apache型的Web服务器，则可以由程序员加入一个模块：例如Alibaba公司，采用自己开发的Apache模块mod_alicookie.so，处理应用程序返回的响应信息(http header)，并将需要跟踪的信息记录到Web服务端的日志中。具体的模块本发明不作限定，可以采用本领域技术人员熟知的任何方式，只要能够实现Web服务器对http header中需要跟踪的信息的提取即可。

对于Web服务器来说，其本身需要对客户访问网站的情况进行记录，生成Web服务器日志。Web服务器日志主要用于记录客户机IP地址、访问时间、所在地区等信息。Web服务器可以将所述需要跟踪的日志信息记录至Web服务器日志文件中，从而使得Web服务器记录的信息和应用程序服务器记录的信息统一生成在一个日志文件中，使得日志信息格式统一，便于集中进行分析、并可以减少系统的维护工作量、不需要针对每个应用程序开发不同的日志分析程序。当然，Web服务器也可以将所述需要跟踪的日志信息记录至另一日志文件，则分析访问情况日志和应用跟踪日志这两个日志文件即可，同样解决了将所有应用程序的需要跟踪的信息统一生成为一个日志文件的技术问题。

例如，需要分析在某个电子商务网站投放广告的效果，通过带来的注册会员数量，该会员发布的商业信息数量以及页面访问量三个参数来考核广告的效果。本发明所述的日志文件的生成方法：

在注册会员时，应用程序返回第一日志信息：记录此浏览者是从哪个网站点击过来并注册成会员的。在浏览者发布商机信息时，应用程序返回第二日志信息：记录此浏览者是从哪个网站点击过来并发布了商业信息的。Web服务器将所有需要追踪的信息通过Http Header都记录到Web服务器的日志文件中，并且该日志文件中还有Web服务器记录的客户访问情况。所以，可以只分析Web服务器的日志文件便可以得到所有的分析结果：浏览者访问了哪些页面，页面访问量、某广告带来的注册会员数量以及该会员发布的商业信息数量等，方便进行关联分析，更好的为企业决策提供数据。

Web服务器对应用程序服务器返回的处理结果进行再处理，返回处理结果至客户机的Web浏览器。所述处理结果可以由Http header和Http体组成，但是Http header中不需要在应用程序服务器返回的Http header中增加的头域，例如：Resin-Trace：name1＝value1。应答结束后，Web浏览器与Web服务器断开连接，以保证其它Web浏览器能够与该Web服务器建立连接。

参照图3，是本发明所述的一种日志生成系统的结构示意图。该日志生成系统包括：客户机31，用于连接Web服务器32并发送请求至Web服务器32；Web服务器32，用于发送请求至应用程序服务器33，将应用程序服务器33返回的需要跟踪的日志信息记录至日志文件34中，并返回所述请求的处理结果至客户机31；应用程序服务器33，用于处理所述请求，返回处理结果以及需要跟踪的日志信息至Web服务器32。为了对所述日志生成系统生成的日志文件34进行分析，则还可以包括：日志分析服务器35，用于对所述日志文件34进行分析。优选的，所述应用程序服务器33将需要跟踪的日志信息以HTTP头的形式返回至Web服务器32。优选的，所述的日志文件就是Web服务器日志，将需要跟踪的日志信息加入至Web服务器日志中，并对所述Web服务器日志进行分析。

以上对本发明所提供的一种日志文件的生成方法和系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1、一种日志文件的生成方法，其特征在于，包括：

Web服务器发送请求至应用程序服务器；

应用程序服务器返回处理结果和需要跟踪的日志信息；

Web服务器将所述需要跟踪的日志信息记录至日志文件中。

2、如权利要求1所述的日志文件的生成方法，其特征在于，还包括：

将访问信息记录至所述日志文件中。

3、如权利要求1或2所述的日志文件的生成方法，其特征在于，还包括：

客户机发送请求至Web服务器。

4、如权利要求3所述的日志文件的生成方法，其特征在于，还包括：

Web服务器返回处理结果至客户机。

5、如权利要求1或2所述的日志文件的生成方法，其特征在于，信息传输采用超文本传送协议HTTP。

6、如权利要求5所述的日志文件的生成方法，其特征在于，所述需要跟踪的日志信息以HTTP头的形式返回。

7、如权利要求2所述的日志文件的生成方法，其特征在于，还包括对所述日志文件进行分析。

8、一种日志生成系统，其特征在于，包括：

客户机，用于连接Web服务器并发送请求至Web服务器；

Web服务器，用于发送请求至应用程序服务器，将应用程序服务器返回的需要跟踪的日志信息记录至日志文件中，并返回所述请求的处理结果至客户机；

应用程序服务器，用于处理所述请求，返回需要跟踪的日志信息以及处理结果至Web服务器。

9、如权利要求8所述的日志生成系统，其特征在于，还包括：

日志分析服务器，用于对所述日志文件进行分析。

10、如权利要求8所述的日志生成系统，其特征在于，所述应用程序服务器以HTTP头的形式返回需要跟踪的日志信息。

Images