CN101453361B - 一种网站请求队列管理方法 - Google Patents

Abstract

本发明提出了一种网站请求队列管理方法，针对在缓存队列中丢弃用户请求时，没有考虑被丢弃请求重要性的缺陷，通过WEB服务器日志分析、页面业务交互概率计算和用户请求丢弃等步骤，使得在需要丢弃用户请求的时候，选择最不可能发生业务交互的用户请求进行丢弃，从而在相同的资源情况下提高网站的交易量，增加网站的业务量。

Description

一种网站请求队列管理方法

技术领域

本发明涉及网站服务器系统管理技术领域，具体地，本发明涉及一种网站请求队列管理方法。

背景技术

随着网络带宽的不断增加，网络业务也日益成熟。其中，电子商务作为企业的一种低成本商业运作方式，得到了迅猛的发展。电子商务网站系统一般包括数据库服务器、应用服务器和WEB服务器，数据库服务器存储产品信息和用户信息，应用服务器负责电子商务网站的商务逻辑部分，WEB服务器处理用户请求。

在所有网站的WEB服务器中都需要维护一个请求队列，不能及时处理的用户请求会被放入此请求队列中，等待服务器在有空闲资源时对其进行相应处理。请求队列的控制一般包括两种算法：队列管理算法和队列调度算法，前者在必要时通过丢弃部分请求来管理队列长度；后者决定之后处理哪一个请求。

目前的队列管理方法可以分为两大类：被动式队列管理(PassiveQueue Management，PQM)和主动式队列管理(Active Queue Management，AQM)。PQM首先为队列设置一个最大队列长度，然后接受请求进入队列，当请求达到队列长度的最大值时，之后如果有新请求到达，将采用尾丢弃(drop tail)、随机丢弃(random drop)或头丢弃(drop front)的方式来丢弃部分请求。AQM主要用于路由器中的TCP拥塞控制，通过队列的平均长度预测拥塞的来临，一旦发现拥塞逼近，随机选择一些请求丢弃，这样可以在队列溢出前对拥塞做出反应。可以看出，无论是PQM还是AQM，在丢弃用户请求时，都没有考虑到被丢弃请求的重要程度。

发明内容

为克服现有技术对网站请求队列中的用户请求随机处理的缺陷，本发明提出了一种网站请求队列管理方法。

一种网站请求队列管理方法，包括：

步骤10)、确定网站的目标页面，对网站中所有页面定义出对应的页面模式；

步骤20)、根据统计出的各页面模式的总访问次数和页面模式之间的跳转次数，计算每个页面模式最终跳转到目标页面的概率，分别赋予所述每个页面模式不同的优先级；

步骤30)、在请求队列满时，根据用户请求对应的页面模式的优先级大小，丢弃用户请求。

其中，步骤10)中，目标页面是网站中访问者完成购买或其它诸如注册的预定操作后进入的页面。

其中，在电子商务网站中，目标页面是用户生成订单后的订单信息确认页面。

其中，步骤10)进一步包括，将网站中由同一个服务器脚本和不同输入参数生成的动态页面限定为相同页面模式。

其中，步骤20)进一步包括，对WEB服务器的日志逐行分析，将所述行中的URL字段与步骤10)中定义的页面模式进行匹配，统计所述页面模式的总访问次数。

其中，步骤20)进一步包括，对WEB服务器的日志逐行分析，统计用户从一个页面模式跳转到另一个页面模式的次数。

其中，步骤20)进一步包括，根据所述页面模式的总访问次数和页面模式之间的跳转次数，得出页面模式之间的跳转概率。

其中，步骤20)进一步包括，页面模式最终跳转到目标页面的概率越大，赋予所述页面模式的优先级越高。

其中，步骤30)进一步包括，对所有新的用户请求进行页面模式匹配，确定所述请求的页面模式，并赋予所述请求与页面模式相应的优先级。

通过应用本发明，使得在需要丢弃用户请求的时候，选择最不可能发生目标转化的用户请求进行丢弃，从而在相同的资源情况下提高网站的目标转化量。

附图说明

图1是本发明的一个实施例中WEB服务器处理用户请求的结构图；

图2是本发明的一个实施例的总体流程图；

图3是本发明的一个实施例的初始化流程图；

图4是本发明的一个实施例的WEB服务器日志文件分析的流程图；

图5是本发明的一个实施例的统计页面访问次数的流程图；

图6是本发明的一个实施例的统计页面之间跳转次数的流程图；

图7是本发明的一个实施例的计算目标转化概率的流程图；

图8是本发明的一个实施例的用户请求丢弃流程图；

具体实施方式

下面结合附图和具体实施例，对本发明提供的一种网站请求队列管理方法作进一步说明。

如图1所示，在根据本发明的一个实施例提供的网站请求队列管理方法中，涉及两类实体：客户端和WEB服务器。

其中，客户端指一种实现HTTP协议的软件实体，代替用户向WEB服务器发出HTTP请求，并将WEB服务器的处理结果展示给用户，客户端包括Internet Explorer，Firefox，Opera以及其它用户自己实现的或由第三方提供的浏览器软件。

WEB服务器指网站中直接为用户提供网页服务的软件实体，WEB服务器接收客户端的HTTP请求，并将请求的处理结果返回给客户端。在WEB服务器中包含一个请求队列，用来缓存部分未能及时处理的客户端HTTP请求。

逻辑上，客户端和WEB服务器在IP协议层上是连通的，可以互相交换数据信息，物理上通过各种无线或有线的方式直接连接，连接方式包括xDSL(使用电话线方式进行数据通信的各传输机制)、无线局域网(WLAN)(802.11a、802.11b和802.11g等)、无线广域网(WWAN)(802.16)以及各种以太网接入方式(10Mbps、100Mbps、1000Mbps以及10Gbps)；另外，客户端和WEB服务器也可以通过因特网上的路由器和交换机间接相连。

如图2所示，根据本发明的实施例的一种网站请求队列管理方法主要包括初始化过程、WEB服务器日志分析过程、页面业务交互概率计算过程和请求丢弃过程。

在本实施例中，如图3所示，初始化过程包括以下步骤：

11)、定义网站的目标页面：目标页面是在网站中只有当访问者完成购买或其它某项重要操作(例如注册、信息访问)后才能进入的页面，此操作是根据业务内容预先设定或者根据网站功能可以公知确认的，例如，在电子商务网站中，目标页面是用户生成订单后的订单信息确认页面；

12)、定义相同页面的模式；将网站中由同一个服务器脚本和不同输入参数生成的动态页面限定为相同页面；另外，如果11)中定义了多个目标页面，此时也可以定义页面模式，将多个目标页面限定为一个页面来处理。通常，WEB服务器日志中的动态网页由脚本文件名和参数表示，如“/search.php？key＝xxx”和“/search.php？key＝yyy”。但是某些网站会通过URL重写手段，将网页URL转化成更适合用户记忆和搜索引擎收录的形式，如“/search/xxx.html”和“/search/yyy.html”，此时，应该根据网站的WEB服务器配置属于以上哪一种形式，定义相应的相同页面的模式。在本实施例中，通过定义一系列正则表达式来表示不同的模式，匹配同一个正则表达式的页面视为同一个页面。

例如，对于电子商务网站，一个典型的电子商务网站有几千甚至几十万个页面，其中很多页面都是由同一个服务器脚本文件加不同的输入参数生成的，它们在网站中拥有相同的重要性，将此类页面看成同一个页面，可以大大减少之后计算的复杂度和增加准确度。

如图4所示，WEB服务器日志分析过程包括以下步骤：

21)、根据日志文件中的URL字段统计各页面的总访问次数：将属于12)中定义的同一个模式的页面当成同一页面模式，进而统计各同一页面模式的总访问次数；如图5所示，初始化一个空列表，用来存储每个页面模式与其访问次数，从WEB服务器日志文件中读取一行，对日志行中的URL字段进行模式匹配，所述模式根据12)中定义的模式，找到该页面所属的模式，如果该模式已经存在于列表中，将列表中该模式的访问次数计数加1；否则，认为是新模式，将该模式加入到列表中，计数设为1，读取下一行，直到日志文件结束。

22)、统计页面之间的跳转关系：根据日志文件中的URL字段和推荐(referrer)字段，统计用户从一个页面跳转到另一个页面的次数；如图6所示，初始化一个空列表，用来存储从某个页面模式跳转到另一个页面模式的次数；从日志文件中读取一行，对所读取的日志行中的URL字段和推荐(referrer)字段进行模式表达式匹配，如果列表中已经存在从推荐页面模式跳转到URL字段模式的记录，将该相应跳转记录的计数加1；否则，将该记录认为是新的模式跳转，加入列表，计数设为1，读取下一行，直到日志文件结束。

23)、计算用户从某个页面模式离开网站的次数：用21)中统计的页面模式的总访问次数减去22)中统计的从该页面模式跳转到其它页面模式的次数和，即为用户从该页面模式离开网站的次数。

如图7所示，页面模式目标转化概率计算过程包括以下步骤：

31)、计算页面模式之间的跳转概率：根据WEB服务器日志分析过程统计出来的页面之间的跳转次数，计算页面之间的跳转概率；例如从页面模式A到其他页面的总访问次数为a，从页面模式A跳转到页面模式B的次数为b，则从页面模式A跳转到页面模式B的概率为b/a。

32)、计算每个页面模式的目标转化概率：将用户访问网站时在不同页面之间跳转的过程看成是用户状态的变化，则用户的最终状态只有两种：到达目标页面或到达目标页面之前离开网站，然后计算出每个页面最终跳转到目标页面的概率。例如，可以将用户状态看成一个1阶马尔可夫过程，通过状态转移概率矩阵求取马尔可夫过程的稳定状态，可以得到各页面模式经过多次跳转最终到达目标页面的概率，即各页面模式的目标转化概率。

33)、根据页面模式的目标转化概率大小，赋予页面模式不同的优先级：目标转化概率越大，赋予的优先级越高，在本实施例中，优先级用正整数表示，目标转化概率最大的页面模式优先级为1，目标转化概率第二大的页面模式优先级为2，依此类推，赋予所有页面模式不同的优先级。优先级数值越小，表明优先级越高。

如图8所示，请求丢弃过程包括如下步骤：

41)、当收到新的用户请求Rnew时，对所述请求进行模式匹配，找到请求所属的页面模式，赋予请求相应的优先级；

42)、判断是否需要丢弃部分请求，在本实施例中，采用PQM方式，当队列满时，则需要丢弃请求，找到请求队列中优先级最低的请求Rmin；

43)、丢弃新请求或者队列中所有请求中优先级最低的请求，在本实施例中，比较Rnew和Rmin的优先级，如果Rnew优先级更高，则丢弃Rmin，将Rnew加入到请求队列中；否则，直接丢弃Rnew，接收下一个用户请求。

本发明针对诸如电子商务的不同业务网站，将用户请求按照最终可能转化到目标页面的概率赋予不同优先级，这样，在需要丢弃用户请求时，选择优先级低的请求进行丢弃，因而在相同的条件下网站能完成更多的重要业务，增加了网站的合理的处理能力。

最后应说明的是，以上实施例仅用以说明本发明的技术方案而非对其限制，并且在应用上可以延伸到其他的修改、变化、应用和实施例，同时认为所有这样的修改、变化、应用、实施例都在本发明的精神和范围内。

Claims (10)

1.一种网站请求队列管理方法，包括：

步骤10)、确定网站的目标页面，对网站中所有页面定义出对应的页面模式；

步骤20)、根据统计出的各页面模式的总访问次数和页面模式之间的跳转次数，计算每个页面模式最终跳转到目标页面的概率，分别赋予所述每个页面模式不同的优先级；

步骤30)、在请求队列满时，根据用户请求对应的页面模式的优先级大小，丢弃用户请求。

2.权利要求1的方法，其中，步骤10)中，目标页面是网站中访问者完成购买或者其它预定操作后进入的页面。

3.权利要求2的方法，其中，步骤10)中，所述其它预定操作是注册。

4.权利要求2的方法，其中，在电子商务网站中，目标页面是用户生成订单后的订单信息确认页面。

5.权利要求1的方法，其中，步骤10)进一步包括，将网站中由同一个服务器脚本和不同输入参数生成的动态页面限定为相同页面模式。

6.权利要求1的方法，其中，步骤20)进一步包括，对WEB服务器的日志逐行分析，将所述行中的URL字段与步骤10)中定义的页面模式进行匹配，统计所述页面模式的总访问次数。

7.权利要求1的方法，其中，步骤20)进一步包括，对WEB服务器的日志逐行分析，统计用户从一个页面模式跳转到另一个页面模式的次数。

8.权利要求1的方法，其中，步骤20)进一步包括，根据所述页面模式的总访问次数和页面模式之间的跳转次数，得出页面模式之间的跳转概率。

9.权利要求1的方法，其中，步骤20)进一步包括，页面模式最终跳转到目标页面的概率越大，赋予所述页面模式的优先级越高。

10.权利要求1的方法，其中，步骤30)进一步包括，对所有新的用户请求进行页面模式匹配，确定所述请求的页面模式，并赋予所述请求与页面模式相应的优先级。

Images