CN102098328B

CN102098328B - 超文本传输协议http流关联方法和设备

Info

Publication number: CN102098328B
Application number: CN201010601431.5A
Authority: CN
Inventors: 郭建华
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2010-12-10
Filing date: 2010-12-10
Publication date: 2014-06-11
Anticipated expiration: 2030-12-10
Also published as: EP2640035B1; CN102098328A; WO2012075870A1; EP2640035A1; EP2640035A4; US20130268662A1

Abstract

本发明实施例提供一种超文本传输协议HTTP流关联方法和设备。方法包括：接收的超文本传输协议请求HTTP Get；若所述HTTP Get中不包括参考Referer字段，则将所述HTTP Get中的请求统一资源定位符URL存储至关联记录表；若所述HTTP Get中包括Referer字段，则将所述Referer字段中包含的URL存储至所述关联记录表，并在所述关联记录表中查找相同的URL进行关联匹配。本发明实施例提供的超文本传输协议HTTP流关联方法和设备，将HTTP事件中产生的多个相互关联的流，通过URL进行关联匹配，能够实现对HTTP事件进行准确控制和处理。

Description

超文本传输协议HTTP流关联方法和设备

技术领域

本发明涉及信息技术领域，特别涉及一种超文本传输协议HTTP流关联方法和设备。

背景技术

随着Internet技术和移动互联网的发展，超文本传输协议(HyperTextTransfer Protocol；HTTP)得到了广泛的应用。

HTTP承载的内容通常是超链接标记语言(HTML Hypertext MarkupLanguage；HTML)格式，而HTML包含超链接的功能，会使一次HTTP事件中产生多个相互关联的流。

现有技术针对HTTP事件的控制和处理是基于单个流进行，但由于一次HTTP事件中可能产生多个相互关联的流，因此，现有技术难于准确地对HTTP事件进行控制和处理，例如：HTTP事件计费和统一资源定位符(Uniform Resource Locators；URL)统计不准确，URL过滤不彻底等。

发明内容

本发明实施例提供了一种超文本传输协议HTTP流关联方法和设备，以解决现有技术难于准确地对HTTP事件进行控制和处理的问题。

本发明实施例提供一种超文本传输协议HTTP流关联方法，包括：

接收的超文本传输协议请求HTTP Get；

若所述HTTP Get中不包括参考Referer字段，则将所述HTTP Get中的请求统一资源定位符URL存储至关联记录表；

若所述HTTP Get中包括Referer字段，则将所述Referer字段中包含的URL存储至所述关联记录表，并在所述关联记录表中查找相同的URL进行关联匹配。

本发明实施例还提供一种超文本传输协议HTTP流关联设备，包括：

接收模块，用于接收超文本传输协议请求HTTP Get；

处理模块，用于若所述接收模块接收的HTTP Get中不包括参考Referer字段，则将所述HTTP Get中的请求统一资源定位符URL存储至关联记录表；若所述接收模块接收的HTTP Get中包括Referer字段，则将所述Referer字段中包含的URL存储至所述关联记录表，并在所述关联记录表中查找相同的URL进行关联匹配。

本发明实施例提供的超文本传输协议HTTP流关联方法和设备，将HTTP事件中产生的多个相互关联的流，通过URL进行关联匹配，能够实现对HTTP事件进行准确控制和处理。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的超文本传输协议HTTP流关联方法第一实施例的流程图；

图2为本发明提供的超文本传输协议HTTP流关联方法第二实施例的信令图；

图3为本发明实施例提供的关联记录表结构示意图；

图4为本发明提供的超文本传输协议HTTP流关联设备第一实施例的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明提供的超文本传输协议HTTP流关联方法第一实施例的流程图，如图1所示，该方法包括：

S101、接收的超文本传输协议请求HTTP Get；

S102、若HTTP Get中不包括参考Referer字段，则将HTTP Get中的请求统一资源定位符URL存储至关联记录表；

S103、若HTTP Get中包括Referer字段，则将Referer字段中包含的URL存储至关联记录表，并在关联记录表中查找相同的URL进行关联匹配。

本发明实施例中，执行HTTP流关联方法的设备可以是网关设备(Gateway)，例如：在各种类型的无线3G网络中，可以是网关通用分组无线服务技术(General Packet Radio Service；GPRS)支持节点(GatewayGPRS Support Node；GGSN)、分组业务数据节点(Packet Data ServingNode；PDSN)或报文分组网关(Packet Switch Gateway；PS GW)等，还可以是固网中相关的网关设备，例如：宽带接入服务器(Broadband RemoteAccess Server；BRAS)等。

一个HTTP事件可能会产生多个相互关联的流，例如：用户通过Web客户端或者浏览器访问某一页面时，由于该页面内可能包含超链接，因此，用户可能通过Web客户端或者浏览器与多个服务器建立链接，其中，与每个服务器建立的链接称为一个流，因此，用户通过Web客户端或者浏览器访问某一页面时可能会产生多个流。另外，如果用户访问的页面中不包含超链接，则用户只与一个服务器建立链接，只产生一个单流。

为了便于描述，本发明实施例中将最先产生的流称为主流，将由主流引起的其他流称为从属流。

主流、单流和从属流对应的HTTP Get报文中均携带请求URL，即报文的请求行和主机Host行携带的URL。而主流和单流对应的HTTP Get报文中不包含Referer字段，Referer字段为空，从属流对应的HTTP Get报文中包含Referer字段，由于从属流是由主流所引起的，因此，从属流对应的报文中Referer字段中携带的是主流中的请求URL。

用户通过Web客户端或者浏览器向服务器发起HTTP Get的过程中，该HTTP Get经由网关设备进行转发。网关设备接收到HTTP Get后，可以通过HTTP Get中Referer字段是否为空来判断对应的流是否为从属流，如果HTTPGet中包含Referer字段，则对应的流为从属流；但如果HTTP Get中不包含Referer字段，则对应的流可能是主流，也可能是单流。

网关设备接收HTTP Get的报文时，可以对报文中携带的URL存储到关联记录表，通过各个流的URL进行主流和从流的关联匹配。

具体的：如果网关设备接收到的HTTP Get中不包含Referer字段，则对应的流可能是主流，也可能是单流，网关设备将请求行和Host行携带的URL存储至关联记录表。如果网关设备接收到的HTTP Get中包含Referer字段，则对应的流为从属流，则网关设备将Referer字段中携带的URL存储至关联记录表。由于主流是最先产生的流，因此，当网关设备存储从属流对应报文中Referer字段的URL时，关联记录表中已存储有引起该从属流的主流对应报文中的请求URL，由于从属流对应报文中Referer字段的URL与引起该从属流的主流对应报文中的请求URL是相同的，据此，网关设备可以进行关联匹配，即网关设备可以在存储从属流对应报文中Referer字段的URL时，在关联记录表中查找相同的URL，对二者进行关联匹配。

需要说明的是，由于很多场景下，一个HTTP事件中，一个主流可能引发多个从属流。因此，网关设备在存储一个从属流对应报文中Referer字段的URL时，关联记录表中可能已存储有该主流引发的其他从属流对应报文中Referer字段的URL，因此，网关设备在查找关联记录表进行关联匹配操作时，可能会找到多个相同的URL，这种情况下，网关设备可以将这些URL一并进行关联匹配处理，从而能够从关联记录表中显示一个HTTP事件中产生的所有关联流。

其中，网关设备可以采用多种方式进行关联匹配，例如：可以通过建立索引表的方式，标识记录的方式，或者是其他形式。

本发明实施例提供的超文本传输协议HTTP流关联方法，可以应用于多种场景，例如：在对HTTP事件进行计费时，采用本发明实施例提供的HTTP流关联方法能够识别出该事件中的主流及相关的从属流，因此，能够提高计费的准确性；在进行URL统计的过程中，可以在HTTP统计信息中包含各个相关联的关联信息，从而能够提供带访问层次的统计信息；当需要对HTTP访问进行URL过滤时，可以通过多个流之间的关联，对特定的URL进行准确过滤，实现在滤除主流的同时，将从属流一并滤除。

本实施例提供的超文本传输协议HTTP流关联方法，将HTTP事件中产生的多个相互关联的流，通过URL进行关联匹配，能够实现对HTTP事件进行准确控制和处理。

图2为本发明提供的超文本传输协议HTTP流关联方法第二实施例的信令图，如图2所示，本实施例以用户浏览网页这一HTTP事件为例，对本发明提供的HTTP流关联方法进行详细说明，但并不以此作为对本发明的限制，本发明提供的HTTP流关联方法还适用于多种应用场景。

该方法包括：

S201、用户在Web客户端或浏览器输入www.abc.com。

S202、用户的浏览器首先通过域名系统(Domain Name System；DNS)或者本地DNS缓存，获取到www.aaa.com对应的互联网协议(InternetProtocol；IP)地址。

S203、浏览器和该IP地址对应的Web服务器(Server)A建立一个传输控制协议(Transmjssion Control Protocol；TCP)连接，即产生一个流。

S203中产生的流为HTTP事件中最先产生的流，即主流。

S204、用户浏览器在这个主流上向Web服务器A发送HTTP Get；

由于该HTTP Get是在主流上发送的，因此，按照HTTP协议，该请求中不包含Referer字段，报文的请求URL，即报文请求行和Host字段的URL是www.aaa.com。

S205、网关接收该HTTP Get，识别出该请求中不包含Referer字段，则网关从HTTP Get报文的请求行和Host字段中提取出请求URL www.aaa.com存储在关联记录表中。

由于该请求中没有Referer字段，因此，网关可以初步判断出该请求对应的流不是从属流，可能是主流或者单流。

进一步的，如果HTTP Get对应的流是主流，则该请求的文件名后缀是html、php、asp、aspx、shtml或shtm，并且该请求对应的HTTP应答中可以包含超链接；如果HTTP Get对应的流是单流，则该请求的文件名后缀不是上述列举的这些后缀，并且该请求对应的HTTP应答中不包括超链接，因此，网关可以据此判断单流的情况，并在关联记录表中删除所述HTTP Get中的请求URL。

或者是，如果HTTP Get对应的流为单流，则没有与该单流相关联匹配的其他流存在，据此，如果关联记录表中存储的URL在设定时间内未进行关联匹配，则网关可以将未进行关联匹配的URL删除。

网关可以采用以上方式将关联记录表中存储的单流对应的URL记录删除，从而节约网关的存储空间。

S206、网关将该HTTP Get转发给Web服务器A。

S207、Web服务器A在这个主流上返回应答HTTP 200。

其中，HTTP 200为与HTTP Get对应的HTTP应答，该应答报文的Content-type字段为：text/html，即该HTTP 200报文承载的的内容中可包含超链接，例如，可以链接到www.bbb.com等多个站点的资源。

S208、网关解析出该HTTP应答中的content-type为text/html。

S209、网关将该HTTP 200应答转发给用户的浏览器。

S210、用户的浏览器解析出该HTTP 200中的超链接。

S211、用户的浏览器根据解析出超链接www.bbb.com/b.jpg，依据HTML协议自动与www.bbb.com对应的Web服务器B建立一个TCP连接，即产生一个从属流。

S212、用户的浏览器在这个从属流上发送HTTP Get，该请求报文的请求行和Host字段中的URL为www.bbb.com/b.jpg，Referer字段中的URL为www.aaa.com，即与主流上发送的HTTP Get的请求URL一致。

S213、网关接收到从属流上的HTTP Get，识别出该请求中包含Referer字段。

由于该请求中包含Referer字段，因此，网关识别出该流为从属流，网关将该请求的请求URLwww.bbb.com/b.jpg和Referer字段中存储的www.aaa.com存储到关联记录表中，并且将其对应的流标识为从属流。网关可以在关联记录表中查找相同的URL进行关联匹配。由于主流对应的请求URLwww.aaa.com已存储在关联记录表中，因此，网关能够找到主流对应的请求URL，并将其对应的流标记为主流。

需要说明的是，网关识别出HTTP Get中包含Referer字段，则网关可以识别出该请求对应的流为从属流。如果HTTP Get对应的HTTP应答中包含超链接，网关可以进一步确定对应的流为从属流。HTTP Get对应的HTTP应答中包含超链接这一特征可以协助网关辅助确定对应的流为从属流。

在S213中，网关完成了一个从属流和主流的关联匹配。

S214、网关将该HTTP Get转发给Web服务器B。

S215、Web服务器B回应HTTP 200的应答。

S216、网关将Web服务器B的HTTP 200应答转发给用户的浏览器。

浏览器检查是否还有其他超链接需要建立从属流。如果应答中还包括其他的超链接，则浏览器和其他超链接对应的服务器之间建立TCP链接，产生其他的从属流，即在此执行S211-S216的步骤。

最终，在关联记录表中能够标识出多个流之间的相互关联，这种匹配关联可以通过索引的形式建立，参见图3，当然还可以采用其他可行的方式建立多个流之间的匹配关联。

S217、浏览器将多个关联流获取的内容进行整合后，为用户呈现出一个完整的Web页面。

此次用户浏览事件完成。

另外，需要说明的是，由于各个不同的用户可能同时通过浏览器浏览相同的网页，这种情况下，为了将不同用户产生的多个流进行准确关联，还可以在关联记录表中记录的每个URL上标记客户标识信息，该客户标识信息用于对发送HTTP Get的客户端进行唯一标识。可以是IP地址，端口号或者媒体访问控制(Media Access Control；MAC)地址等标识信息。

本实施例仅以用户浏览网页这一场景为例对本发明提供的HTTP流关联方法进行说明，本发明实施例提供的HTTP流关联方法，还可以应用在HTTP事件计费、URL统计或URL过滤等多种场景，在此不一一列举。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

图4为本发明提供的超文本传输协议HTTP流关联设备第一实施例的结构示意图，如图4所示，该设备包括：接收模块11和处理模块12；

其中，接收模块11，用于接收HTTP Get；

处理模块12，用于若接收模块11接收的HTTP Get中不包括Referer字段，则将HTTP Get中的请求统一资源定位符URL存储至关联记录表；若接收模块11接收的HTTP Get中包括Referer字段，则将Referer字段中包含的URL存储至关联记录表，并在关联记录表中查找相同的URL进行关联匹配。

在前一实施例的基础上，

接收模块11还可以用于：接收HTTP Get对应的HTTP应答；

处理模块12还可以用于：若接收模块11接收的HTTP应答中包含超链接，则将关联记录表中存储的HTTP Get中Referer字段中的URL对应的流标记为从属流，并将与Referer字段中的URL关联匹配的URL对应的流标记为主流。

进一步的，处理模块12还用于：将关联记录表中存储的URL标记客户标识信息，客户标识信息用于对发送HTTP Get的客户端进行唯一标识。

进一步的，处理模块12还用于：若接收模块11接收的HTTP Get对应的HTTP应答中不包括超链接，则在关联记录表中删除所述HTTP Get中的请求URL。

进一步的，处理模块12还用于：若关联记录表中存储的URL在设定时间内未进行关联匹配，则将未进行关联匹配的URL删除。

本实施例提供的超文本传输协议HTTP流关联设备，将HTTP事件中产生的多个相互关联的流，通过URL进行关联匹配，能够实现对HTTP事件进行准确控制和处理。

本实施例提供的超文本传输协议HTTP流关联设备，是实现本发明实施例提供的HTTP流关联方法的功能设备，该设备可以是网关设备(Gateway)，例如：GGSN、PDSN或PS GW等，还可以是固网中相关的网关设备，例如：BRAS等。本实施例提供的HTTP流关联设备执行HTTP流关联方法的具体过程与前述方法实施例相对应，具体可参见前述的方法实施例，在此不再赘述。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种超文本传输协议HTTP流关联方法，其特征在于，包括：

网关设备接收超文本传输协议请求HTTP Get；

若所述HTTP Get中不包括参考Referer字段，则所述网关设备将所述HTTP Get中的请求统一资源定位符URL存储至关联记录表；

若所述HTTP Get中包括Referer字段，则所述网关设备将所述Referer字段中包含的URL和所述HTTP Get中的请求URL存储至所述关联记录表，并在所述关联记录表中查找与所述Referer字段中包含的URL相同的URL进行关联匹配；

若所述HTTP Get中包括Referer字段，则还包括：

所述网关设备接收所述HTTP Get对应的超文本传输协议HTTP应答；

若所述HTTP应答中包含超链接，则所述网关设备将所述关联记录表中存储的所述HTTP Get中Referer字段中的URL对应的流标记为从属流，并将与所述Referer字段中的URL关联匹配的URL对应的流标记为主流。

2.根据权利要求1所述的方法，其特征在于，还包括：

所述网关设备将所述关联记录表中存储的URL标记客户标识信息，所述客户标识信息用于对发送所述HTTP Get的客户端进行唯一标识。

3.根据权利要求2所述的方法，其特征在于，若所述HTTP Get中不包括Referer字段，则还包括：

若所述HTTP Get对应的HTTP应答中不包括超链接，则所述网关设备在所述关联记录表中删除所述HTTP Get中的请求URL。

4.根据权利要求2所述的方法，其特征在于，还包括：

若所述关联记录表中存储的URL在设定时间内未进行关联匹配，则所述网关设备将未进行关联匹配的URL删除。

5.一种超文本传输协议HTTP流关联设备，其特征在于，包括：

接收模块，用于接收超文本传输协议请求HTTP Get；

处理模块，用于若所述接收模块接收的HTTP Get中不包括参考Referer字段，则将所述HTTP Get中的请求统一资源定位符URL存储至关联记录表；若所述接收模块接收的HTTP Get中包括Referer字段，则将所述Referer字段中包含的URL和所述HTTP Get中的请求URL存储至所述关联记录表，并在所述关联记录表中查找与所述Referer字段中包含的URL相同的URL进行关联匹配；

所述接收模块还用于：若所述HTTP Get中包括Referer字段，则接收所述HTTP Get对应的超文本传输协议HTTP应答；

所述处理模块还用于：若所述接收模块接收的HTTP应答中包含超链接，则将所述关联记录表中存储的所述HTTP Get中Referer字段中的URL对应的流标记为从属流，并将与所述Referer字段中的URL关联匹配的URL对应的流标记为主流。

6.根据权利要求5所述的超文本传输协议HTTP流关联设备，其特征在于，所述处理模块还用于：将所述关联记录表中存储的URL标记客户标识信息，所述客户标识信息用于对发送所述HTTP Get的客户端进行唯一标识。

7.根据权利要求6所述的超文本传输协议HTTP流关联设备，其特征在于，所述处理模块还用于：若所述HTTP Get中不包括Referer字段，所述接收模块接收的HTTP Get对应的HTTP应答中不包括超链接，则在所述关联记录表中删除所述HTTP Get中的请求URL。

8.根据权利要求6所述的超文本传输协议HTTP流关联设备，其特征在于，所述处理模块还用于：若所述关联记录表中存储的URL在设定时间内未进行关联匹配，则将未进行关联匹配的URL删除。