CN103257989B - 网页下载时间分析 - Google Patents

Abstract

公开了网页下载时间分析。描述了一种用于确定网页下载时间的系统和方法。从流量记录或PDU收集HTTP事务数据。从流量记录中提取订户IP地址，HTTP URI和引用。使用订户IP地址来识别订户记录，并使用HTTP URI来识别已配置的网页。然后，确定用于该HTTP事务的处理路径。该处理路径选自下列路径之一：用于已配置的页面的新页面下载路径；用于与现有页面下载相冲突的HTTP事务的冲突路径；和用于已被跟踪的工件页面的页面对象路径。

Description

网页下载时间分析

相关申请的交叉引用

本申请要求2011年12月27日提交的、且标题为“Determining Web Page DownloadTimes(确定网页下载时间)”的美国临时专利申请号为61/580,463于申请日的所有权益，其公开的内容在此全部引入以作参考。

背景技术

通常，跨越不同的设备、浏览器和网络，访问网站上页面所需的时间变化。网页访问的时间可被用来评估这些设备、浏览器和网络的运行。例如，网页下载时间关键绩效指标(KPI)可定义为：从订户向浏览器输入网页URL的那一刻起，直到与该网页相关的所有工件(artifact)都被下载并且浏览器呈现的页面完成的时刻所经过的时间。

由于若干原因，移动网络运营商有可能对网页下载时间的KPI感兴趣。网页下载时间KPI是移动订户体验和满意度的客观度量，特别是由于网页浏览是用于移动网络的首要服务。网页下载时间KPI允许网络运营商检测网络中特定的手机型号或手机软件版本的问题，并要求手机制造商提供这些问题的修复方法，以减少客服电话。移动网络运营商还可以使用网页下载时间KPI对托管网站和门户进行检查和微调以获得最佳订户体验。例如，可以设置阈值和警报来检测托管的网页或第三方网页的平均性能何时降低，这可能指示网络相关问题。

该网页下载时间KPI可用来评估向订户提供用于网页浏览服务的上行链路和下行链路的吞吐率。此外，移动网络运营商可以使用网页下载时间KPI来精确定位其中服务被减低的网络位置。

目前，测量网页下载时间KPI的最直接且最精确的方法是在Web浏览器中嵌入软件代理。然后，软件代理将网页下载时间报告给中央数据收集实体。由于浏览器精确知晓该网页何时开始下载和结束下载，并且知晓检索多少对象，因此浏览器代理可以提供高精确的网页下载时间KPI。然而，这种方法并不切合实际，因为它需要适于数量庞大的手机，浏览器和订户代理的软件代理。此外，订户的隐私问题使得其用于全网应用为不现实的方法。

嵌入式网页脚本(如JavaScript)可用于在网页中嵌入逻辑，以触发发送网页下载统计到服务器。一旦网页完成下载并再现，浏览器自动执行命令，如计算和发送网页下载统计。但是，这种方法不能用于缺少这些嵌入式脚本的网页，或不能用于缺少JavaScript功能的手机或笔记本电脑。此外，由于TCP堆栈控制帧和重传对浏览器而言是不可见的，因此这些统计不能包括吞吐量和其它测量。

在没有访问订户浏览器数据的被动监控系统中，这些和其它已知的用于测量网页下载时间的方法是不可行的。因此，网络运营商必须使用评估网页下载时间的其它方法以为不同订户确定网页下载时间KPI。

发明内容

在此描述用于确定网页的下载时间的系统和方法的实施例。例如，网页下载时间可用于测量网络中的订户体验质量(QoE)。尽管下述示例指为移动网络，但是这些技术可以被应用到任何公共或私有网络，如内联网，互联网，局域网(LAN)，或广域网(WAN)。网络运营商可以由诸如设备、浏览器、配置、软件版本、节点、单元、链路、接口或任意其它网络参数，在不同观点上评估网络操作。该KPI被用来评估整体网络性能，用以得到总体趋势或者评估用于特定区域或配置的性能。例如，使用本文的所述网页下载时间KPI，网络运营商可以比较不同设备、浏览器或网络单元的操作，并根据需要使用此信息来调整网络性能。

使用多数用户和设备广泛使用的一组预定义网页来收集网页下载时间KPI，其考虑到在不同尺度和网段上进行对等比较(apples-to-apples comparison)。该KPI可被用于测量上行链路和下行链路的吞吐量、数据量和数据速度。

在一些实施例中，本文所述的一种或多种方法可由一个或多个计算机系统执行。在另外实施例中，有形计算机可读存储介质可以具有存储在其上的程序指令，其由一个或多个计算机或网络监控系统执行，其导致一个或多个计算机系统来执行本文所公开的一个或多个操作。在又另一些实施例中，系统可以包括至少一个处理器和耦合到所述至少一个处理器的存储器，该存储器被配置为存储由所述至少一个处理器可执行的程序指令，以执行一个或多个本文所公开的操作。

附图说明

现在来参考附图，其中：

图1是示出根据一个实施例的用于分析网页下载时间的顶层逻辑的流程图。

图2是在移动网络中从示例数据捕获下载的HTTP对象的表。

图3是示出根据一些实施例的网络监控环境的框图。

图4是根据一些实施例的被配置实现本文所述的各种系统和方法的计算机系统的框图。

具体实施方式

虽然本说明书提供了若干实施例和说明性附图，但本领域普通技术人员应当意识到，本说明书并不仅限于所述的实施例或附图。应当理解的是，附图和详细描述并非旨在将说明书限制到所公开的特定形式，但是，与此相反，其旨在涵盖属于权利要求的精神和范围内的所有修改、等同物和替代物。此外，这里所用的任何标题仅用于组织的目的，并非旨在限制描述的范围。如本文所用词语“可能(may)”意思是表达许可的含义(即，意为“有潜力”)，而不是强制性含义(即，意为“必须”)。类似地，词语“包括(include)”，“包含(including)”和“包括(includes)”含义均为“包括，但不限于”。

在确定网页下载时间(WPDT)的KPI时，按照一些其它方法所建议的那样，跟踪用户可能访问的所有网页是不切实际的。最初问题是难以精确地定义哪些构成网页。使用移动网络上的每个用户可能访问的数以百万计的很少被访问的网页，对于计算WPDT KPI来说是毫无用处和精确度可言。而是，本文所述用于监控和报告WPDT测量的系统重点在于跟踪被频繁访问的预定义网页集合。该频繁访问网页集合提供了标准化基础，用于跟踪和比较跨越整个移动网络和不同用户设备家庭上的相同数据。

该被频繁访问网页集合可被定义在包括若干主要服务URL的配置列表中。例如，下述网站列表在移动网络上的多个位置处接收每小时数以千计的访问或者“点击”，并且提供来自于众多不同设备类型的大量数据：

www.google.com，

www.facebook.com，和

www.cnn.com/index.shtml。

此外，通过寻找共同子域，自动跟踪这些页面的移动变量，以作为独立且不同的测量，如：

m.google.com，

mobile.google.com，

iphone.google.com，

android.google.com，和

touch.google.com。

针对给定网站，这些可能子域的每个可能并不存在，但由于仅仅将跟踪在业务流量中实际观测到的那些子域，因此不会影响系统行为。

除了网页URL之外，为了测量目的，该系统考虑配置页面终止标记，其用来确定所请求的网页何时完成下载。例如，当从设备经由HTTP请求URL时，网页下载时间开始，并且当满足下列条件之一时，认为页面下载完成：

——主URL HTTP请求失败，代码为400+，或者请求重定向，代码为300+，

——遇到页面停止标记，

——用户点击另一页面，或

——在页面对象下载之间检测到4秒沉默。

页面停止标记是表示页面终止的特定URI模式。由于在页面已经呈现于浏览器之后许多网页实际上还没有停止下载，因此页面停止标记非常重要。在该场景后，更多的活动继续发生，例如页面点击计数器报告，分析报告，Twitter或Facebook小工具更新，RSS订阅或消息滚动行刷新。由于对于设备上的用户而言该网页已经可用，因此这种活动不应该针对网页下载时间而被计数。页面停止标记用来确保此“额外”活动不被包含在相关下载时间的计算中。在其被加载之后在网页上最丰富的额外活动的示例之一就是谷歌分析报告。一旦页面完成，浏览器就通过使用URI发出GET请求来向谷歌分析服务器报告统计结果，该URI以“www.google-analytics.com/_utm.gif？utmv＝”为开始。这可以被用作任何网页页面完成的可靠指示。对于不使用谷歌分析的网站，可以配置其它停止标记。

对于在HTTP流量中观测到的每一个配置网页，可以提供如下尺度和测量信息的示例：

尺度：

URL

网络节点

订户(IMSI)

设备类型(例如，IMEI或IMEISV)

接入点名称(APN)

移动IP

小区ID

无线电接入技术(RAT)类型

流量处理优先级

测量：

开始时间

持续时间

状态

HTTP响应代码

对象数量

页面大小评估

上行链路/下行链路网络字节

上行链路/下行链路网络分组

上行链路/下行链路有效字节

上行链路/下行链路重发

上行链路/下行链路平均吞吐量

往返时间平均

TCP设置时间平均

应用程序响应时间平均

可以理解的是，该系统还可提供其它的尺度和测量，并且这并不是排他列表。

如网络操作所需要的，因此报告引擎可以在多个尺度上并且跨越不同的时间帧，来聚集并呈现数据，例如来自Tektronix公司的Iris Performance Intelligence (Iris效能智慧，IPI)。

本文所述该算法的实施例使用HTTP流量记录作为输入，其包含零个或一个完成的HTTP事务。为了简单起见，下面的描述假定单事务记录；然而，在聚集或HTTP流水线的情况下，该相同的逻辑可以应用于例如分组数据单元(PDU)流或者多事务流量记录。

在该系统中使用如下数据结构来跟踪网页数据：

——已配置的网页URL及其停止标记的表

——订户网页(SUB_MAP)映射，其包括：

关键字：订户的IP地址和链接ID

值：URI与相关页面数据对象(URI_MAP)的映射

——页面数据对象(PDO)，包含其中以下信息：

主页面URL

下载起始时间

最终工件时间

网络节点(例如，GGSN/SGSN/RNC/SGW/eNB)的IP地址

用户位置信息(例如，小区)

接入点名称

用户代理

各种字节和分组的计数

TCP往返时间(RTT)

应用程序响应时间(ART)

GTP流量处理优先级(THP)

对于在任意时间上的给定订户，该算法和数据结构考虑到了任何数量的同步唯一网页下载。

尽管本文所述的算法重点在于其中移动订户信息可用的核心移动接口(例如，Gn和S1-U/S1)，但该算法同样地可以适用于移动数据中心或固定宽带环境，其中并不存在这类信息而且仅仅通过IP地址来识别订户。

图1是示出根据一个实施例的用于分析网页下载时间的顶层逻辑的流程图。在步骤101中，该系统接收流量记录，并且在步骤102中检查该流量记录，以验证它具有至少一个HTTP事务。如果该流量记录针对其它协议或者针对没有事务的HTTP，则该过程移到步骤103，并且该算法忽略该流量记录。

如果该流量记录具有HTTP事务，则在步骤104中提取该链接标识符，订户IP地址，HTTP主机，URI和引用。在步骤105中，在订户映射(SUB_MAP)中使用订户IP地址和链接ID来查找订户记录。在步骤106中，在已配置的网页表中查找该主机和URI，来决定如何处理该HTTP事务。

如果主机和URI与已配置网页表(例如，www.facebook.com)中的条目并不匹配，则该过程移到步骤107，在该步骤中其评估订户记录。若订户记录为空(即，没有为该订户跟踪特定网页)，则该过程在步骤108结束。若订户记录不为空(即，正在为该订户跟踪网页)，则过程移到步骤109，在该步骤中，流量记录被视为网页的潜在工件，其使用如下所述的PROCESS_PAGE_OBJECT逻辑已被跟踪。此后，该过程在步骤110结束。

返回到步骤106，如果该主机和URI与已配置的网页列表(例如，www.facebook.com)中的条目相匹配，则过程移到步骤111，在该步骤其评估订户记录。若订户记录为空，则该过程移到步骤112，在该步骤应用如下所述CREATE_NEW_PAGE逻辑。在此路径中，流程记录是该订户首次点击新网页。然后，该过程在步骤113结束。

在步骤111中，如果订户记录不为空，则过程移到步骤114，在此步骤中流量记录与现有网页跟踪相比较。如果流量记录与已被跟踪的网页之间存在冲突，则过程移到步骤115，在此步骤中应用如下所述HANDLE_COLLISION逻辑。然后，该过程在步骤116中结束。

在步骤114，如果流量记录与已被跟踪的网页之间不存在冲突，则该过程移到步骤117，在此步骤中应用如下所述的CREATE_NEW_PAGE逻辑。然后，该过程在步骤118中结束。

使用CREATE_NEW_PAGE逻辑来处理新网页的下载：

当在步骤112或117中确定新配置的网页正在被下载，则该算法执行以下步骤：

1)如果需要，在订户映射(SUB_MAP)中创建订户条目。

2)创建新的页面数据对象(PDO)，并使用主网页URI作为关键字插入到订户的URI_MAP中。

3)查找订户GPRS通道协议(GTP)会话的上下文。例如，该信息可以在网络监控探头的存储器中实时可获取。

4)从GTP会话上下文中：(a)提取IMSI，IMEI，APN，RAT类型，ULI，THP，端点网络节点IP地址，及(b)将这些参数填充到PDO中。

5)从流量记录中：(a)提取事务起始时间，字节/分组的计数，ART，RTT和其它测量，及(b)填充到PDO中。

6)检查该事务是否具有重定向或者失败的响应代码(例如，HTTP301为重定向，HTTP304(未经修改)是成功的响应代码，并且任何其它400以上的响应代码都被认为是失败的)。

7)在重定向或失败的情况下，认定该页面完成，并例如，经由事务详细记录(XDR)报告给上流应用。

8)如果HTTP响应代码表示成功，则向该URI映射中插入第二URI关键字，并将其与相同的PDO关联。

9)启动用于该PDO记录的生命周期计时器。可以根据系统中流量记录的传递等待时间来选择该计时器的值。例如，可选择值为60秒，以确保关闭它之前接收与页面相关的所有工件。

第二URI关键字(上述半括号8)与以下事实相关，即大多数网页使用多级间接下载多种样式表(.css)和JavaScript(.js)工件。继而，这些对象之一可能触发一打其它对象的下载。此外，这些对象的URI往往非常长。

为了简化流量记录处理并且更有效地使用存储器资源，形式为“hostname/！jscss！”的第二URI关键字被插入到URI映射中用于后续搜索。例如，如果跟踪网页“m.cnn.com”，则将“m.cnn.com/！jscss！”URI添加到URI映射中。

第二URI关键字的实际模式并不重要，只要保证它不与任何有效的URI发生冲突即可。URI映射中的这个条目意味着所有来自于“m.cnn.com”的具有CSS或JavaScript的工件都会作为引用，其将朝向该页面下载被计数，并且由此，该算法在适当处理多级间接对象同时，就能避免在查找映射中插入许多冗长的查找URI。

使用HANDLE_COLLISION逻辑来处理页面下载冲突：

当该系统已经正在跟踪网页(例如，“www.google.com”)，并且然后看到HTTP请求到相同的页面时出现这个处理路径。多种情况可能导致网页下载冲突：

——用户在同一页打开另一个浏览器窗口；

——用户点击浏览器上的刷新按钮；

——浏览器刷新页面本身，该行为在某些设备和浏览器中被观测到。

前两种情况(新浏览器窗口或浏览器刷新)通常导致用于第一页面实例的页面下载数据不可使用。例如，当第二请求到来的那一刻，该页面有可能已呈现在浏览器中，或也可能还未呈现在浏览器中。所以，在这种情况下，该系统将检查用于第一页面的最后工件下载时间和第二HTTP请求之间的时间差。如果该时间差超过一定的阈值，在一个实施例中其可能默认为10秒，则第一页面被视为正常完成并将照此被报告。否则，第一页面下载被关闭并报告COLLISION状态。具有这种状态的页面不应被用于KPI计算。

第三种情况(浏览器自刷新)可以通过检查引用字段而检测到。其将与该网页的主URL完全一样。此时从用户的角度看来，由于该页面并没有完成与呈现，因此该算法仅仅考虑该PDO中的该对象，并且继续跟踪该页面。

使用PROCESS_PAGE_OBJECT逻辑来处理页面对象：

当到达这一逻辑分支时，已经有一个或多个网页被订户跟踪。该系统需要确定即将到来的HTTP事务是否属于这些网页之一，该即将到来的HTTP事务是否表示网页下载结束，或者这是否是无关的对象。

首先，该算法检查引用字段。如果引用字段为空，则该工件通常不属于任何跟踪的网页，除非是下载收藏夹图标的情况。浏览器自动地从该网页请求图标，而不必填写引用字段。例如，访问“www.cnn.com”将触发下载“www.cnn.com/favicon.ie9.ico”。如果该URI的扩展名是^*.ico，则该算法将在URI_MAP中搜索主机，并且如果发现，将该图标与该页面进行关联。否则，该对象将被忽略。

接着，该算法将在URI_MAP中搜索引用字段的匹配。这可以是精确匹配，或可以是一种具有特定“www.host.com/！jscss！”URI模式的CSS/JavaScript模式匹配(即，在引用以扩展.js或.css结束的情况下)。如果没有发现匹配，则该对象被忽略。

在此处，系统已确定HTTP工件通过引用关系(或可能通过多级间接引用)与页面下载相关。在此处可能有三种决策分支：

1)该对象表示页面下载结束？

如果HTTP URI与配置的页面停止标记之一相匹配，则页面完成。如果该对象请求时间从最后下载页面对象的结束超出默认时长(例如，4秒)，则认为该页面完成。

2)该对象应该朝向页面下载被计数？

某些内容类型不应当被计入到下载中。例如在页面被呈现之后很久，嵌入式视频和音频文件还可能会继续渐进式下载。

3)该对象表示点击关闭页面？

如果该对象的内容类型表示点击关闭页面，则该网页完成。某些内容类型仅仅意味着用户已点击了链接，例如，诸如PDF文件，Microsoft Word文档，ZIP文件等。

例如，如果该对象的内容类型是text/html，则它可能表示点击其它网页，或者点击属于当前页面的一个对象。通常，该算法不能区分这两种情况，因此任何HTML工件下载都被假定为关闭页面的“点击”。为了处理其中HTML对象实际上是同一页面的一部分的不常见情况，该系统允许用户配置零个或多个必被认定为是已有页面下载的一部分，而非“点击”关闭页面的URI模式。例如，参考图2中的数据，如第5，6，7，14，16和18行所示，系统将配置URI模式为“mdb？”，“client_204”和“generate_204”。

在处理HTML内容类型时，该算法必须验证URI扩展名，以确保它不是一个图片(例如，^*.jPg，^*.png等)，因为许多网站对于媒体工件不适当地填写内容类型，并且这可能触发做出错误结束页面的决定。

如果上述逻辑确定该网页完成，则将其报告给上流应用程序，并从SUB_MAP和URI_MAP中移除所有相关条目。

否则，如果确定该对象为当前下载的一部分，则更新相应PDO中的计数器和其它信息，并且重启该网页的生命周期计时器。此外，URI_MAP使用这个工件进行更新，这是由于其有可能作为后继工件的引用(图片对象除外)。对于CSS/JavaScript对象，该系统并不需要添加完整引用，而是仅仅添加特定JS/CSS模式——如果其尚未存在于用于该主机的映射中。对于其它类型工件，完整的URI被添加到映射中以通过引用来拾取后续对象。

下列表1和表2包含基于HTTP流量记录捕获的示例数据比较，其中移动用户从移动设备登陆到网站主页，其被重定向到网站的移动版本，并且然后，在网页下载完毕后(表1)，用户点击刷新来重新下载网页(表2)。该表示出通过检查使用网络协议分析器(如分析器)捕获的实际数据而获取的实际参数，与Tektronix公司的GeoProbe G10探头所报告的实际结果相比较。

表1

表2

如表1和表2中所示的，实际参数对照监控系统的检测结果几乎完全相同。表中所示的轻微差异是由于原始捕获与重放该捕获进行分析时流量发生器向探头进行馈送之间的若干毫秒时间差。

图2是参考表1和表2中所示出的从捕获下载的HTTP对象的表200。首次下载(表1)对应于表200中第3至11行的HTTP事务，并且二次下载(表2)对应于表200的第13至30行的HTTP事务。

图3示出根据某些实施例的网络监控环境的框图。特别地，电信网络300包括网络节点302，303和端点301，304。例如，网络300可包括无线宽带网络，4G网络，4G网络，4GPP长期演进/服务架构演进(LTE/SAE)网络，网络语音电话(VoIP)网络，IP多媒体子系统(IMS)网络等。尽管在图1中只示出了两个节点302、303和两个端点301、304，但应当理解的是，网络300可以包含任意数量的节点和端点。此外可以理解的是，网络300中的节点302、303和端点301、304可以任何适当的方式相互连接，包括被耦合到一个或多个其它节点和/或端点。

在一些实施方式中，用户设备端点301可代表，例如，计算机，移动设备，用户设备(UE)，客户端应用程序，服务器应用程序等等。同时，节点302、303可以是位于内联网，互联网，或公共数据网络中的部件，诸如路由器或网关。节点302、303也可以是位于4G或4G无线网络中的部件，例如GPRS业务支持节点(SGSN)，GPRS网关支持节点(GGSN)或边界网关通用分组无线服务(GPRS)网络，CDMA 2000网络中的分组数据服务节点(PDSN)，LTE/SAE网络中的移动管理实体(MME)，或者任何其它核心网络节点或路由器，其在用户设备301和网页服务器304之间传递数据分组或消息。

用于用户设备301的每个通信会话都可以具有不同的起始和停止时间，并可能受到不同网络流量的约束。在每个会话期间，用于该会话的可用带宽可能多次改变。此外，在给定会话期间，可能会启动和停止数据流。

由于在用户设备301和网页服务器304之间交换数据，因此许多分组横越链路305和节点302，303。这些分组可以代表多个不同的会话和协议。例如，如果用户设备301用于语音或视频呼叫，那么它可使用实时传输协议(RTP)，与SIP/VoIP服务器(即，另一端点101)交换语音互联网协议(VoIP)或会话发起协议(SIP)分组。如果用户设备301用于发送或检索电子邮件，则它可与电子邮件服务器交换因特网消息访问协议(IMAP)、邮局协议4协议(POP3)或者简单邮件传输协议(SMTP)消息。如果用户设备301用于下载或流传输视频，它可以使用实时流协议(RTSP)建立和控制与视频服务器的多媒体会话。可替换地，用户设备301可以使用超文本传输协议(HTTP)访问多个网站，与网页服务器304交换数据分组。可以理解的是，设备301和304之间交换的分组可遵守现在已知的或者后期开发的大量其它协议。

网络监控系统306可用于监控网络100的性能。特别地，监控系统306捕获跨越用户设备301，节点302、303，网页服务器304和/或其它端点之间的链路或接口305，和/或跨越任何其它网络链路或连接(未示出)传输的分组。在一些实施例中，可以将分组捕获设备非侵入地耦合到网络链路305，来捕获跨越该链路传输的基本上所有分组。尽管在图3中仅仅示出了3条链路305，但应当理解的是，在实际网络中在网络节点之间有可能存在数十个或数百个物理的、逻辑的或虚拟的连接和链路。在某些情况下，网络监控系统306可以耦合到这些链路的全部或者大百分比。在另外一些实施例中，监控系统306可以仅仅耦合到网络300的一部分，如仅仅耦合到与特定运营商或服务提供商关联的链路。分组捕获设备可以是网络监控系统306的一部分，如线路接口卡，或可以是从不同位置远程耦合到网络监控系统306的独立部件。

因此，网络监控系统306可被配置为对用于通信会话的相关数据分组进行取样(例如，不突出地)以便不考虑支持会话所使用的协议(例如，HTTP，RTMP，RTP等)，而跟踪用于每次会话和每个客户端的相同用户体验的信息集。例如，如下文更加详细的描述，通过识别、计算和/或确定网页下载时间，监控系统306可以能够识别关于每个用户体验的某些信息。例如，服务提供商可以使用该信息调整对于用户设备301可用的网络服务，诸如分配给每个用户的带宽，以及通过网络300的数据分组的路由。

监控系统306可以包含一个或多个处理器，其运行一个或多个用以收集、关联和/或分析来自网络300的媒体和信令数据分组的软件应用程序。监控系统306可包含协议分析器、会话分析器和/或流量分析器的功能，其通过由网络300上的链路、节点、应用程序和服务器来表征IP流量，提供OSI(开放系统互连)的第3层到第7层故障排除。在一些实施例中，这些操作可由诸如来自Tektronix公司可用的工具集来提供，尽管可能存在或者后期开发其它合适的工具。将网络监控系统306耦合至链路305的分组捕获设备可以是高速高密的10GE探头，其被优化来处理高带宽IP流量，诸如同样从Tektronix公司可用的G10，尽管可能存在或者后期开发其它合适的工具。服务提供商或网络运营商可以经由具有显示器或图形用户接口的用户接口站307来访问来自监控系统306的数据，如IRISVIEW可配置软件框架，其为多个应用程序提供单式集成平台，包括到客户体验管理系统、运营支撑系统(OSS)和业务支持系统(BSS)应用程序的馈送，其也从Tektronix公司可得到，尽管可能存在或者后期开发其它合适的工具。

监控系统306还可以包括内部或外部存储器308，用以存储捕获的数据分组、用户会话数据以及配置信息。监控系统306可以捕获并关联链路305上的关联特定数据会话的分组。在一些实施例中，相关分组能够被关联并结合到用于网络300上的特定流量、会话或电话的记录中。这些数据分组或消息可在捕获文件中被捕获。跟踪应用程序可被用来将消息分类为事务，并且创建流量记录和事务详情记录。

由于网络300的能力朝向10GE，并可超过10GE(例如，100GE)增加，因此，每条链路305都可以支持更多的用户流量和会话。因此，在一些实施例中，每条链路305可以是一条10GE链路或者是多条10GE链路的集合(例如，一条或多条100GE链路)，其支持成千或上万的用户或者订户。多数订户都具有多个活动的会话，这可能导致任意时刻在链路305上天文数目的活动流量，

其中每个流量包括许多分组。

网络监控系统306的方面可以由一个或多个计算机系统来实现或者执行。图4示出了一种这样计算机系统。在各个实施例中，计算机系统400可以是服务器，主机计算机系统，工作站，网络计算机，台式计算机，笔记本电脑等。例如，在某些情况下，图3中所示的前端监控探头305可以被实现为计算机系统400。正如上文所解释的，在不同的实施例中这些不同的计算机系统可以被配置为以任何合适的方式彼此进行通信，例如像经由网络300。

如所示出的，计算机系统400包括一个或多个处理器401A-N，其经由输入/输出(I/O)接口403耦合到系统存储器402。计算机系统400还包括耦合到I/O接口403的网络接口410，和一个或多个输入/输出设备404，如光标控制设备405，键盘406，和一个(或多个)显示器407。在一些实施例中，给定的实体(例如，网络监控系统306)可以使用计算机系统400的单个实例来实现，而在另外实施例中，多个这样系统或者构成计算机系统400的多个节点可以被配置为主控实施例的不同部分或实例。例如在一个实施例中，一些元件可以经由计算机系统400的一个或多个节点来实现，这些节点区别于实现其它元件的那些节点。

在多个实施例中，计算机系统400可以是包含一个处理器401A的单处理器系统，或包含两个或更多个处理器401A-N(例如，两个，四个，八个，或其它合适的数量)的多处理器系统。一个(或多个)处理器401A-N可以是能够执行程序指令的任意处理器。例如在各个实施例中，一个(或多个)处理器401A-N可以是执行任意多样指令集结构(ISA)的通用或嵌入式处理器，如x86、 或ISA，或者任何其它合适的ISA。在多处理器系统中，一个(或多个)处理器401A-N中的每一个可能是常用的，但没必要都执行相同的ISA。另外，在一些实施例中，至少一个(多个)处理器401A-N可以是图形处理单元(GPU)或其它专用图形再现设备。

系统存储器402可被配置为存储(多个)处理器401A-N可访问的程序指令和/或数据。在多个实施例中，系统存储器402可以使用任何适当的存储器技术来实现，如静态随机访问存储器(SRAM)，同步动态RAM(SDRAM)，非易失性/闪存型存储器，或任何其它存储器类型。如所示出的，诸如例如本文所述那些执行某些操作的程序指令和数据，可以分别作为程序指令408和数据存储409而被存储在系统存储器402内。在其他实施例中，程序指令和/或数据可被接收、发送或者存储于不同类型计算机可访问介质上，或者与系统存储器402或计算机系统400分离的类似介质上。一般而言，计算机可访问介质可以包括任何有形的、非暂时性存储介质或者诸如磁性或光学介质的存储介质——例如，经由I/O接口403耦合到计算机系统400的磁盘或CD/DVD-ROM。

本文所使用的术语“有形的(tangible)”和“非暂时性的(nontransitory)”旨在描述排除传播电磁信号的计算机可读存储介质(或“存储器”)，但并非旨在另外对由短语计算机可读介质或存储器包括的物理计算机可读存储设备类型进行限制。例如，术语“非暂时性计算机可读介质”或“有形存储器”旨在包含无需永久存储信息的存储设备类型，例如包括随机存取存储器(RAM)。以非暂时性的形式存储于有形计算机可访问存储介质上的程序指令和数据还可以由诸如电、电磁或数字信号之类的传输介质或信号来传输，其经由例如网络和/或无线链路之类的通信介质来传送。

在一个实施例中，I/O接口403可以被配置为协调处理器401、系统存储器402以及设备中任何外设之间的I/O流量，该任何外设包括网络接口410或其它外围接口，如输入/输出设备404。在一些实施例中，I/O接口403可以执行任意必需的协议、定时或其它数据的转换，以将来自一个部件(例如，系统存储器402)的数据信号转换成一种适于另一部件(例如，(多个)处理器401A-N)使用的格式。在一些实施例中，I/O接口403可以包括用于通过各种类型外设总线附连的设备的支持，例如，诸如外围部件互连(PCI)总线标准或通用串行总线(USB)标准的变型。在一些实施例中，I/O接口403的功能可被分成两个或更多个独立部件，例如诸如北桥和南桥。此外，在一些实施例中，I/O接口403的部分或全部功能——诸如到系统存储器402的接口——可以直接并入到(多个)处理器401A-N中。

网络接口410可以被配置为允许在计算机系统400与附连到网络300的其它设备(例如其它计算机系统)之间进行数据交换，或者允许在计算机系统400的节点之间进行数据交换。在各个实施例中，网络接口410可以经由有线或无线通用数据网络，例如诸如任何适当类型的以太网网络；经由电信/电话网络，例如模拟语音网络或数字光纤通信网络；经由存储区域网络，例如光纤通道SAN；或者经由任何其它适当类型的网络和/或协议支持通信。

在一些实施例中，输入/输出设备404可以包含一个或多个显示终端，键盘，小键盘，触摸屏，扫描设备，语音或光学识别设备，或者任何其它适于由一个或多个计算机系统400输入或检索数据的设备。多个输入/输出设备404可以存在于计算机系统400中，或者可以被分布在计算机系统400的不同节点上。在一些实施例中，类似的输入/输出设备可以与计算机系统400相分离，并通过有线或无线连接(例如经由网络接口410)与计算机系统400的一个或多个节点进行交互。

如图4中所示的，存储器402可以包括程序指令408，其被配置为执行本文所述的某些实施例，以及数据存储409，其包括可由程序指令408可访问的各种数据。在一个实施例中，程序指令408可包括图3中所示的实施例的软件元件。例如，在不同实施例中，可使用任何所需的编程语言，脚本语言，或者编程语言和/或脚本语言的结合(例如C，C++，C#， 等)来执行程序指令408。数据存储409可包括这些实施例中所使用的数据。在其它实施例中，可能包括其它的或不同的软件元件和数据。

本领域普通技术人员可以理解的是，计算机系统400仅仅是说明性的，并非意在限制本文所述公开内容的范围。特别是，该计算机系统和设备可包含能够执行指定操作的硬件或软件组合。此外，在一些实施例中，由图示的部件所执行的操作可以被更少的部件所执行，或者被分布于附加部件上。类似地，在其他实施例中，某些所示部件的操作可能没有被执行，和/或其它附加操作可能是可用的。因此，本文所述的系统和方法可以被其它计算机系统配置来实施或执行。

本文所描述的各种技术可以由软件、硬件或它们的组合来实现。其中执行给定方法的每步操作的顺序可以被改变，并且本文所示出的系统的各种元素都可以被增加，重排，组合，删除，修改等。应当理解的是，本文所讨论的各个操作都可以被同步和/或顺序地执行。还应当理解的是，每个操作可以以任意顺序被执行，并且可被执行一次或重复。得益于本说明书的本领域普通技术人员显然可以做出各种修改和变化。本文所述的(多个)发明旨在包括所有这些修改和变化，并且因此，上述描述应被视为是说明性的而非限制性的意义。

Claims (19)

1.一种用于网页下载时间分析的方法，其包括：

由一个或多个计算机系统执行，

接收HTTP 事务数据；

从所述HTTP事务数据提取主机和URI；

使用在HTTP事务数据中的IP地址和链路标识符来检索订户记录；

评估所述主机和URI是否对应于已配置的网页；

如果所述网页被配置，则评估所述订户记录是否已经跟踪网页数据；以及

如果所述订户记录尚未跟踪网页数据，则在所述订户记录中创建所述网页的新条目；

当经由HTTP请求URI时，网页下载时间开始；

如果所述HTTP URI与已配置网页的停止标记相匹配，如果对象请求超出了沉默期，或者如果内容的类型表示请求关闭页面，则网页完成下载。

2.根据权利要求1所述的方法，还包括：

如果所述订户记录已经跟踪网页数据，则评估所述HTTP事务数据是否对应于现有网页条目；和

如果HTTP事务数据没有对应于在所述订户记录中的现有网页条目，则在所述订户记录中创建用于所述网页的新条目。

3.根据权利要求1所述的方法，其中创建用于所述网页的新条目进一步包括：

使用主页URI作为关键字向所述订户记录中插入新的页面数据对象；

提取事务起始时间、字节/分组计数，和来自所述HTTP事务数据的其它测量，来填充所述页面数据对象；和

启动用于所述页面数据对象的生命周期定时器。

4.根据权利要求3所述的方法，其中选择生命周期计时器的值，以确保在所述页面数据对象关闭之前接收到与所述网页相关的所有工件。

5.根据权利要求3所述的方法，进一步包括：

如果在所述HTTP事务数据中出现重定向或者失败响应代码，则将所述网页数据报告至其它应用程序。

6.根据权利要求3所述的方法，进一步包括：

如果HTTP响应代码表示成功，则将第二URI关键字插入到URI映射中；

将所述第二URI关键字与所述页面数据对象相关联。

7.根据权利要求3所述的方法，进一步包括：

从订户GTP会话上下文中提取订户和设备数据；和

在所述页面数据对象中填充所述订户和设备数据。

8.根据权利要求1所述的方法，进一步包括：

如果所述订户记录已跟踪网页数据，则评估所述HTTP事务数据是否对应于现有网页条目；和

如果所述HTTP事务数据对应于所述订户记录中的现有网页条目，则为所述订户记录中的所述网页更新新条目。

9.根据权利要求8所述的方法，进一步包括：

检查第一网页最后工件的下载时间与第二HTTP请求的时间之间的时间差；

如果所述时间超出阈值，则报告所述第一网页适当地完成；和

如果所述时间未超出阈值，则关闭第一网页下载，并将所述第一网页从关键绩效指标（KPI）计算中移除。

10.根据权利要求8所述的方法，还包括：

检查所述HTTP事务数据中的引用字段；和

如果引用字段与所述网页的主URL相同，则继续跟踪所述网页，并向所述网页数据增加数据。

11.根据权利要求1所述的方法，进一步包括：

如果所述网页未被配置，则评估所述订户记录是否已经跟踪网页数据；和

如果所述订户记录已经跟踪网页数据，则处理来自所述HTTP事务数据的页面对象数据。

12.根据权利要求11所述的方法，进一步包括：

识别网页已经完成下载；和

报告所述页面数据对象为完成的。

13.根据权利要求11所述的方法，进一步包括：

识别在HTTP事务数据中嵌入的音频或视频内容；并且

不包括与来自所述页面数据对象的所述音频或视频内容关联的数据。

14.一种网络监控系统，其包括：

处理器；和

耦合到所述处理器的存储器，所述存储器在上存储计算机可执行指令，当一个或多个处理器执行所述计算机可执行指令时，导致所述处理器执行一种用于确定网页下载时间的方法，所述处理器操作以：

维持所述存储器中已配置的网页URL和停止标记的表；

维持所述存储器中的订户映射，所述订户映射使用订户IP地址和链路标识符进行索引，并映射到与页面数据对象相关联的URI；并且

维持所述存储器中的页面数据对象。

15.根据权利要求14所述的网络监控系统，所述处理器进一步操作以：

在所述页面数据对象中存储一个或多个如下项目：主页URL，下载起始时间，最后工件时间，网络节点IP地址，用户位置信息，用户代理，字节计数和分组计数。

16.根据权利要求14所述的网络监控系统，其中所述页面停止标记是表示所述网页结束的特定URI模式。

17.根据权利要求14所述的网络监控系统，所述处理器进一步操作以：

为每个已配置的网页存储一个或多个如下尺度：URL，网络节点，订户标识符，设备类型，接入点名称，移动IP，小区标识符，无线接入技术类型，和流量处理优先级。

18.根据权利要求14所述的网络监控系统，所述处理器进一步操作以：

为每个已配置的网页存储一个或多个如下测量：起始时间，持续时间，状态，HTTP响应代码，对象数量，页面大小的估计，上行链路/下行链路的网络字节，上行链路/下行链路的网络分组，上行链路/下行链路的有效字节，上行链路/下行链路的重发，上行链路/下行链路的平均吞吐量，平均往返时间，平均TCP建立时间，以及平均应用程序响应时间。

19.一种有形电子存储介质，其上存储有程序指令，其由计算机系统内的处理器执行时，导致所述计算机系统：

识别与HTTP事务相关联的流量记录；

从流量记录提取订户IP地址，HTTP URI和引用；

使用所述订户IP地址来识别订户记录；

使用所述HTTP URI来识别已配置的网页；和

确定用于所述 HTTP事务的处理路径，所述处理路径选自下列路径之一：

用于已配置的页面的新页面下载路径；

用于与现有页面下载相冲突的HTTP事务的冲突路径；和

用于已被跟踪的工件页面的页面对象路径。