CN101971591B

CN101971591B - 分析网址的系统及方法

Info

Publication number: CN101971591B
Application number: CN200780050598.3A
Authority: CN
Inventors: 丹·哈伯德; 艾伦·谢
Original assignee: Websense LLC
Current assignee: Websense LLC
Priority date: 2006-12-01
Filing date: 2007-11-29
Publication date: 2014-03-12
Anticipated expiration: 2027-11-29
Also published as: WO2008069945A3; WO2008069945A2; CA2671183A1; CN101971591A; EP2090058A2; EP2090058B1; US20080133540A1; US9654495B2; DE602007006048D1; ATE465587T1; AU2007328397A1

Abstract

本发明提供一种用于识别网络上的网站中的活动内容的系统及方法。一个实施例包含一种将网址分类的方法。一个实施例可包含一种基于对未经归类的URL的分析而产生指示与所述URL相关联的网站含有活动或其它目标内容的信誉或可能性的得分。在某些实施例中，仅从URL串确定所述得分。其它实施例包含经配置以执行此类方法的系统。

Description

分析网址的系统及方法

相关申请案交叉参考

本申请案主张2006年12月1日提出申请的第60/868305号美国临时申请案的权益且以全文引用的方式并入有所述临时申请案。

技术领域

本申请案涉及数据及应用程序安全。明确地说，本申请案揭示收集及挖掘数据以基于其网址预测网站的内容或性质的系统、方法。

背景技术

传统上，计算机病毒及其它恶意内容最常通过将受感染磁盘或某些其它物理媒体插入到客户端计算机中而提供给所述计算机。随着电子邮件及因特网的使用的增加，电子邮件附件成为一种用于将病毒代码分布到计算机的流行的方法。为使计算机感染这些具有恶意内容的类型的病毒，通常需要用户做些肯定性的动作，例如打开受感染文件附件或从网站下载受感染文件并在其计算机上启动所述文件。随着时间推移，防病毒软件制造商开发出经设计以扫描文件且在所述文件有机会感染客户端计算机之前便对其进行杀毒的日益有效的程序。因此，迫使计算机黑客创建更精明且创新的方法来使计算机感染其恶意代码。

在当今连网日益增加的数字世界中，分布式应用程序经开发以向开放的合作连网环境中的用户提供越来越多的功能性。在这些应用程序更为有力且复杂的同时，其增加的功能性需要网络服务器以更完整的方式与客户端计算机互动。举例来说，如果先前web应用程序主要经由HTTP后命令向客户端浏览器提供HTML内容且从客户端接收回数据，则许多新web应用程序经配置以向客户端计算机发送致使应用程序在更新的web浏览器的经增强特征内被启动的各种形式的目标内容(例如，活动内容)。举例来说，许多基于web的应用程序现在利用必须下载到客户端计算机才可有效地利用的Active-X控件。在某些情形下，Java小应用程序、Java脚本及VB脚本命令也具有修改客户端计算机文件的能力。

与功能性的这些增加一起到来的方便性尚未在无成本的情况下实现。更新的web应用程序及内容明显地比先前应用程序环境更有力。因此，更新的应用程序还提供将恶意代码下载到客户端计算机的机会。另外，随着操作系统及web浏览应用程序的复杂性的增加，识别可允许黑客将恶意代码传递到客户端计算机的安全薄弱环节变得更为困难。虽然浏览器及操作系统供应商通常发布软件更新以补救这些薄弱环节，但许多用户尚未配置其计算机以下载这些更新。因此，黑客已开始写恶意代码及应用程序，所述恶意代码及应用程序在不依赖用户的任何特定活动(例如启动受感染文件)的情况下利用这些薄弱环节将其自身下载到用户的机器。此攻击的一个实例是在网站上使用嵌入到活动内容对象中的恶意代码。如果所述恶意代码已经配置以利用web浏览器中的薄弱环节，则用户可能因对所述页面的仅一次访问而受到所述恶意代码的感染或损害，因为所述页面中的目标内容将在用户的计算机上执行。

解决嵌入活动内容中的恶意代码的问题的尝试是在web浏览器上利用加强的安全设定。然而，在许多公司环境中，内网或外网应用程序经配置以向客户端计算机发送可执行内容。将浏览器设定到高安全等级往往阻碍或妨碍对这些类型的“安全”应用程序的有效使用。解决所述问题的另一尝试是使用网络防火墙应用程序来阻止所有可执行内容。此强力方法在许多环境中也是无效的，因为对某些类型的内容的选择性存取对于软件正确地工作来说是必需的。

发明内容

本发明的系统、方法及装置各自具有数个方面，任何单一方面均不能单独地负责其所需的属性。在不限定由以上权利要求书表达的本发明范围的情况下，现在将简要论述本发明的更显著的特征。在考虑此论述之后，且尤其是在阅读标题为“具体实施方式”的部分之后，人们将理解本发明的特征如何提供包含对具有目标内容的网站的经改进的检测的优点。

一个实施例包含一种用于控制对web内容的存取的方法。所述方法包括接收对至少一个统一资源定位符(URL)的请求。所述方法进一步包括产生与所述URL相关联的活动内容的指示符。所述指示符基于与所述URL的至少一个分量相关联的数据。所述方法进一步包括至少部分地基于所述至少指示符来确定是否允许所述请求。

另一实施例包含一种用于控制对web内容的存取的系统。所述系统包括经配置以接收对至少一个统一资源定位符的请求的网关服务器模块。所述系统进一步包括经配置以产生与所述URL相关联的活动内容的指示符的URL分析模块。所述指示符基于与所述URL的至少一个分量相关联的数据。所述系统进一步包括经配置以识别与所述URL相关联的策略的策略模块。所述系统进一步包括经配置以至少部分地基于所述至少指示符及所述策略来确定是否允许所述请求的内容过滤模块。

一个实施例包含一种用于控制对web内容的存取的系统。所述系统包括用于接收对至少一个统一资源定位符的请求的构件。所述系统进一步包括用于产生与所述URL相关联的活动内容的指示符的构件。所述指示符基于与所述URL的至少一个分量相关联的数据。所述系统进一步包括用于识别与所述URL相关联的策略的构件。所述系统进一步包括用于至少部分地基于所述至少指示符及所述策略来确定是否允许所述请求的构件。

附图说明

在本说明中，将参照图式，其中在所有图式中相同的部件用相同的编号来表示。

图1是根据本发明的方面的系统的各种组件的框图。

图2是来自图1的工作站模块的框图。

图3是来自图1的网关服务器模块的框图。

图4是登录数据库的实例。

图5是URL存取策略数据库表的实例。

图6A及6B分别是经归类的及未经归类的URL的实例。

图7是来自图1的数据库管理模块的框图。

图8是来自图7的收集系统的框图。

图9是来自图8的是收集模块的框图。

图10显示根据本发明某些方面的蜂蜜客户端系统。

图11是由来自图9的收集模块收集的URL相关数据的实例。

图12是图解说明来自图7的计分及归类模块的框图。

图13A是特性表的实例。

图13B是经处理的网页特性表的实例。

图13C是定义表的实例。

图14是图解说明来自图7的培训模块的一个实施例的框图。

图15是图解说明来自图12的活动分析系统的一个实施例的框图。

图16是描述在一个实施例中如何在网关服务器模块中处置URL的流程图。

图17是描述根据某些实施例网关服务器模块可如何结合策略模块处置URL的流程图。

图18是描述收集系统可如何在网关服务器模块内处置URL的流程图。

图19是描述收集系统可如何在数据库管理模块内处置URL的流程图。

图20是数据挖掘系统的框图。

图21是图解说明在数据库管理模块内将URL归类的方法的一个实施例的流程图。

图22是图解说明识别图21的方法中的URL的特性的方法的一个实施例的流程图。

图23是图解说明基于图21的方法中的URL特性将URL归类的方法的一个实施例的流程图。

图24是图解说明识别在图22及23的方法中用于将URL归类的特性的方法的一个实施例的流程图。

图25是图解说明基于与所请求的网址相关联的指示符控制对web内容的存取的方法的一个实施例的流程图。

具体实施方式

以下详细说明针对本发明的某些具体实施例。然而，本发明可以权利要求书所界定及所涵盖的多种不同方式来体现。在本说明中，将参照图式，其中在所有图式中相同的部件用相同的编号来表示。

某些实施例提供识别及归类在由统一资源定位符(URL)识别的位置处发现的web内容(包含潜在地可执行web内容及恶意内容)的系统及方法。如本文中所使用，潜在地可执行web内容通常指代包含由web浏览器或web客户端计算机执行的指令的任何类型的内容。潜在地可执行web内容可包含(举例来说)小应用程序、嵌入HTML或其它超文本文档(包含例如Java脚本或VB脚本的脚本语言)中的可执行代码、嵌入其它文档(例如微软字处理软件宏或样式单)中的可执行代码。潜在地可执行web内容还可指代执行另一位置(例如另一网页、另一计算机)中或web浏览器计算机本身上的代码的文档。举例来说，包含“对象”元素且因此可引起对ActiveX或其它可执行分量的执行的HTML网页通常可被视为潜在地可执行web内容，不论所述可执行分量的位置如何。恶意内容可指代不可执行但经计算以利用客户端计算机上的薄弱环节的内容。然而，潜在地可执行web内容也可以是恶意内容。举例来说，当处理图像文件以供显示时，已使用那些图像来利用某些操作系统中的薄弱环节。此外，恶意web内容还可指代互动内容，例如其中HTML形式或其它web内容经设计以看似由另一通常可信任的网站(例如银行)提供以欺骗用户将凭证或其它敏感信息提供给未经授权方的“网络钓鱼(phishing)”方案。

系统说明

图1提供实例性系统的顶级图解。所述系统包含网络110。网络110可以是局域网、广域网或某一其它类型的网络。网络110可包含一个或一个以上工作站116。工作站116可以是附接到所述网络的各种类型的客户端计算机。客户端计算机116可以是桌上型计算机、笔记本计算机、手持式计算机或其类似物。所述客户端计算机还可用允许其通过各种软件模块(例如web浏览器、电子邮件程序或其类似物)利用所述网络的操作系统来加载。

工作站116中的每一者可与网关服务器模块120电连通。所述网关服务器模块可驻留在网络110的边缘处以使得发送到因特网112及从因特网112发送的业务可在进入到网络110中或从网络110中离开的途中经过所述网关服务器模块。网关服务器模块120可采取安装于服务器上的软件模块的形式，所述服务器充当到更广区域网络112而非工作站116所直接附接到的网络110的网关。还连接到因特网112的是数据库管理模块114。所述数据库管理模块也可以是驻留在一个或一个以上计算装置上的软件模块(或者一个或一个以上硬件用具)。数据库管理模块114可驻留在包含某一类网络连接硬件(例如，允许数据库管理模块114向及从因特网112发送及接收数据与信息的网络接口卡)的机器上。

在图1的实例性系统中，工作站116中的一者或一者以上可经由因特网112与一个或一个以上搜索引擎113通信。搜索引擎113通常是接收对信息的用户请求的网站及与所提交的用户请求的参数相关的网站。众所周知的搜索引擎的实例是谷歌(Google)、雅虎(Yahoo)及百问(Ask.com)。

在图1的实例性系统中，工作站116中的一者或一者以上可经由因特网112与一个或一个以上辛迪加式网站115通信。辛迪加式网站115提供对来自所述网站的内容的web馈送。通常，来自辛迪加式网站115的内容由安装于客户端工作站116上的web馈送读取器存取。

现在参照图2，呈现工作站116的更详细视图。工作站116可包含工作站模块130。工作站模块130可采取经安装以在工作站116的操作系统上运行的软件的形式。或者，工作站模块130可以是在由工作站116远程地启动的另一机器上运行的应用程序。

工作站模块130可包含各种组件。所述工作站模块可包含记录工作站116上所存储的所有web内容的本地活动内容模块132的编目。举例来说，本地内容编目模块132可周期性地对所有本地内容进行编目。可将经编目的数据上载到网关服务器模块120以供与经归类的URL/内容数据库146相比较，下文更详细地论述数据库146。本地内容编目模块132可通过与工作站116中所含有的经编目的本地内容相比较来确定是否将新内容引入到工作站116。

工作站模块130还可包含一个或一个以上上载/下载模块134及一个或一个以上URL请求模块136。上载/下载模块134可用于通过网关服务器模块120从因特网112且到网络110发送及接收数据。URL请求模块136可从用户或某一系统过程接收数据请求且经由网关服务器模块120发送所述请求以检索与所述请求相关联的文件及/或内容。所述请求可以是对搜索引擎113做出的搜索引擎请求。响应于所述搜索，搜索引擎113可基于搜索参数而返回一个网站或网站列表(及通向那些网站的链接)。所述请求还可以是对辛迪加式网站115做出的内容请求。响应于所述请求，辛迪加式网站115可返回到所请求的内容的一个URL链接或URL链接列表。为便于解释，术语“网络请求”用于包含经由搜索引擎113对内容的用户请求或经由web馈送读取器发送到辛迪加式网站115的请求。图1的系统监视及/或修改响应于所述网络请求而返回的数据以抑制讨厌的或恶意内容可被用户获得。

通常，上载/下载模块134及URL请求模块136中的每一者的功能由软件应用程序(例如web浏览器，其中Internet

莫兹拉火狐(Mozilla Firefox)、欧普拉(O、游猎(Safari)作为此项技术中众所周知的浏览软件的实例)执行。这些功能还可由其它类型的软件(例如web馈送读取器、即时消息接发程序、对等文件共享应用程序、数字媒体播放器应用程序(例如

RealPlayer、Quicktime)或某些其它应用程序)执行。

或者，可将所述模块的功能划分在不同的软件应用程序中。举例来说，FTP应用程序可执行上载/下载模块134的功能，而web浏览器执行将请求发送到搜索引擎的功能。web馈送读取器应用程序可将对内容的请求发送到辛迪加式网站115。其它类型的软件也可执行上载/下载模块134的功能。虽然这些类型的软件在工作站上通常是不合需要的，但例如间谍软件(Spyware)或特洛伊木马(Trojan Horses)的软件可做出请求以从因特网发送及接收数据。

工作站模块130可与网关服务器模块120通信。网关服务器模块120可用于分析传入及传出web业务且做出关于所述业务可对工作站116产生的影响的各种确定。现在参照图3，提供网关服务器模块120的实例。网关服务器模块120与工作站116进行双向通信。网关服务器模块120可从工作站模块130接收文件上载及下载以及URL请求。网关服务器模块120还与因特网112进行双向通信。因此，在网络110的工作站116内发起的请求在其继续到因特网时可能必须经过网关服务器模块120。在某些实施例中，网关服务器模块120可与保护网络110免遭来自因特网112的未经授权的入侵的某一防火墙硬件或软件成整体。在其它实施例中，网关服务器模块120可以是独立硬件用具或甚至安装于驻留在到因特网112的网络网关处的单独网关服务器上的软件模块。

如以上所论述，网关服务器模块120可通过工作站模块130从工作站116接收URL请求及上载/下载数据。网关服务器模块120可包含基于所接收的数据而执行各种功能的各种组件。

包含于网关服务器模块120中的一个特征是经归类的URL/内容数据库146。URL数据库146可用于存储关于URL的信息，所述信息包含与所述URL相关联的数据。经归类的URL/内容数据库146可以是关系数据库，或者其可以例如平面文件、面向对象的数据库的其它形式来存储，且可经由应用程序编程接口(API)或某一数据库管理软件(DBMS)来存取。URL数据库146通常可用于帮助确定是否将准许完成由URL请求模块136发送的URL请求。在一个实施例中，将存储于URL数据库146中的URL归类。

网关服务器模块120还可包含策略模块142。策略模块142可用于实施关于网关服务器模块102或安装在网络110内的防火墙或某一其它安全软件将如何处置某些内容的网络策略。在一个实施例中，策略模块142可经配置以提供关于如何处置对经归类的URL的URL请求的系统引导。举例来说，网关服务器模块120经配置以不允许被归类为“恶意”或“间谍软件”的URL请求。在其它实施例中，策略模块142可用于确定如何处置尚未被归类的URL请求。在一个实施例中，所述系统可经配置以阻止对不在经归类的URL/内容数据库146中的URL的所有请求。策略模块142还可经配置以基于做出请求的用户或做出请求的时间而允许未经归类的URL的某些请求。此允许所述系统在(例如)配置将不满足运行网关服务器模块120的组织的商业需要时避免具有通用型(one-size-fits-all)配置。

网关服务器模块120可包含收集模块140。收集模块140可以是用于收集关于URL的数据的软件程序、例程或过程。在一个实施例中，当从URL请求模块136接收到对来自辛迪加式网站115的内容的因特网请求时，收集模块140可经配置以访问与辛迪加式网站115相关联的网站且将数据下载到网关服务器模块120以由网关服务器模块120的组件进行分析。所下载的数据还可经由因特网112发送以递送到数据管理模块114(下文将更详细地论述)。

在某些实施例中，网关服务器模块120还可包含登录数据库144。登录数据库144可执行各种功能。举例来说，其可存储网络110内的某些类型的事件的纪录。在一个实施例中，登录数据库144可经配置以记录其中工作站116请求未经归类的URL的每一事件。在某些实施例中，登录数据库144还可经配置以记录请求特定未经归类的URL的频率。此信息可用于确定未经归类的URL是否应具有特别重要性或优先级且应在较早所接收的数据之前由数据库管理模块114归类。在某些实施例中，可将未经归类的URL单独地存储于未经归类的URL数据库147中。

举例来说，某一间谍软件可经写入以从特定URL请求数据。如果网络110内的许多工作站116感染有所述间谍软件，则到特定URL的重复请求可提供所述网络内存在某一异常的指示。所述登录数据库还可经配置以记录经归类的URL数据的请求。在某些实施例中，将经归类的URL的请求归类可有助于确定是否已误特征化特定URL。

现在参照图4，论述登录数据库144的实例。登录数据库包含四个数据列。第一列“页面请求号”152指示特定URL已由网络110内的用户请求的次数。第二列“URL”154记录被登录在登录数据库144中的特定URL串。因此，当向登录数据库144发送URL时，所述数据库可首先经搜索以确定所述URL串是否已在其中。如果不在其中，则可将所述URL串添加到所述数据库。在某些实施例中，收集模块140可经配置以访问所请求的URL且采集关于所述URL的数据。收集模块140可检索所请求的URL的页面源且对其进行扫描以取得可指示一种类型的内容的关键字。举例来说，如果所述页面源包含“javascript://”，则所述页面可被识别为具有Java脚本。尽管此内容并非固有地危险，但具有Java脚本的网页可具有包含经设计以利用浏览器应用程序处置Java脚本函数调用的方式的恶意内容的较大机会。在某些实施例中，可在登录数据库144中将此数据存储于Java脚本列155中。所述登录数据库还可从包含Active-X内容的页面接收类似信息且将所述内容存储于ActiveX列156内。在其它实施例中，可检测其它类型的活动内容并将其存储为java小应用程序、VB脚本及其类似物。

再次参照图3，网关服务器模块120可进一步包含IT接口模块148。接口模块148可用于允许组织内的网络管理员或其它技术人员配置网关服务器模块120的各种特征。在某些实施例中，接口模块148允许所述网络管理员或某一其它网络管理类型配置策略模块142。

网关服务器模块120可进一步包括URL分析模块149。URL分析模块149经配置以基于URL及与所述URL相关联的数据分析所述URL。与URL相关联的数据可包含信誉数据。web信誉数据的实例包含与URL主机及与URL主机名称服务器相关联的数据。下文参照URL分析模块149论述web信誉数据的额外实例。

网关服务器模块120还可包含内容过滤模块150。内容过滤模块150可结合所述策略模块及经归类的URL/内容数据库146工作以过滤响应于网络请求而返回的搜索结果的若干部分。在一个实施例中，内容过滤模块150可经配置以从响应于发送到因特网搜索引擎113的用户请求而返回的URL列表移除URL链接及其它内容。以举例而非限定方式，内容过滤模块150可经配置以辨识传出搜索引擎查询。由搜索引擎113返回到客户端工作站116的页面可由网关服务器模块120拦截且由内容过滤模块150分析。内容过滤模块150可经配置以剖析所返回的页面且识别所返回的搜索结果中的URL链接及嵌入式内容项(例如图像或活动内容)。

可将每一经识别的URL链接或内容项与URL/内容数据库146中的数据相比较以确定是否已将所述URL归类。如果已将所述URL归类，则向所述策略模块咨询关于如何处置所述内容的指令。举例来说，策略模块142可指令内容过滤模块150移除通向被归类为“恶意”或“间谍软件”的网页的URL链接。另外，内容过滤模块150还可经配置以基于讨厌的内容在URL/内容数据库146中的存在及归类而从所返回的搜索引擎结果移除所述内容。在一个实施例中，内容过滤模块150可经配置以基于由URL分析模块149提供的信息而过滤内容。

现在参照图5，提供URL存取策略数据库158的实例。策略模块142可使用URL存取策略数据库158来实施用于由网络110内的工作站116存取基于web的内容的策略。在所显示的实施例中，URL存取策略数据库158包含具有四个列的表。第一列是用户列160。“用户”列160包含关于服从所述表的给定行中所界定的策略的用户的数据。下一列“类别”162列出可应用由所述行界定的策略的内容的类别。第三列“始终阻止”164表示当用户及所请求的内容的类别162匹配所述特定行中所界定的用户及类别时由系统实施的行为或策略。在一个实施例中，“始终阻止”字段可以是其中可将数据设定为真或假的布尔类型(Boolean-type)字段。因此，在所述数据表中所示的第一行中，策略模块142经配置以“始终阻止”用户“asmith”对“恶意内容”的请求。

如上所述，策略模块142还可经配置以实施基于不同的时间的策略。在图5中所提供的实施例中，第四列“允许的时间”166提供此功能性。第二数据行提供如何实施时间策略的实例。用户164被设定为“bnguyen”且类别162是“赌博”。策略未经配置以“始终阻止”“bnguyen”的赌博内容，如被留出空白的字段所指示。然而，准许这些URL请求的时间被限定为6PM to 8AM。因此，采取这些类型的策略允许网络管理员向工作站及用户提供某一程度的灵活性，但需以在典型的工作时间期间不损害网络业务的方式来提供。

在一个实施例中，URL分析模块149可经配置以检查所请求的URL(例如，先前未经归类的URL)并产生指示所述URL可能涉及目标(例如，活动)内容的得分或其它数据。在一个实施例中，URL分析模块149可包括信誉计分模块(例如图12的信誉计分模块331的实施例)，所述信誉计分模块产生表示所述URL的信誉的得分或其它数据。

当位于网关服务器模块120内时，URL分析模块149的信誉计分模块可直接使用本地数据及数据库分析URL的信誉以便以最小时间等待确定得分。所述信誉计分模块可与数据库管理模块114(参见图1)的一个或一个以上数据库通信以获得关于URL或所述URL的分量的额外信息以确定所述URL的得分。

URL分析模块149未必包含所述信誉计分模块且替代地可依赖经远程定位的信誉计分模块。举例来说，信誉计分模块331可位于数据库管理模块114处，如图7及12中的数据库管理模块114的实施例中所图解说明。URL分析模块149将所请求的URL传送到数据库管理模块114以由经远程定位的信誉计分模块331计分。数据库管理模块114将信誉计分模块331所执行的分析的结果传送回到网关服务器模块120。网关服务器模块120可依赖从数据库管理模块114接收的结果来确定在何种条件下将允许用户对与所请求的URL相关联的网站的存取。网关服务器模块120在确定是否将允许存取时可进一步依赖与用户相关联的预定策略。有利地，经远程定位的信誉计分模块可由多个网关服务器模块120共享。经远程定位的信誉计分模块可降低网关服务器模块120处所需要的软件的复杂性。

在其它实施例中，所述信誉计分模块的功能性可在网关服务器120与数据库管理模块114之间共享。此布置可提供计分过程的等待时间的益处同时还提供所共享的存取的益处。

举例来说，较高信誉得分可指示与URL相关联的网站不包含活动内容的可能性。如果URL的主机因特网协议(IP)地址和不与活动或其它目标内容相关联的经归类的URL的主机IP相同(例如，主机名称仅为别名)，则未被归类的URL可仍具有高信誉得分。相反地，如果主机IP地址和与活动或其它目标内容相关联的主机IP地址相同，则信誉得分可为低。当然，取决于实施例，可使用不同的得分范围或不同的得分诠释(例如，高得分指示不良URL信誉)。

应认识到，指示URL的信誉的数据或得分可基于一个或一个以上不同的数据元素及分析。下文参照图12中所图解说明的信誉计分模块论述产生信誉得分的方式的实例。URL分析模块149可使用参照图12描述的信誉计分技术中的一者或一者以上来给URL产生信誉的得分或其它指示符。

可针对用户所请求的URL或针对代表用户的代理所请求的URL产生指示信誉的得分。举例来说，例如web馈送读取器或其它类型的内容聚合器的应用程序通过单一聚合URL来收集代表用户的数据。这些类型的应用程序的众所周知的实例包含谷歌读取器(Google Reader)、http://www.mynewsbot.com/、我的雅虎！(MyYahoo！)、(新闻阅读)NewsGator及其类似物。这些类型的应用程序通常允许工作站116的用户指定或“订阅”提供辛迪加式内容的各种外部网站。web馈送读取器或聚合器访问用户所订阅的网站或URL中的每一者且从所访问的网站采集辛迪加式内容。用于采集或聚合辛迪加式内容的已知web馈送协议的实例包含RSS及ATOM。所述辛迪加式内容通常被递送到聚合网站且在聚合协议的URL下被显示给用户。所聚合的内容可(举例来说)以XML包的形式被递送到所述聚合网站且包含与从其中采集内容的网站相关联的URL。

与所述网站URL不同，在其下显示所述内容的聚合协议的URL对用户或所采集的内容并非特定的。举例来说，由雅虎的web馈送读取器聚合的内容在URL“http://my.yahoo.com”下被显示。由于单一聚合URL(例如“http://my.yahoo.com”)对用户或所采集的内容并非特定的，因此在一个实施例中，信誉计分模块331并不仅依赖所述聚合URL来确定网站URL的一个或一个以上信誉得分。在此实施例中，信誉计分模块331，不论是驻留在网关服务器模块120内还是远离网关服务器模块120，均优选地依赖对与所采集的内容相关联的网站URL的分析来产生信誉得分。在一个实施例中，内容过滤模块150向所述URL分析模块提供与所采集的内容相关联的网站URL。那么，每一信誉得分对于每一网站URL可为唯一的且网关服务器模块120依赖每一信誉得分来确定如果存在那么在何种情形下将允许用户存取与由此类型的web馈送读取器应用程序采集的每一经计分的网站URL相关联的内容。

网关服务器模块120可将此相同过程应用于响应于搜索引擎请求而返回的URL列表。网关服务器模块120分析所返回的URL中的每一者以产生信誉得分。那么，每一信誉得分对于每一所列出的URL可为唯一的且网关服务器模块120可依赖每一信誉得分来确定如果存在那么在何种情形下将允许用户存取与搜索引擎所列出的每一经计分的URL相关联的内容。

网关服务器模块120还可将这些技术应用于互动网站及内容。举例来说，在将web开发到更多的通信平台中，数个web特性允许终端用户所进行的互动内容上载。实例包含但不限于我的空间(MySpace)、脸谱网(FaceBook)、谷歌页面(GooglePages)等。这些站点上的内容通常基于例如Java脚本、XML及Ajax的活动技术。为分析这些类型的页面及内容，网关服务器模块120可至少部分地依赖域的顶级类别并结合信誉计分模块331对网站上的内容及所参考链接的分析。

URL分析模块149可将其得分提供给策略模块142。策略模块142可经配置以取决于所述得分、用户或任何其它可应用参数来实施不同的策略。因此，在一个实施例中，URL分析模块149可为未经归类的URL产生充分高的信誉得分(例如，指示良好信誉或者活动或其它目标内容的低可能性)以使得当策略模块142原本不允许对所述未经归类的URL的存取时策略模块142允许对所述URL的存取。或者，策略模块142可经配置以在可应用策略原本允许对具有低得分(例如，指示不良信誉或者活动或其它目标内容的较高可能性)的URL的存取时阻止对所述URL的存取。

图6A及6B提供经归类的URL数据库146可如何存储经归类的数据的图解。在一个实施例中，可将经归类的URL存储于例如图6A中所示的数据库表的两列数据库表中。在一个实施例中，所述表可包含URL列172，URL列172可仅存储已被特征化的URL串。类别列174可存储关于数据库模块114(如下文将详细地描述)已如何特征化所述URL的数据。在一个实施例中，可索引所述URL字段以使得可实时地更快地对其进行搜索。由于经归类的URL的列表可完全达到数百万个URL，因此快速存取例程是有益的。

现在参照图6B，提供未归类URL的表147(较早已结合图3描述)。此表可由来自工作站116的请求未存在于经归类的URL/内容数据库146中的URL的URL请求填充。如下文将更详细地描述，网关服务器模块120可经配置以查询经归类的URL/内容数据库146以确定是否应阻止所请求的URL。如果所请求的URL在经归类的数据库146中，则所述策略模块可确定是否允许所述请求继续到因特网112。然而，如果未在经归类的URL/内容数据库146中发现所请求的URL，则可将所述URL添加到未经归类的URL的数据库147以使得其可经由因特网112被发送到数据库管理模块114且稍后被分析及归类并被下载到经归类的URL的数据库146中。

图7是可包含于数据库管理模块114中的各种组件的图解。如以上所论述，可远离网络110及其相关联工作站116地定位数据库管理模块114(可经由因特网112存取)。所述数据库管理模块可采取一个或许多不同的硬件及软件组件(例如同时运行数百个服务器的服务器库)的形式以实现经改进的性能。

在一个实施例中，数据库管理模块114可包含上载/下载模块178。上载/下载模块178可以是软件或硬件组件，其允许数据库管理模块114从因特网112到任何数量的位置发送及接收数据且可取决于所述实施例而以与上载/下载模块134大致类似的方式对网关服务器模块120进行操作。在一个实施例中，所述上载/下载模块经配置以在因特网112上将新归类的URL发送到网关服务器模块120以添加到其本地经归类的URL/内容数据库146。

数据库管理模块114还可包含数据库管理模块URL/内容数据库180。数据库管理模块URL/内容数据库180可采取数据仓库的形式，其存储已由收集系统182(下文将更详细地描述)收集的URL串及关于URL的信息。数据库管理模块URL/内容数据库180可以是经索引以提供对数据的快速且有效的搜索的关系数据库。在某些实施例中，URL/内容数据库180可以是数据存库应用程序，其跨越众多物理硬件组件及存储媒体。URL/内容数据库180可包含例如URL串、与那些串相关联的内容、关于如何采集所述内容的信息(例如，通过蜂蜜客户端、通过顾客提交等)及可能地URL被写入到URL/内容数据库180中的日期的数据。

数据库管理模块114可进一步包含培训系统184。培训系统184可以是用于界定可用于将基于web的内容归类的特性及定义的软件/硬件模块。数据库管理模块114可进一步提供计分/分类系统186，计分/分类系统186利用由培训系统184创建的定义及特性来给web内容提供得分或分类(例如，归类)以便可经由上载/下载模块178将所述归类递送到网关服务器模块120。

现在参照图8，提供收集系统182的更详细视图。收集系统182可包含耦合(直接或间接)到数据挖掘模块192的数据库管理收集模块190。数据库管理模块114可使用数据库管理收集模块190来为URL/内容数据库180收集关于尚未被归类的URL的数据。数据库管理收集模块190还可用于收集URL以由其它系统组件进行额外分析。数据库管理收集模块190可与一个或一个以上收集源194相关联，数据库管理收集模块190可从收集源194收集关于URL的数据。收集源194可采取各种形式。在某些实施例中，收集源194可包含主动及被动蜜罐及蜂蜜客户端、对存储于网关服务器模块120上的登录数据库144的数据分析以识别应用程序、URL及协议以供收集。收集源194还可以是web搜索应用程序，其搜索因特网112以取得页面内容内的特定关键字或搜索短语。收集源194还可包含从DNS数据库挖掘的URL及IP地址数据以识别与已知恶意IP地址相关联的域。在某些实施例中，可通过从共享此信息的其它组织接收恶意代码及恶意URL样本来收集用于归类的URL。在又一些实施例中，可经由电子邮件模块收集URL，所述电子邮件模块经配置以从普通公众接收提示，此与通过犯罪提示热线来识别罪犯的方式差不多。

现在参照图9，提供数据库管理收集模块190的更详细视图。数据库管理收集模块190可包含允许其有效地利用以上所描述的收集源194中的每一者的各种子组件。数据库管理收集模块190可包含搜索短语数据模块197及表达式数据模块198。搜索短语数据模块197收集并提供可与识别不适当内容相关的搜索短语。表达式数据模块198可包含各种类型的表达式，例如正则表达式、操作数或某一其它表达式。搜索短语数据模块197及表达式数据模块198各自可包含可更新纪录组，所述可更新纪录组可用于界定用于网络爬行收集源194的搜索参数。数据库管理收集模块190还可包含优先级模块200。优先级模块200可采取在收集系统182内运行的软件过程的形式，或者其可作为单独的过程而运行。所述优先级模块可用于优先化由所述数据库管理收集模块收集的数据以使潜在危险或可疑URL(或数据)在可能无害的URL之前接收密切检查。在一个实施例中，优先级模块200可基于从那接收到URL的收集源194而指派优先级。举例来说，如果从顾客报告接收到URL，则可给所述URL指定较高优先级。类似地，如果从存取过去为主机恶意内容所知的域或IP地址或子网的webcrawler搜索程序(web crawler)接收到URL，则所述URL可接收高优先级。类似地，蜂蜜客户端(下文更详细地论述)所识别的潜在危险网站也可接收高优先级。数据库管理模块190还可包含数据选择模块202，数据选择模块202可与优先级模块200一起工作以确定是否应将经识别的URL标记为用于归类的候选URL。在一个实施例中，所述数据选择URL可提供用于接收搜索参数的用户接口以通过基于优先级及内容来搜索数据而进一步细化经优先化的数据。

如以上所指示，所述收集模块还可包含数据下载模块204。数据下载模块204可经配置以识别将访问的URL并从所访问的URL下载数据及内容。数据下载模块204可结合数据库管理收集模块190中的各种子系统一起工作以检索URL/内容数据库180的数据。一种此系统是webcrawler搜索程序模块206。webcrawler搜索程序模块206可以是经配置以通过存取网页及跟踪包含于那些页面中的超链接而存取因特网112上的网站的软件应用程序。webcrawler搜索程序模块206可配置有数个同时过程，所述同时过程允许所述模块同时在许多网站上爬行且将所访问的URL报告回给数据库管理模块URL/内容数据库180(如下文将更详细地论述)。数据库管理收集模块190还可包含蜂蜜客户端模块208。蜂蜜客户端模块208是经配置以模拟web浏览器的行为从而以正邀请存储于所访问的页面内的恶意代码的方式访问网站的软件过程。蜂蜜客户端模块208可访问网站并追踪所述网站的行为且将内容下载回到URL/内容数据库180以供进一步分析。

数据库管理收集模块190还可包含第三方供应者模块212，第三方供应者模块212经配置以从第三方接收URL及相关联内容。举例来说，第三方模块212可经配置以提供可由一般公众存取的网站。所述模块可经配置以接收输入URL串，接着可将所述输入URL串键入到URL/内容数据库180中。在某些实施例中，所述第三方模块还可经配置以从专用或公用邮递列表接收电子邮件且识别嵌入所述电子邮件内的任何URL数据以供存储在URL/内容数据库180中。

数据库管理收集模块190还可包含网关服务器存取模块210。所述网关服务器存取模块是可经配置以规律地存取网关服务器模块120上的登录数据库144以下载/上载由登录数据库144识别的所有新未经归类的web内容的软件组件或程序。

现在再参照图8，收集系统182还可包含数据挖掘模块192。数据挖掘模块192可用于获得关于存储于数据库管理模块的URL/内容数据库180中的URL的额外数据。在许多情形下，由收集源194供应给数据库管理收集模块190及URL/内容数据库180的信息仅限定为URL串。因此，为使所述系统有效地将所述URL内的内容归类，可能需要更多数据。举例来说，可需要检验实际页面内容以确定是否存在嵌入URL内的危险内容。数据挖掘模块192用于收集关于URL的此额外必需数据且将在下文中更详细地加以论述。

图10提供蜂蜜客户端系统208的更详细视图。蜂蜜客户端系统208包含控制服务器220。控制服务器220用于控制多个蜂蜜挖掘器222，蜂蜜挖掘器222经配置以访问网站且模拟人类浏览器行为以试图检测所述网站上的恶意代码。蜂蜜挖掘器222可以是被动蜂蜜挖掘器或主动蜂蜜挖掘器。被动蜂蜜挖掘器类似于以上所描述的webcrawler搜索程序。然而，与以上仅访问网站且报告可从所述站点获得的URL链接的webcrawler搜索程序不同，被动蜂蜜挖掘器可经配置以下载页面内容且将其返回给控制服务器220以供插入到URL数据库180中。蜂蜜挖掘器222可以是单一机器上的软件模块，或替代地，其可各自实施在单独的计算装置上。

在一个实施例中，每一控制服务器可控制17个被动蜂蜜挖掘器222。控制服务器220可从URL数据库180提取或接收需要额外信息以被全面地分析或归类的URL。控制服务器220将所述URL提供给所述挖掘器，所述挖掘器又审查所述URL且存储所收集的数据。当被动挖掘器222完成特定URL时，其可从其控制服务器222请求另一URL。在某些实施例中，挖掘器222可经配置以跟踪URL内容上的链接以使得除访问由控制服务器220规定的URL以外，所述挖掘器还可访问链接到那些URL的内容。在某些实施例中，挖掘器222可经配置以相对于每一原始URL挖掘到规定深度。举例来说，挖掘器222可经配置以在从控制服务器220请求新URL数据之前向下挖掘穿过四个web内容层。

在其它实施例中，控制服务器220可经配置以控制主动蜂蜜挖掘器222。与仅访问网站且存储所述站点上所呈现的内容的被动蜂蜜挖掘器相反，主动蜂蜜挖掘器222可经配置以访问URL并运行或执行在所述站点上识别的内容。在某些实施例中，主动蜂蜜挖掘器222包含实际web浏览软件，所述web浏览软件经配置以访问网站且经由所述浏览器软件存取所述网站上的内容。控制服务器220(或蜂蜜挖掘器本身222)可经配置以在蜂蜜挖掘器222执行其访问的网站上的内容时监视其特性。在一个实施例中，控制服务器220将记录由所述蜂蜜挖掘器因执行所访问的网站上的应用程序或内容而访问的URL。因此，主动蜂蜜挖掘器222可提供用以更精确地追踪系统行为的方式且发现先前未经识别的利用。由于所述主动蜂蜜挖掘器将其自身暴露于可执行内容的危险中，因此在某些实施例中，主动蜂蜜挖掘器222可位于沙箱环境内，所述沙箱环境提供供客户程序在其中运行的受紧密控制的资源组以保护其它计算机免遭可能由恶意内容造成的损坏。在某些实施例中，所述沙箱可采取仿真操作系统的虚拟机器的形式。在其它实施例中，所述沙箱可采取与网络隔离的实际系统的形式。可通过实时地追踪对所述沙箱机器上的文件系统做出的改变来检测异常行为。在某些实施例中，由主动蜂蜜挖掘器222执行的代码可致使所述挖掘器正在其上运行的机器由于嵌入网页内容中的恶意代码而变得不可操作。为解决此问题，所述控制服务器可控制替换挖掘器，所述替换挖掘器可介入以完成在挖掘过程期间损坏的蜂蜜挖掘器222的工作。

现在参照图11，提供已由收集系统收集的一组URL相关数据的实例。虽然提供了所收集的数据的特定实例，但所属领域的技术人员应了解除此实例中所提供的数据以外还可收集其它数据。包含在所收集的数据中的是URL的IP地址230。IP地址230可用于识别在同一IP地址下或在同一服务器上托管多个有疑问的内容域的网站。因此，如果具有恶意内容的URL被识别为来自特定IP地址，则可挖掘URL/内容数据库180中的数据的剩余部分以取得具有同一IP地址的其它URL以选择所述其它URL且更仔细地对其进行分析。所收集的URL数据还可包含由图11中的第二列指示的URL

232。在其中所述数据是使用挖掘过程(例如以上所描述的蜂蜜客户端过程)收集的情形下，URL 232通常可包含来自同一web域的各种页面，因为挖掘器可能已经配置以爬行穿过网站中的链接。所收集的数据还可包含特定URL的页面内容234。由于URL的内容可呈图形、文本、应用程序及/或其它内容的形式，因此在某些实施例中，存储此URL数据的数据库可经配置以将所述页面内容作为二进制大对象(blob)或应用程序对象而存储于数据纪录中。然而，由于某些网页仅含有文本，因此也可将页面内容234作为文本来存储。在某些实施例中，收集例程可经配置以确定URL是否含有可执行内容。在这些情形下，所产生的收集数据的数据集可包含URL在其页面代码内是否具有可执行内容236的指示。此信息稍后可用于从URL/内容数据库180选择数据作为用于分析的候选数据中。

图12是图解说明来自图7的计分及归类系统186的框图。在一个实施例中，计分及归类系统186包含特性数据库320、经处理的网页特性数据库324、定义数据库326、静态内容分类模块328、内容计分模块330及信誉计分模块331。在一个实施例中，计分及归类系统186包含活动分析模块332。内容分析模块332从URL数据库180接收一个或一个以上候选URL且从特性数据库320识别被发现与每一候选URL相关联的特性。将每一URL的特性的值及/或计数存储于经处理的网页特性数据库324中。静态内容分类模块328基于来自定义数据库326的定义而查询经处理的网页特性数据库324以使类别与候选URL相关联。内容计分模块330可进一步使可用于进一步归类或改变由静态内容分类模块328识别的类别的得分与每一URL相关联。在一个实施例中，内容计分模块330可识别由活动分析模块332处理的候选URL。活动分析模块332下载并执行任何活动内容以识别与URL相关联的行为特性。接着，可将这些特性提供给所述内容计分模块以进一步将候选URL归类，例如，改变其类别或添加额外类别。

举例来说，由内容分析模块322处理的URL可接收“恶意”类别。内容计分模块330可接着使指示URL不是恶意的得分(例如低得分)与所述URL相关联。为加以解决，内容计分模块330可将所述URL作为候选URL提供给活动分析模块332以识别可由内容计分模块330使用以确定所述“恶意”类别是否适当的进一步特性或行为得分。

特性数据库320包含关键字、正则表达式及可用于将网页归类的其它网页特性。特性还可以是与网页相关联的值，例如与网页相关联的HTTP请求标题数据或其它元数据。举例来说，特性可包含将在文档中识别的关键字(例如“<javascript>”、“<object>”)、例如“data＝.*\.txt”(例如，关键字“data＝”之后是其后跟随有“.txt”的任意长度串)的正则表达式或来自所述HTTP标题的数据的content-type。图13A是包含特性及识别特性的类型(例如，关键字或正则表达式)的额外字段的特性数据库的实例。在说明性数据库中，特性ID字段用于提供用于每一特性的唯一(在所述数据库内)识别符。在其它实施例中，可使用其它适合类型的关键字。

在一个实施例中，内容分析模块332从URL数据库180接收已由收集系统182识别的候选URL。所述内容分析模块接收与所述URL相关联的内容及其它数据(例如HTTP标题)并识别特性数据库320中与候选网页相关联的特性中的一者或一者以上且将与那些特性相关的数据存储于经处理的网页特性数据库324中。内容分析模块322可从所述URL数据库接收候选网页的内容或其本身可下载所述数据。在一个实施例中，蜂蜜客户端模块208获得每一候选网页的内容并将其存储于所述URL数据库中。在另一实施例中，内容分析模块322下载所述候选网页的内容作为处理所述网页以取得特性的一部分。

大体来说，特性数据库320存储所述特性及充足信息以识别与网页相关联的特性。举例来说，针对关键字或正则表达式特性，特性数据库320可存储所述关键字或正则表达式。相反，经处理的网页特性数据库324可存储由内容分析模块322发现与每一网页相关联的关键字或正则表达式的计数。对于正则表达式，取决于实施例，可将匹配表达式的计数或所述匹配表达式本身或两者存储于经处理的网页特性数据库324中。举例来说，对于特定网页，经处理的网页特性数据库324可参照特性“<javascript>”在页面中出现的次数存储值3、针对特性“<object>”出现的次数存储0且针对正则表达式特性“data＝.*\.txt.”存储“data＝http://www.example.url/example.txt.”。

图13B图解说明经处理的网页特性数据库324中的表的一个实施例，其中已相对于数个网页处理了图13A的实例性特性。在所图解说明的实施例中，所述数据库包含两个表，一个使URL与唯一(在所述数据库内)识别符相关且第二个使所述URL识别符和与所述URL相关联的特性相关。在所图解说明的实施例中，所述表包含用于与所述URL相关联的web内容数据的每一特性的条目或行。在一个实施例中，所述数据库还包含对应于关键字特性的每一特性/URL的数值以指示在网页中发现所述特定特性的次数。数据库(举例来说，在所述URL/特性表中)还可包含匹配URL的正则表达式特性的实际表达式。在一个实施例中，可在页体中及在标题或其它元数据中搜索关键字特性。在一个实施例中，仅搜索所述页体。在又一实施例中，特性(例如，在特性数据库320中)可与指示在识别网页中的特性中处理何种数据的数据相关联。

在一个实施例中，静态内容分类模块328存取网页特性数据库324并将一个或一个以上网页的特性与来自定义数据库326的定义相比较。当网页匹配特定定义时，用与所述定义相关联的一个或一个以上类别识别所述网页。在一个实施例中，将这些类别存储于与URL相关联的URL数据库中。在一个实施例中，针对网页的一个或一个以上特性表达每一定义。在一个实施例中，将定义表达为与特性中的一者或一者以上相关的第一级逻辑操作。在一个实施例中，定义的项由网页特性之间或特性与值(包含恒定值)之间的比较构成。举例来说，定义可包含例如“property_1”＝“property 2”“与”property_3＞5的事件的表达式。除比较以外，项还可包含对网页特性的其它操作，例如数学、串或任何其它适合计算表达式。举例来说，简单定义可以是“data＝，*\.txt”＝“data＝xyx333.txt”，其与具有串“data＝xyx333.txt”(其匹配正则表达式特性“data＝，*\.txt”)作为其内容的一部分的任何网页匹配。更复杂的定义可包括对项的逻辑操作。此类逻辑操作可包含“与”、“或”、“非”、“异或”、“如果-则-否则”或对特性的正则表达式匹配。在一个实施例中，所述定义还可包含或对应于数据库查询表达式，例如标准SQL数据库比较函数及逻辑操作。在一个实施例中，定义可包含可执行代码，例如脚本或对可执行程序或至少部分地确定URL的分类的脚本的参考。图13C图解说明根据一个实施例的定义数据库326的实例性部分。如本文中所使用，类别可指代任何类型的分类。举例来说，类别可仅是指示应针对URL执行进一步处理或分析以识别所述URL的类别的分类。

在一个实施例中，内容计分模块330进一步分析网页并给所述网页指派与一个或一个以上类别相关联的得分。在一个实施例中，所述得分可基于在所述网页中找到关键字的次数的加权组合。在一个实施例中，将权重存储于与对应特性相关联的特性数据库中。在一个实施例中，内容计分模块330将此类URL传送到活动分析模块332以供额外分析。

在一个实施例中，内容计分模块330使所述得分至少部分地基于由信誉计分模块331产生的信誉得分。在一个实施例中，信誉计分模块331可经配置以基于URL的信息(包含URL分量，例如，URL方案(例如，“http:”)、主机(例如，www.uspto.gov)、路径(例如，“index.html”)、查询(例如“？”之后的部分)及片段(“#”之后的部分))使得分与所述URL相关联。信誉计分模块331可基于以下关于网页的URL的信息(例如，计分准则)产生得分：例如，URL内容串中的一者或一者以上；与URL相关联的地理位置数据(例如，URL主机或主机域)；提供URL主机的IP地址或其域的名称服务器；与URL主机地址或其域相关联的IP地址的网络或块；先前参照主机、主机的域或URL路径识别的活动内容；与URL主机的IP地址相关联的历史数据；与URL主机的注册相关联的创建日期或到期日期；是否存在对URL或URL主机的搜索引擎结果；与URL相关联的证书细节(例如，用于安全(例如HTTP)存取方案)；和与URL主机相关联的其它URL(例如，在URL数据库180或经处理的网页特性数据库324)相关联的元标记类别；与所述URL主机的其它URL(例如，在URL数据库180中)相关联的类别；与URL的内容相关联的指纹(例如，摘要或散列)供与先前经归类的URL的此数据相比较(且取决于具有相同指纹的URL是否具有目标内容而产生信誉数据)；及基于站点(主机或域)存取统计的计分(例如，针对经频繁访问的站点比针对未经频繁访问的站点产生更高的信誉得分，因为经频繁访问的站点(对于不具有目标内容的其它URL)较不可能具有新访问的URL中的目标内容)。在一个实施例中，信誉计分模块331可产生包括一个或一个以上此准则的加权平均值的得分。

已发现具有目标内容的URL较可能包含不符合字形成规则的机器产生的随机或其它串，以避免此内容因包含已知(信誉不好)URL串而被容易地识别。因此，在一个实施例中，信誉计分模块331将URL串与字典字或与字形成规则相比较且基于此比较产生至少部分得分。除扫描关键字以外，还可将URL串(子串)与来自字典的字相比较(或者，更一般来说，一个或一个以上字的并置)以帮助确定所述URL串是否包含字或看似是随机的机器产生的、包含逸出(例如，％逸出)字符序列或包含长无意义串(例如，www.XXXXXXxxxxxxxxxxxyyyyyyyyyyyyyyzzzzzzzzzzzzzzzzzzzzzzzz.com)。在一个实施例中，可使用用于一种或一种以上语言的字典。字形成规则可以是与特定语言中的字相关联的任一组规则。举例来说，在一个实施例中，简单字形成规则可识别在长度上超出规定阈值(例如，四)的辅音或元音串不可能是字。还可使用基于URL串中不可能的字母组合(例如，英语中的xqv)而产生得分的更精密的字形成规则。举例来说，在一个实施例中，可针对URL的一个或一个以上分量、所述URL及/或所述URL的内容计算信息内容的适合信息理论度量(例如，信息熵)。由于含有随机信息的串往往具有较高熵度量，因此可通过基于熵对URL进行计分或通过将与URL(URL分量、URL串及/或URL的内容)相关联的数据的熵、或相对于长度的熵与阈值相比较来识别与所述URL相关联的经随机产生的数据。

已发现，所述计分准则的某些组合对于识别活动或其它目标内容尤其有用，因为(举例来说)所述组准则涵盖目标活动内容可经产生以避免检测的若干不同方式。因此，在一个实例性实施例中，URL得分组合包含熵得分、基于与所述URL相关联的历史数据的得分、与所述URL相关联的搜索结果及与所述URL的IP地址相关联的历史数据的计分准则。

在一个实施例中，信誉计分模块331基于因特网地址及/或域名的数据库产生得分。信誉计分模块331可将得分指派给整个子网络(例如，匹配128.2.*.*的所有地址均可具有特定得分)。此网络或子网络帮助识别建立于特定国家中或具有特定服务提供商的网站。已发现此在计分中为有用的，因为某些国家及服务提供商由于不同的法律或法律的松懈执行而与某些类型的web内容相关。网络或子网络的计分系统可基于特定网络或域中具有特定类别的URL的相对数量。举例来说，如果URL数据库180中用于特定网络的URL的95％被分类为具有恶意活动内容，则可赋予新URL指示参考同一网络中的服务器的其它URL也可能具有此目标内容的可能性的得分。

在实施例中，信誉计分模块331基于关于站点(例如，URL主机的域名)的注册的信息产生信誉的指示符(例如信誉)。此注册信息可包含(举例来说)注册的身份、注册者(包含注册者的地址及联系信息)、何时创建注册纪录、何时最后一次更新注册纪录、注册纪录何时到期及包含WHOIS协议(例如，因特网工程任务组(IETF)RFC-3912)所提供的数据的任何其它注册数据。

信誉计分模块331可包含URL数据库180中的URL的至少一部分的注册数据的改变的数据库。与URL相关联的注册数据的改变的频率或近况可用于至少部分地产生信誉得分。可至少部分地通过将与URL相关联的注册数据的至少一部分与先前经归类的URL的注册数据相比较来产生所述URL的信誉得分。

目标内容的主机可试图通过使用多个主机及域名且通过频繁地改变与域相关联的IP地址而混淆或隐藏其内容以远离过滤器。信誉计分模块331可基于名称服务器的信誉产生信誉指示符数据或得分，所述名称服务器对于与所述名称服务器相关联的多个主机及域是共用的。举例来说，信誉计分模块331可包含名称服务器(提供域名系统(DNS)服务以将因特网主机名称翻译为IP地址的服务器)的数据库。一般来说，特定服务器提供用于特定域的DNS服务。因此，如果用于URL主机的名称服务器是用于先前已被归类或用目标内容识别的其它主机的名称服务器，则信誉计分模块331可在为未经归类的URL产生信誉得分时利用此信息。举例来说，如果名称服务器与目标内容相关联，则未经归类的URL的信誉得分可为低。信誉计分模块331还可维持主机到IP地址的数据库且利用所述数据库以基于所述IP地址针对特定主机或域改变的频率产生得分。

在一个实施例中，用例如恶意的类别识别具有高于阈值的得分的URL，不论通过对网页的内容分析而识别的类别如何或除通过对网页的内容分析而识别的类别以外。在一个实施例中，将与不同类别相关联的多个得分指派给每一URL且用所述URL识别对应于高于给定阈值的每一得分的类别。在一个实施例中，采用多个阈值。举例来说，具有高于一个阈值的得分的URL基于所述得分而被自动地分类。在一个实施例中，将具有低于第一阈值而高于第二阈值的的得分的URL传送给人类分析员以供分类。

一个实施例可包含标题为“用于控制对因特网站点存取的系统及方法”的第6,606,659号美国专利中所图解说明的计分及归类系统，所述文档以全文引用的方式并入本文中。

在一个实施例中，活动分析模块332执行网页的活动内容以识别其行为特性。接着可使用这些特性来对所述网页进行计分及分类。在一个实施例中，静态内容分类模块328、信誉计分模块331及内容计分模块330中的一者或多者识别由活动分析模块332处理的URL。在接收候选URL之后，活动分析模块332可将与一个或一个以上行为特性(例如，例如“写入到注册表”的特性)相关联的行为得分或数据提供给所述内容计分模块以供进一步归类。

图14是图解说明来自图7的培训模块184的一个实施例的框图。在一个实施例中，所述培训模块包含分析任务模块352，分析任务模块352识别具有例如活动内容的内容的网页或URL，需要所述活动内容的额外类别。在一个实施例中，收集模块190识别具有活动内容的URL。在另一实施例中，外部源(例如安全研究员)识别具有已用一个或一个以上类别(例如，键盘记录器、病毒、恶意内容、蠕虫等)识别的活动内容的特定URL。在一个实施例中，可将这些URL存储于URL数据库180中。在一个实施例中，任务模块352维持此类URL的数据库(未显示)。在一个实施例中，任务模块352数据库维持用于这些URL的优先级且基于所述优先级将其呈现给分析员。

特性识别模块354识别网页的特性及基于将所述网页归类的那些特性的定义。在一个实施例中，特性识别模块354为人类分析员提供接口，以使用计分及分类系统186将特定规则或定义应用于URL。另外，在一个实施例中，特性识别模块354可为分析员提供接口，以将所述URL识别为用于图10的活动分析模块332的候选者，从而对所述URL执行行为分析以从活动分析模块332接收回用于将所述URL分类的额外数据。特性识别模块354可接着将此数据提供给所述分析员。在一个实施例中，所述分析员分析来自计分及分类系统186(包含活动分析模块332)的URL数据以帮助识别适当地将所述URL、且在可能时指代以类似方式分类的内容的其它URL的特性及定义。在一个实施例中，特性识别模块354将这些新识别的特性及定义提供给数据库更新模块356，数据库更新模块356将所述新定义及特性存储到特性数据库320及定义数据库326。

图15是图解说明来自图12的活动分析模块332的一个实施例的框图。在一个实施例中，活动分析模块332包含沙箱模块370，在沙箱模块370中下载URL且执行原本在典型工作站116上发生的任何活动内容。沙箱模块370透明地监视计算机的状态以识别影响(举例来说)大量生产的过程、网络过程、处理器使用率、存储器使用率、系统资源的使用、文件系统存取或修改及注册表存取或修改中的一者或一者以上的web内容的行为。

行为分析模块372将来自所述沙箱模块的受监视的动作与特征化所述受监视的动作的列表、数据库或规则相比较。在一个实施例中，这些特征界定URL的随后由图12的静态内容分类模块328分析的特性。在另一实施例中，活动计分分类模块374可使用与行为特性相关联的得分来确定所述URL的得分。在一个实施例中，所述得分是这些特性的加权得分。此得分可用于将所述URL分类或被传送到内容计分模块以供分类。在另一实施例中，规则或定义(例如，来自定义数据库326的那些定义)应用于URL(且，在一个实施例中，经处理的网页特性324)的行为特性以识别与所述URL相关联的一个或一个以上类别。在一个实施例中，URL的得分可至少部分地基于所述URL的内容内的其它URL参考的经识别的类别。举例来说，如果站点未被分类而用于所述参考(例如，使用HTML HREF元素)的所有经识别的类别是恶意的，则可赋予所述URL指示所述恶意内容的得分。

使用及操作方法的说明

取决于实施例，本文所描述的方法的动作或事件可以不同顺序来执行、可加以合并或可全部忽略(例如，并非所有动作或事件对于所述方法的实践均是必需的)，除非本文另有具体且明确的说明。另外，本文所描述的方法可包含额外动作或事件，除非本文另有具体且明确的说明此外，除非另有明确说明，否则可同时(例如，通过中断处理或多个处理器)而非按顺序地执行动作或事件。

如上文结合图3所论述，在某些实施例中，网关服务器模块120可经配置以基于经归类的URL数据库146中所存储的数据控制对某些URL的存取。图16是描述其中所述网关服务器模块处置来自工作站116的请求的实施例的流程图。

在块1200处，工作站116向因特网112请求URL。此请求在因特网网关处被拦截且在块1202处被转发到网关服务器模块120。在块1204处，查询经归类的URL数据库146以确定所请求的URL是否存储于数据库146中。如果在所述数据库中发现所请求的URL的纪录，则过程继续到块1206，在块1206中所述过程分析所述URL纪录以确定所述URL的类别是否是应针对所述工作站用户阻止的类别。如果所述类别被阻止，则所述过程跳跃到块1212且阻止所述请求。然而，如果所述类别未被阻止，则在块1208处允许所述请求。

如果在块1204处未在经归类的URL数据库146中发现所请求的URL的纪录，则系统继续到块1210。在块1210处，所述系统确定如何处置未经归类的内容。在某些实施例中，所述系统可利用策略模块142来做出此确定。如果网关服务器模块120经配置以阻止对未经归类的内容的请求，则所述过程继续到块1212，且阻止所述请求。另一方面，如果所述模块经配置以允许这些类型的未经归类的请求，则所述过程继续到块1208，在块1208中允许所述请求继续到因特网112。

在某些实施例中，URL数据的请求可导致新纪录被添加到登录数据库144。稍后可将这些记录传递到数据库管理模块114以供进一步分析。现在参照图17，提供描述所述网关服务器模块可处置URL请求的过程的另一流程图。在块1300处，网关服务器模块120接收对URL的请求。如上所述，此请求可来自工作站116。在块1302处，接着将所述URL与经归类的URL数据库146相比较且系统在块1304处确定所请求的URL是否在所述经归类的URL数据库中。

如果所述URL已在经归类的URL数据库146中，则过程跳跃到块1308。然而，如果未在经归类的URL数据库146中发现所请求的URL，则所述过程继续到块1306，在块1306中将所述URL插入到未经归类的URL数据库147中。在某些实施例中，登录数据库144与未经归类的URL 147数据库可为同一数据库。在将所述URL插入到所述数据库中之后，所述方法继续到块1308。在块1308处，检查策略数据库以取得关于如何处置所接收的URL的指令。一旦已检查策略模块142检查，则在块1310处登录数据库144经更新以记录已请求所述URL。如果所述策略数据库准许工作站116存取所述URL，则过程移动到块1314且将所述URL请求发送到因特网112。然而，如果所述策略数据库不准许所述请求，则所述过程跳跃到块1316且阻止所述请求。

在某些实施例中，网关服务器模块120可执行收集活动以减少数据库管理模块114的收集系统182的负担。图18提供其中网关服务器收集模块140用于收集关于未经归类的URL的数据的系统的实例。在块1400处，所述网关服务器模块接收对URL的请求。接下来，在块1402处，将所请求的URL与所述经归类的URL数据库相比较。如果在块1404处所述系统确定所请求的URL在所述URL数据库中，则过程继续到块1410，在块1410中取决于所述URL如何被归类而将所述请求转发到因特网112或阻止所述请求。

如果所请求的URL不在经归类的URL数据库146中，则过程移动到块1406，在块1406中将所述URL发送到网关服务器收集模块140。接下来，在块1408处，收集模块140收集关于所请求的URL的URL数据。在某些实施例中，可将此数据存储于未经归类的URL数据库147中。或者，可仅经由因特网112将此数据转发到数据管理模块114。一旦已收集且存储所述数据，则过程继续到块1410，在块1410中基于策略模块142中所指示的策略允许或阻止所述URL请求。

如先前所论述，可将未经归类的URL数据从网关服务器模块120发送到数据库管理模块114以供进一步分析以使得可将所述URL归类且添加到经归类的URL数据库146。然而，由于未经归类的数据的量有时为如此大，因此将所有所接收的数据归类而不影响精确性或速度是不可能的。因此，在某些情形下，可能需要识别未经归类的数据内最可能向工作站116及网络110呈现威胁的候选URL。

图19提供用于识别用于进一步分析的候选URL的方法的实例。所述方法以URL被接收到数据库模块114的收集系统182中开始。在块1502处，预处理所述URL或应用程序以确定其是否携载已知的恶意数据元素或数据签名。接下来，在块1504处，如果所述系统确定所述URL包含已知恶意元素，则过程跳跃到块1514，在块1514中将所述URL标记为候选URL且将其发送到计分/分类系统186以供进一步分析。如果块1504中对所述URL的最初分析未揭露恶意元素，则所述过程移动到块1506，在块1506中将所述URL添加到潜在候选URL的数据库。接下来，在块1508处，数据挖掘模块192经配置以基于预配置条件(例如攻击串、病毒签名及其类似物)从源194(潜在候选URL的数据库是源194中的一者)选择URL。接着在块1510处将包含所有数据源194的数据集发送到数据挖掘模块192，其中在块1512处由数据挖掘模块192分析每一URL。如果所述URL满足所界定的预配置条件，则所述过程移动到块1514，在块1514中将所述URL标记为候选URL且继续将其发送到计分/分类系统186以供额外分析。然而，如果所述URL不满足规定用于将其转换为候选URL的条件，则所述方法继续到块1516且所述URL未被标记为候选者。虽然在URL候选分类的上下文中描述此实施例，但所属领域的技术人员将易于了解可使用上文所描述的过程以类似方式分析应用程序且将其标记为候选者。

如以上所论述，收集及分析因特网数据以确定其是否包含有害活动内容的挑战中的一个挑战是必须收集及分析的数据的绝对量。在又一实施例中，数据挖掘模块192可用于通过收集大量的相关数据以有效且高效地利用系统资源来解决这些问题。现在参照图20，提供数据挖掘系统192的更详细框图。数据挖掘系统192可采取运行多个异步过程以实现最大效率及输出的软件模块。数据挖掘系统192可包含插件模块242，插件模块242接收提供关于应如何处置所输入的数据的指令的配置参数。在一个实施例中，由所述插件模块接收的指令可采取HTTP协议插件的形式，其提供供数据挖掘系统192接收URL数据并基于由所述数据挖掘系统对所述URL数据实施的各种HTTP相关指令而分析且补充所述数据的参数。在另一实施例中，所述插件可适于挖掘某一其它协议(例如FTP、NNTP)或某一其它数据形式。

数据挖掘系统192(其还可用于实施被动蜂蜜客户端)还包含调度程序248的池246。调度程序248是基于输入到所述数据挖掘系统中(供分析)的数据及由插件模块242接收的配置数据而接收任务指派的个别异步处理实体。池246是由驱动器244控制的调度程序的集合。驱动器244是用于所述池的管理机构。驱动器244可经配置以监视池246中的调度程序248的活动以确定何时将额外数据发送到池246中以供挖掘及分析。在一个实施例中，所述驱动器可经配置以每当任何调度程序248空闲时将新数据单元发送到池246中。在一个实施例中，驱动器244可用作用于管理上文结合图10所描述的蜂蜜客户端挖掘器222的控制服务器。池246可将所述数据单元递送到空闲调度程序248。调度程序248读取插件配置且根据插件模块242执行动作。

在一个实施例中，插件模块242可接收HTTP插件。所述HTTP插件可经配置以接收呈URL串的形式的输入数据，数据挖掘系统192将获得关于所述URL串的额外信息，例如所述URL的页面内容、所述URL在被存取时所返回的HTTP消息(例如，“未找到4xx-文件”或“5xx-服务器错误”)。所述插件可进一步规定除收集页面内容以外调度还将所述URL内容内的URL链接添加到将被分析的URL数据集的网络爬行模式。

图21是图解说明在数据库管理模块114内将URL归类的方法2000的一个实施例的流程图。方法2000在其中开发可用于将网页归类的特性的块2002处开始。在一个实施例中，培训模块184用于开发特性数据库320中的特性。在一个实施例中，开发所述特性包含开发定义(例如，与一个或一个以上特性相关的表达式)且将所述定义存储于定义数据库326中。接下来，在块2004处，识别网页以进行内容分析。在一个实施例中，收集模块190识别网页以进行内容分析。在一个实施例中，识别具有活动内容的特性或其它标志的网页以进行内容分析。

移动到块2006，内容分析模块322识别与经识别的网页中的每一者相关联的一个或一个以上特性。下文参照图22更详细地描述块2006的功能。继续到块2010，静态内容分类模块328至少部分地基于特性用一个或一个以上类别识别网页。在一个实施例中，静态内容分类模块328将来自定义数据库326的定义与每一网页的特性相比较以识别其特性。在一个实施例中，所述类别包含指示所述网页是否与活动内容相关联的那些类别。在一个实施例中，所述类别包含指示与网页相关联或由网页参考的活动内容的类型(例如，恶意、网络钓鱼站点、键盘记录器、病毒、蠕虫等)的那些类别。在一个实施例中，所述活动内容包含于所述网页的本体中。在一个实施例中，在所述网页的链接或ActiveX对象元素中引用所述活动内容。在一个实施例中，活动内容包含互动“网络钓鱼”站点，所述“网络钓鱼”站点包含往往误导用户提供凭证或其它敏感、私人或个人信息的内容。在一个实施例中，计分模块330进一步对所述网页进行计分及分类。移动到块2012，将与所述网页相关联的类别存储于URL数据库中。在一个实施例中，图7的上载/下载模块178将新URL类别分布到一个或一个以上网关服务器模块120或工作站116(均在图1中)。在一个实施例中，可在由收集模块190接收新URL时连续地执行方法2000的一个或一个以上块，例如，块2006-2012。在一个实施例中，可周期性地执行方法2000的一个或一个以上块，例如块2006-2012。

图22是图解说明执行图21的方块2006的功能的方法的一个实施例的流程图。所述方法在其中内容分析模块322接收URL数据库180中的网页URL列表的块2020处开始。在一个实施例中，收集模块190提供候选URL列表。接下来，在块2022处，针对每一URL，内容分析模块322接收所下载的网页内容。在一个实施例中，收集模块190下载所述内容且将其存储于URL数据库180中，内容分析模块322从URL数据库180存取所述内容。在另一实施例中，内容分析模块322下载并处理所述内容。移动到块2024，内容分析模块322从特性数据库320存取特性。接下来，在块2026处，内容分析模块322至少部分地基于网页中的每一者的内容识别与所述网页中的每一者相关联的特性。在一个实施例中，内容分析模块322扫描所述内容以识别来自特性数据库320的串、关键字及正则表达式特性。在一个实施例中，内容分析模块322还可在扫描特性之前及/或之后解码内容。举例来说，内容分析模块322可在扫描以帮助防止关键字因编码或部分地编码所述关键字而被隐藏之前解码web内容，例如URL的经URL编码的部分或经十六进制编码的网址。继续到块2028，内容分析模块322将与每一网页相关联的经识别的特性存储于经处理的网页特性数据库324中。

图23是图解说明执行图21的块2010的功能的方法的一个实施例的流程图。所述方法在其中静态内容分类模块328从定义数据库326存取指示网页类别的定义的块2042处开始。接下来，在块2044处，针对每一定义，静态内容分类模块328对照经处理的网页特性数据库324而识别与每一定义相关联的一个或一个以上查询。在一个实施例中，所述查询包括SQL查询。

移动到块2046，静态内容分类模块328将所述网页特性数据库中的URL的特性与所述查询相比较以识别匹配所述查询的URL。在一个实施例中，静态内容分类模块328通过对照经处理的网页特性数据库324执行所述一个或一个以上经识别的数据库查询而实施所述比较。接下来，在块2050处，静态内容分类模块328将任何经识别的URL与所述定义相比较以识别所述经识别的URL中匹配所述定义的任一者。在一个实施例中，此比较包含使用额外可执行指令(例如，波尔脚本(Perl script))以识别匹配的URL。继续到块2052，静态内容分类模块328基于所述定义而将所述经识别的URL归类。在一个实施例中，每一定义与单一类别相关联。在另一实施例中，每一定义与各自用所述URL识别的数个类别相关联。在又一实施例中，所述定义可包含识别一个或一个以上类别以用所述URL识别的逻辑表达式。举例来说，“如果-则-否则”表达式可取决于“如果”表达式的结果而识别不同的类别。在一个实施例中，内容计分模块进一步对URL进行计分。基于所述得分，可用所述URL来识别相同、不同或额外类别。接下来，在块2054处，静态内容分类模块328将每一URL的类别存储到经归类的网页数据库。在一个实施例中，URL数据库180包含所述经归类的网页数据库。

图24是图解说明执行图21的块2002的功能作为识别用于在图22及23的方法中将URL归类的特性的一部分的方法的一个实施例的流程图。所述方法在其中图14的分析任务模块352接收活动内容数据或与活动内容相关联的URL的块2062处开始。接下来，在块2064处，特性识别模块254识别将与活动内容数据相关的目标URL与其它URL区分开的特性且识别与所述目标URL相关联的一个或一个以上类别。在一个实施例中，计分及分类系统186用于帮助识别这些特性。另外，可识别包括所述特性中的一者或一者以上的定义，所述定义将与特定类别相关联的目标URL与不应与所述类别相关联的其它URL区分开。移动到块2068，数据库更新模块356将所述特性、定义及类别存储于特性数据库320及定义数据库326中。因此，使得这些经更新的特性及定义可用于使用(举例来说)图21中所图解说明的方法来处理URL。

图25是图解说明基于所请求的URL的分量而控制对web内容的存取的方法3000的一个实施例的流程图。方法3000在其中(举例来说)图1的网关服务器模块120的URL分析模块149从工作站116接收对URL的请求的块3010处开始。接下来，在块3014处，信誉计分模块产生与所述URL相关联的目标内容的信誉得分或其它信誉指示符。所述信誉计分模块可远程地定位于网关服务器模块120处或远离网关服务器模块120。举例来说，信誉计分模块331可以是数据库管理模块114的一部分。

上文参照URL分析模块149及信誉计分模块331论述了产生信誉得分的方法。应认识到，取决于实施例，信誉计分可作为允许对所请求的URL的存取的唯一方法或结合URL策略及/或URL类别来执行。移动到块3010，网关服务器模块120至少部分地基于所述信誉得分来确定是否允许对所述URL的存取。

替代地或另外，信誉计分模块331可将所述信誉得分提供给内容计分模块330，内容计分模块330可至少部分地基于所述信誉得分来确定所请求的URL的类别。网关服务器模块120在确定是否允许对与所请求的URL相关联的网站的用户存取时可依赖所确定的类别并结合与所述URL相关联的得分。

如本文中所使用，“数据库”指代存储于媒体上可由计算机存取的所存储的数据的任何集合。举例来说，数据库可指代平面数据文件或指代结构化数据文件。此外，应认识到，结合本文所揭示的实施例描述的各种说明性数据库可实施为组合各种说明性数据库的若干方面的数据库或说明性数据库可划分为多个数据库。举例来说，各种说明性数据库中的一者或一者以上可体现为一个或一个以上关系数据库中的表。实施例可实施于关系数据库中，包含SQL数据库(例如我的SQL(mySQL))、面向对象的数据库、对象关系数据库、平面文件或任何其它适合数据存储系统。

所属领域的技术人员应认识到，可将结合本文所揭示的实施例描述的各种说明性逻辑块、模块、电路及算法步骤实施为电子硬件、计算机软件或二者的组合。为明确地图解说明硬件与软件的此可互换性，上文就其功能性大体描述了各种说明性组件、块、模块、电路及步骤。此功能性实施为硬件还是软件取决于施加于整体系统上的特定应用及设计约束条件。所属领域的技术人员可针对每一特定应用以不同方式实施所述功能性，但此实施方案决策不应被解释为导致背离本发明的范围。

结合本文所揭示实施例描述的各种说明性逻辑块、模块及电路均可由以下装置实施或执行：通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件、或其设计用以执行本文所述功用的任何组合。通用处理器可为微处理器，但另一选择为，处理器可为任一常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器的组合、一个或一个以上微处理器与DSP核心的结合，或任何其它此类配置。

结合本文所揭示实施例描述的方法或算法的步骤可直接体现于硬件中、体现于由处理器执行的软件模块中、或体现于两者的组合中。软件模块可驻留在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬磁盘、可抽换式磁盘、CD-ROM或此项技术中已知的任何其它形式的存储媒体中。实例性存储媒体耦合到处理器而使得所述处理器可从存储媒体读取信息和将信息写入到存储媒体。另一选择为，存储媒体可与处理器成整体。处理器和存储媒体可驻留于ASIC中。ASIC可驻留于用户终端中。另一选择为，处理器及存储媒体可作为离散组件驻留于用户终端中。

鉴于上文，人们已经了解，本发明的实施例通过提供处理大量URL的高效方法而克服此项技术中长期问题中的许多问题，所述方法可用于因特网上以识别URL、尤其是具有活动内容的那些URL的类别。即使对于人类分析员来说，可能也难以将具有许多类型的活动内容的URL归类，因为关系特性可埋置于可执行代码(包含脚本)中或ActiveX组件的参数中。使用可被高效地处理的特性及定义允许ActiveX内容由自动过程有效地识别。此外，通过将网页的特性存储于数据库中以供稍后查询，可在识别活动内容的新定义时基于这些所述存储的特性立即将大量URL归类。

尽管上文详细说明已显示、描述及指出本发明的适用于各种实施例的新颖特征，但应理解，所属领域的技术人员可在不背离本发明的精神的情况下在形式及细节上对所图解说明的装置或过程做出各种省略、替代及改变。应认识到，由于可独立于其它特征使用或实践某些特征，因此可在并不提供所有本文所阐述特征及益处的形式内体现本发明。本发明的范围由所附权利要求书而非由上文说明来指示。归属于权利要求书的等效内容的意义及范围内的所有修改均将涵盖于其范围内。

Claims

1.一种控制对web内容的存取的方法，其包括：

接收对统一资源定位符(URL)的请求；

基于所述URL的至少一个分量识别主机；

产生与所述URL相关联的活动内容的指示符，其中所述指示符基于与所述URL的至少一个分量相关联的数据；

产生信誉，所述信誉是基于所识别的主机的注册数据改变的频率的；及

至少部分地基于所述指示符及所述信誉确定是否允许所述请求。

2.如权利要求1所述的方法，其中所述与所述URL的至少一个分量相关联的数据包括熵指示符、搜索结果、指示所述URL的历史的数据及指示了与所述URL相关联的网络地址的历史的数据中的至少一者。

3.如权利要求1所述的方法，其中所述URL的所述至少一个分量包括所述URL的方案、与所述主机相关联的网络地址、所述URL的路径或所述URL的查询片段中的一者。

4.如权利要求1所述的方法，其进一步包括将所述URL的至少一部分与来自字典的至少一个字相比较。

5.如权利要求1所述的方法，其进一步包括通过将至少一个字形成规则应用于所述URL的至少一部分来产生得分。

6.如权利要求5所述的方法，其进一步包括识别至少URL中的辅音序列，其中所述辅音序列超过规定长度。

7.如权利要求1所述的方法，其进一步包括：

识别与所URL相关联的类别，其中确定是否允许所述请求至少部分地基于所述经识别的类别。

8.如权利要求1所述的方法，其进一步包括识别与所述URL相关联的策略，其中所述确定是否允许所述请求至少部分地基于所述策略。

9.如权利要求8所述的方法，其进一步包括确定所述URL是否在经归类的URL的数据库中。

10.如权利要求9所述的方法，其进一步包括基于所述URL从所述数据库中的缺失来识别所述至少一个策略。

11.如权利要求1所述的方法，其中活动内容的所述指示符包括得分。

12.一种用于控制对web内容的存取的系统，其包括：

网络接口，其经配置以接收对至少一个统一资源定位符(URL)的请求；

处理器，其经配置以执行以下操作：

基于所述URL的至少一个分量识别主机；

基于与所述URL的至少一个分量相关联的数据产生与所述URL相关联的活动内容的指示符；

产生信誉，所述信誉是基于所识别的主机的注册数据改变的频率的；

识别与所述URL相关联的策略；及

至少部分地基于所述指示符、所述信誉及所述策略确定是否允许所述请求。

13.如权利要求12所述的系统，其中所述与所述URL的至少一个分量相关联的数据进一步包括熵指示符、搜索结果、指示所述URL的历史的数据及指示了与所述URL相关联的网络地址的历史的数据中的至少一者。

14.如权利要求12所述的系统，其中所述至少一个分量包括所述URL的方案、与所述URL的主机相关联的网络地址、所述URL的路径或所述URL的查询片段中的一者。

15.如权利要求12所述的系统，其中URL分析模块经配置以将所述URL的至少一部分与来自字典的至少一个字相比较。

16.如权利要求12所述的系统，其中所述URL分析模块经配置以通过将至少一个字形成规则应用于所述URL的至少一部分来产生得分。

17.如权利要求16所述的系统，其中应用所述至少一个字形成规则包括识别至少一个URL中的辅音序列，其中所述辅音序列超过规定长度。

18.如权利要求12所述的系统，其进一步包括：

经归类的URL数据库，其经配置以识别与所述URL相关联的类别，其中确定是否允许所述请求至少部分地基于所述经识别的类别。

19.如权利要求12所述的系统，其中内容过滤模块经配置以至少部分地基于所述策略确定是否允许所述请求。

20.如权利要求19所述的系统，其中网关服务器模块经配置以确定所述URL是否在经归类的URL的数据库中。

21.如权利要求20所述的系统，其中策略模块经配置以基于所述URL从所述数据库中的缺失来识别所述至少一个策略。

22.如权利要求12所述的系统，其中活动内容的所述指示符包括得分。

23.一种用于控制对web内容的存取的系统，所述系统包括：

网络介接构件，其用于接收对至少一个统一资源定位符(URL)的请求；

处理构件，其经配置以执行以下操作：

基于所述URL的至少一个分量识别主机；

识别与所述URL相关联的策略；及

至少部分地基于所述至少指示符、所述信誉及所述策略确定是否允许所述请求。

24.如权利要求1所述的方法，其中所述与所述URL的至少一个分量相关联的数据是信誉数据。

25.如权利要求12所述的系统，其中所述与所述URL的至少一个分量相关联的数据是信誉数据。

26.一种用于控制对web内容的存取的方法，其包括：

接收对统一资源定位符(URL)的请求；

基于所述URL的至少一个分量识别主机；

基于与所述URL的至少一个分量相关联的数据通过处理器产生与所述URL相关联的活动内容的指示符；

由所述处理器识别与所述URL相关联的策略；及

由处理器至少部分地基于所述指示符、所述信誉及所述策略确定是否允许所述请求。

27.一种控制对web内容的存取的方法，其包括：

接收对统一资源定位符(URL)的请求；

基于所述URL的至少一个分量识别主机；

通过处理器产生与所述URL相关联的活动内容的指示符，其中所述指示符基于与所述URL的至少一个分量相关联的数据；

至少部分地基于所述指示符及所述信誉确定是否允许所述请求；及

通过将至少一个字形成规则应用于所述URL的至少一部分来产生得分。