CN101512522A - 分析网络内容的系统和方法 - Google Patents

分析网络内容的系统和方法 Download PDF

Info

Publication number
CN101512522A
CN101512522A CNA2007800258825A CN200780025882A CN101512522A CN 101512522 A CN101512522 A CN 101512522A CN A2007800258825 A CNA2007800258825 A CN A2007800258825A CN 200780025882 A CN200780025882 A CN 200780025882A CN 101512522 A CN101512522 A CN 101512522A
Authority
CN
China
Prior art keywords
webpage
url
attribute
database
definition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007800258825A
Other languages
English (en)
Other versions
CN101512522B (zh
Inventor
维克托·L·巴杜尔
斯蒂芬·切尼特
丹·哈伯德
尼古拉斯·J·维雷尼尼
阿里·A·梅斯达克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Websense LLC
Original Assignee
Websense LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Websense LLC filed Critical Websense LLC
Publication of CN101512522A publication Critical patent/CN101512522A/zh
Application granted granted Critical
Publication of CN101512522B publication Critical patent/CN101512522B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441Countermeasures against malicious traffic
    • H04L63/145Countermeasures against malicious traffic the attack involving the propagation of malware through the network, e.g. viruses, trojans or worms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/951Indexing; Web crawling techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/52Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems during program execution, e.g. stack integrity ; Preventing unwanted data erasure; Buffer overflow
    • G06F21/53Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems during program execution, e.g. stack integrity ; Preventing unwanted data erasure; Buffer overflow by executing in a restricted environment, e.g. sandbox or secure virtual machine
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55Detecting local intrusion or implementing counter-measures
    • G06F21/56Computer malware detection or handling, e.g. anti-virus arrangements
    • G06F21/566Dynamic detection, i.e. detection performed at run-time, e.g. emulation, suspicious activities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/02Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227Filtering policies
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416Event detection, e.g. attack signature detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441Countermeasures against malicious traffic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/03Indexing scheme relating to G06F21/50, monitoring users, programs or devices to maintain the integrity of platforms
    • G06F2221/034Test or assess a computer or a system
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/16Implementing security features at a particular protocol layer
    • H04L63/168Implementing security features at a particular protocol layer above the transport layer

Abstract

本发明提供一种用于识别网络上的网站中的活动内容的系统和方法。一个实施例包含一种将网络内容分类的方法。在一个实施例中,分类指示活动和/或恶意内容。所述方法包含至少部分地基于所述网页的内容识别与所述网页相关联的属性,以及将所述属性存储在网页属性数据库中。所述方法进一步包含对至少一个定义与存储在所述网页属性数据库中的属性进行比较,以及基于对至少一个定义与所述存储的属性进行比较来识别具有所述定义的网页。所述方法进一步包含识别具有与所述至少一个定义相关联的至少一个类别的网页,其中所述类别指示与所述网页相关联的活动内容。其它实施例包含经配置以执行此类方法的系统。

Description

分析网络内容的系统和方法
相关申请案
本申请案涉及2006年7月10日申请的第11/484,240号美国专利申请案(代理人案号WEBSEN.083A),所述申请案的全文以引用的方式并入本文。
技术领域
本申请案涉及数据和应用程序安全性。确切地说,本申请案揭示收集和挖掘数据以确定数据是否与恶意内容相关联的系统方法。
背景技术
传统上,计算机病毒和其它恶意内容最经常通过将受感染的磁盘或某种其它物理媒体插入计算机而被提供到客户端计算机。随着电子邮件和因特网的使用增加,电子邮件附件攻击变为用于向计算机分布病毒代码的普遍方法。为了用这些类型的具有恶意内容的病毒感染计算机,通常需要用户的某种同意动作,例如打开受感染的文件附件或从网站下载受感染的文件并在用户的计算机上启动所述文件。随着时间的过去,反病毒软件制作者开发出日益有效的程序,所述程序经设计以扫描文件并在其有机会感染客户端计算机之前将其消毒。因此,计算机黑客不得不创造更聪明且创新的方法来用其恶意代码感染计算机。
在当今的日渐联网的数字世界,正开发分布式应用程序以在开放的、合作的联网环境中向用户提供越来越多的功能性。尽管这些应用程序较有力且复杂,但其增加的功能性要求网络服务器以更集成的方式与客户端计算机交互。举例来说,在先前网络应用程序主要向客户端浏览器提供HTML内容并经由HTTP邮递命令从客户端接收回数据的情况下,许多新的网络应用程序经配置以向客户端计算机发送各种形式的目标内容(例如活动内容),其引起在较新的网络浏览器的增强特征内启动应用程序。举例来说,许多基于网络的应用程序现在利用活动-X(Active-X)控件,其必须下载到客户端计算机以使得其可被有效地利用。在特定例子中Java小程序(Java applet)、Java脚本(JavaScript)和VB脚本(VBScript)命令也有能力修改客户端计算机文件。
这些功能性增加所带来的便利也有代价。较新的网络应用程序和内容显然比先前的应用程序环境更有力。因此,其还为将恶意代码下载到客户端计算机提供了机会。另外,随着操作系统和网络浏览应用程序的复杂性增加,更难以识别可能会允许黑客将恶意代码传送到客户端计算机的安全性弱点。尽管浏览器和操作系统厂商通常会发布软件更新以补救这些弱点,但许多用户尚未配置其计算机以下载这些更新。因此,黑客已开始编写利用这些弱点以将其本身下载到用户的机器而不用依赖于用户的任何特定活动(例如启动受感染的文件)的恶意代码和应用程序。此攻击的一个实例是使用嵌入在网站上的活动内容对象的恶意代码。如果恶意代码已经配置以利用网络浏览器中的弱点,那么用户可能仅仅因为访问过所述页面就会被恶意代码感染或损害,因为所述页面中的目标内容将在用户的计算机上执行。
解决嵌入活动内容中的恶意代码的问题的一种尝试是利用网络浏览器上的升高的安全性设定。然而在许多公司环境中,内部网或外部网应用程序经配置而向客户端计算机发送可执行内容。将浏览器设定设定为高安全性等级往往会妨碍或阻碍对这些类型的“安全”应用程序的有效使用。解决问题的另一尝试是使用网络防火墙应用程序来阻止所有可执行内容。此强力方法在许多环境中也是低效的,因为为了让软件正确地起作用,有必要对特定类型内容进行选择性接入。
需要一种允许检测恶意网络内容而不会损害用户功能性的系统和方法。此外,需要一种可检测例如活动内容的目标内容并快速识别和归类其行为,且以最小延迟向大量客户端计算机提供针对恶意内容的保护的系统。
发明内容
本发明的系统、方法和装置每一者均具有若干方面,其中任何单个一个方面均不唯一负责其所需的属性。现在将简要论述本发明的若干特征,但并不限制本发明的范围。
一个实施例包含将网络内容分类的方法。所述方法包含接收至少一个网页的内容。所述方法进一步包含至少部分地基于所述网页的所述内容识别与所述网页相关联的属性。所述方法进一步包含将属性存储在网页属性数据库中。所述方法进一步包含对至少一个定义与存储在所述网页属性数据库中的属性进行比较。所述方法进一步包含基于对至少一个定义与存储的属性进行比较来识别具有所述定义的网页。所述方法进一步包含识别具有与所述至少一个定义相关联的至少一个类别的所述网页,其中所述类别指示与所述网页相关联的活动内容。
一个实施例包含用于将网络内容分类的系统。所述系统包含数据库,其经配置以与网页相关联的属性。所述系统进一步包含至少一个处理器,其经配置以至少部分地基于网页的内容识别与网页相关联的属性,以及将属性存储在网页属性数据库中。所述处理器进一步经配置以对至少一个定义与存储在网页属性数据库中的属性进行比较,基于对至少一个定义与存储的属性进行比较来识别具有所述定义的网页,以及识别具有与所述至少一个定义相关联的至少一个类别的网页,其中所述类别指示与网页相关联的活动内容。
附图说明
在本描述内容中参看附图,其中始终以相同标号指代相同部分。
图1是根据本发明方面的系统的各种组件的方框图。
图2是来自图1的工作站模块的方框图。
图3是来自图1的网关服务器模块的方框图。
图4是记录数据库的实例。
图5是URL接入策略数据库表的实例。
图6A和6B分别是经归类和未经归类的URL的实例。
图7是来自图1的数据库管理模块的方框图。
图8是来自图7的收集系统的方框图。
图9是来自图8的收集模块的方框图。
图10展示根据木发明某些方面的蜜罐客户端系统。
图11是由来自图9的收集模块收集的URL相关数据的实例。
图12是来自图7的记分和归类模块的方框图。
图13A是属性表的实例。
图13B是经处理的网页属性表的实例。
图13C是定义表的实例。
图14是说明来自图7的训练模块的一个实施例的方框图。
图15是说明来自图12的活动分析系统的一个实施例的方框图。
图16是描述在一个实施例中可如何在网关服务器模块中处理URL的流程图。
图17是描述根据某些实施例可如何结合策略模块通过网关服务器模块处理URL的流程图。
图18是描述收集系统可如何在网关服务器模块内处理URL的流程图。
图19是描述收集系统可如何在数据库管理模块内处理URL的流程图。
图20是数据挖掘系统的方框图。
图21是说明在数据库管理模块内将URL归类的方法的一个实施例的流程图。
图22是说明在图21的方法中识别URL的属性的方法的一个实施例的流程图。
图23是说明在图21的方法中基于URL属性将URL归类的方法的一个实施例的流程图。
图24是说明识别在图22和23的方法中将URL归类时使用的属性的方法的一个实施例的流程图。
具体实施方式
以下详细描述是针对本发明的某些具体实施例。然而,本发明可以权利要求书定义和涵盖的许多不同方式来实施。在本描述内容中参看附图,其中始终以相同标号指代相同部分。
特定实施例提供识别和归类在通过统一资源定位符(URL)识别的位置发现的网络内容的系统和方法,所述内容包含可能可执行的网络内容和恶意内容。如本文使用,可能可执行的网络内容通常指包含由网络浏览器或网络客户端计算机执行的指令的任何类型的内容。可能可执行的网络内容可包含例如小程序、嵌入HTML或其它超文本文档(包含例如Java脚本或VB脚本的脚本语言)的可执行代码、嵌入其它文档(例如微软Word宏或样式表)中的可执行代码。可能可执行的网络内容也可指执行位于另一位置(例如另一网页、另一计算机或网络浏览器计算机本身上)中的代码的文档。举例来说,通常可认为包含“对象”元素且因此可引起活动X或其它可执行组件的执行的HTML网页是可能可执行的网络内容,无论所述可执行组件的位置如何。恶意内容可指不可执行但可经计算以利用客户端计算机的弱点的内容。然而,可能可执行的网络内容也可能是恶意内容。举例来说,已使用图像文件来在所述图像经处理用于显示时利用某些操作系统中的弱点。而且,恶意网络内容也可指例如“网络钓鱼(phishing)”方案的交互内容,在所述方案中,HTML表格或其它网络内容经设计以表现为由例如银行的另一(通常是受到信任的)网站提供,以便欺骗用户向未经授权方提供证书或其它敏感信息。
系统的描述
图1提供示范性系统的最高级说明。系统包含网络110。网络110可以是局域网、广域网或某种其它类型的网络。网络110可包含一个或一个以上工作站116。工作站116可以是附接到网络的各种类型的客户端计算机。客户端计算机116可以是桌上型计算机、笔记型计算机、手持式计算机或类似计算机。客户端计算机也可装载有操作系统,所述操作系统允许客户端计算机通过例如网络浏览器、电子邮件程序等各种软件模块利用网络。
每一工作站116均可与网关服务器模块120电连通。网关服务器模块可驻存在网络110的边缘,使得从因特网112和向因特网112发送的业务可在进入或离开网络110的途中经过网关服务器模块。网关服务器模块112可采用安装在服务器上的软件模块的形式,所述服务器作为向比工作站116直接附接到的网络110广的区域网络112的网关而起作用。数据库管理模块114也连接到因特网112。数据库管理模块也可以是驻存在一个或一个以上计算装置上的软件模块(或一个或一个以上硬件器件)。数据库管理模块114可驻存在包含某类网络连接硬件(例如网络接口卡)的机器上,所述网络连接硬件允许数据库管理模块114向因特网112发送数据和信息以及从因特网112接收数据和信息。
现在参看图2,呈现工作站116的更详细视图。工作站116可包含工作站模块130。工作站模块130可采用经安装以在工作站116的操作系统上运行的软件的形式。或者,工作站模块130可以是在另一机器上运行的由工作站116远程启动的应用程序。
工作站模块130可包含各种组件。工作站模块可包含本地活动内容模块132的清单(inventory),其记录存储在工作站116上的所有网络内容。举例来说,本地内容清单模块132可周期性列出所有本地内容的清单。清单中列出的数据可上载到网关服务器模块120以与经归类的URL/内容数据库146进行比较。本地内容清单模块132可通过与清单中列出的本地内容132进行比较来确定是否有新内容正在被引入到工作站116。
工作站模块还可包含上载/下载模块134和URL请求模块136。上载/下载模块134可用于通过网关服务器模块120从网络110向因特网112发送和接收数据。URL请求模块136从用户或某个系统过程接收URL输入,且可经由网关服务器模块120发送请求以检索与所述URL相关联的文件和/或内容。通常,上载/下载模块134和URL请求模块136中的每一者的功能可由例如网络浏览器的软件应用程序执行,其中因特网探测器
Figure A200780025882D0009182946QIETU
(Internet 
Figure A200780025882D00091
)、谋智火狐(Mozilla Firefox)、奥普拉(Opera)、远征(Safari)是此项技术中众所周知的浏览软件的实例。或者,模块的功能可在不同的软件应用程序之间划分。举例来说,FTP应用程序可执行上载/下载模块134的功能,而网络浏览器可执行URL请求。其它类型的软件也可执行上载/下载模块134的功能。尽管工作站上通常不需要这些类型的软件,但例如间谍软件(Spyware)或特洛伊木马(Trojan Horses)的软件可能做出从因特网发送和接收数据的请求。
工作站模块130可与网关服务器模块120通信。网关服务器模块120可用于分析传入和传出的网络业务并做出关于所述业务对工作站116可能造成的影响的各种确定。现在参看图3,提供网关服务器模块120的实例。网关服务器模块120与工作站116双向通信。其可从工作站模块130接收文件上载和下载以及URL请求。网关服务器模块120还与因特网112双向通信。因此,源自网络110的工作站116内的请求可能需要在其前进到因特网时通过网关服务器模块120。在一些实施例中,网关服务器模块120可与保护网络110免受来自因特网112的未经授权的入侵的某个防火墙硬件或软件集成。在其它实施例中,网关服务器模块120可以是独立的硬件器件乃至是安装在驻存于到因特网112的网络网关处的单独网关服务器上的软件模块。
如上论述,网关服务器模块120可借助于工作站模块130而从工作站116接收URL请求和上载/下载数据。网关服务器模块120可包含基于所接收数据执行各种功能的各种组件。
网关服务器模块120中包含的一个特征是经归类URL数据库146。URL数据库146可用于存储包含与URL相关联的数据的关于URL的信息。经归类URL数据库146可以是关系数据库,或其可以例如平面文件、面向对象的数据库的某种其它形式存储,且可经由应用程序编程接口(API)或某个数据库管理软件(DBMS)存取。URL数据库146通常可用于帮助确定由URL请求模块136发送的URL请求是否将被许可完成。在一个实施例中,将存储在URL数据库146中的URL归类。
网关服务器模块120还可包含策略模块142。策略模块142可用于实施关于特定内容将如何由网关服务器模块120或由安装在网络110内的防火墙或某种其它安全性软件处理的网络策略。在一个实施例中,策略模块142可经配置以提供关于如何处理针对经归类URL的URL请求的系统引导。举例来说,网关服务器模块120可经配置以不允许归类为“恶意”或“间谍软件”的URL请求。在其它实施例中,策略模块142可用于确定如何处理未经归类的URL请求。在一个实施例中,系统可经配置以阻止针对不在经归类URL数据库146中的URL的所有请求。策略模块142还可经配置以基于做出请求的用户或做出请求的时间而允许某些对未经归类URL的请求。这允许系统在通用型(one-size-fits-all)配置将不满足运行网关服务器模块120的组织的业务需要时避免具有所述配置。
网关服务器模块120可包含收集模块140。收集模块140可以是用于收集关于URL的数据的软件程序、例行程序或过程。在一个实施例中,当从URL请求模块136接收到针对特定URL的请求时,收集模块140可经配置以访问所述URL并下载页面数据到网关服务器模块120以供网关服务器模块120的组件进行分析。下载的数据还可经由因特网112发送以传递到数据库管理模块114(如下文将进一步论述的)。
在一些实施例中,网关服务器模块120还可包含记录数据库144。记录数据库144可执行各种功能。举例来说,其可存储网络110内的特定类型发生情况的记录。在一个实施例中,记录数据库144可经配置以记录工作站116请求未经授权URL的每一事件。在一些实施例中,记录数据库144还可经配置以记录特定未经归类URL被请求的频率。此信息可用于确定未经归类URL是否应具有特定重要性或优先权且应先于较早的接收到的数据而由数据库管理模块114归类。在一些实施例中,未经归类URL可单独存储在未经归类URL数据库147中。
举例来说,可编写某个间谍软件以从特定URL请求数据。如果网络110内的许多工作站116被所述间谍软件感染,则对特定URL的重复请求可提供网络内存在某种异常的指示。记录数据库也可经配置以记录对经归类URL数据的请求。在一些实施例中,对经归类URL的请求归类可有助于确定特定URL是否被错误地特征化。
现在参看图4,论述记录数据库144的实例。记录数据库144包含四列数据。第一列“页面请求次数”152指示网络110内的用户请求特定URL的次数。第二列“URL”154记录正在记录数据库144中记录的特定URL串。因此,当将URL发送到记录数据库144时,可首先搜索数据库以确定所述URL串是否已在其中。如果不是,那么可将URL串添加到数据库。在一些实施例中,收集模块140可经配置以访问所请求的URL并收集关于所述URL的数据。收集模块140可检索所请求URL的页面来源并对其进行扫描以查找可能指示内容类型的特定关键词。举例来说,如果页面来源包含“javascript://”,那么所述页可被识别为具有Java脚本。尽管此内容并非固有危险的,但具有Java脚本的网页包含恶意内容的可能性可能更大,所述恶意内容经设计以利用浏览器应用程序处理Java脚本函数调用的方式。在一些实施例中,此数据可存储在记录数据库144中在Java脚本列155中。记录数据库也可从包含活动-X内容的页面接收类似的信息并将所述内容存储在活动X列156内。在其它实施例中,可针对Java小程序、VB脚本等检测和存储其它类型的活动内容。
再次参看图3,网关服务器模块120可进一步包含管理界面模块148或“管理模块”。管理模块148可用于允许网络管理员或组织内的其它技术人员配置网关服务器模块120的各种特征。在某些实施例中,管理模块148允许网络管理员或某种其它网络管理类型来配置策略模块142。
现在参看图5,提供URL接入策略数据库158的实例。URL接入策略数据库158可由策略模块142用于实施用于网络110内的工作站116接入基于网络的内容的策略。在所示的实施例中,URL接入策略数据库158包含具有四列的表。第一列是用户列160。“用户”列160包含关于服从于在表的给定行中定义的策略的用户的数据。下一列“类别”162列出所述行定义的策略所适用的内容的类别。第三列“总是阻止”164表示当所请求内容的用户和类别166匹配于所述特定行中定义的用户和类别时系统实施的行为或策略。在一个实施例中,“总是阻止”字段可以是其中数据可设定为真或假的布尔型字段。因此,在数据表所示的第一行中,策略模块142经配置以“总是阻止”用户“asmith”对“恶意内容”的请求。
如上所述,策略模块还可经配置以基于不同时间实施策略。在图5提供的实施例中,第四列“允许的时间”166提供此功能性。第二行数据提供如何实施时间策略的实例。用户164设定为“bnguyen”且类别162是“赌博”。正如保留为空白的字段所指示的,策略未经配置以针对“bnguyen”“总是阻止”赌博内容。然而,这些URL请求被许可的时间限于从6PM到8AM。因此,采用这些类型的策略允许网络管理员向工作站和用户提供某一程度的灵活性,但此灵活性的提供是以在典型工作时间期间网络业务不受损害的方式进行的。
图6A和6B提供对经归类URL数据库146可如何存储经归类数据的说明。在一个实施例中,经归类URL可存储在例如图6A所示的两列数据库表中。在一个实施例中,所述表可包含URL列172,其可仅存储已经特征化的URL串。类别列174可存储关于所述URL已如何由数据库模块114特征化的数据(如下文将详细描述)。在一个实施例中,可对URL字段编索引以使得其可被实时地更快速地搜索。因为经归类URL的列表可能涉及到数百万个URL,所以快速接入例行程序是有益的。
现在参看图6B,提供未经归类URL的表147(上文结合图3描述)。此表中可填充有来自工作站116的URL请求,所述URL请求是请求在经归类URL表146中不存在的URL。如下文将更详细描述,网关服务器模块120可经配置以查询经归类URL数据库146以确定是否应阻止所请求的URL。如果所请求URL在经归类数据库146中,则策略模块可确定是否允许所述请求前进到因特网112。然而如果在经归类URL数据库中没有发现所请求URL,则可将其添加到未经归类URL列表176,使得其可经由因特网112发送到数据库管理模块114并稍后经分析和归类且下载到经归类URL数据库146中。
图7是对数据库管理模块114中可包含的各种组件的说明。如上文论述,数据库管理模块114可位于网络110及其相关联工作站116的远端(可经由因特网112接入)。数据库管理模块可采用一个或许多不同硬件和软件组件的形式,例如同时运行数百个服务器以实现改善性能的服务器库。
在一个实施例中,数据库管理模块114可包含上载/下载模块178。上载/下载模块178可以是软件或硬件组件,其允许数据库管理模块114从因特网112向任意数目的位置发送和接收数据。在一个实施例中,上载/下载模块经配置以向因特网112上的网关服务器模块120发送新归类的URL以添加到其本地URL数据库146。
数据库管理模块114还可包含URL/内容数据库180。URL/内容数据库180可采用数据仓库的形式,其存储URL串和关于已由收集系统182收集的URL的信息。URL/内容数据库180可以是经编索引以提供快速且有效的数据搜索的关系数据库。在某些实施例中,URL数据库可以是数据入库应用程序,其跨越许多物理硬件组件和存储媒体。URL数据库可包含例如以下数据:URL串、与这些串相关联的内容、关于如何收集到内容(例如,通过蜜罐客户端、通过客户提交等)的信息,且可能包含URL被写入到URL/内容数据库180内的日期。
数据库管理模块114可进一步包含训练系统184。训练系统184可以是软件/硬件模块,其用于定义可用于归类基于网络的内容的属性和定义。数据库管理模块114可进一步提供记分/分类系统186,其利用由训练系统184创建的定义和属性来向网络内容提供记分或分类(例如,归类),使得所述归类可经由上载/下载模块178传递到网关服务器模块120。
现在参看图8,提供收集系统182的更详细视图。收集系统182可包含收集模块190,其(直接或间接)耦合到数据挖掘模块192。收集模块190可由数据库管理模块114用于为URL数据库180收集关于未经归类的URL的数据。除了URL之外,URL数据库180还可存储与URL相关联的内容。收集模块还可用于收集URL供其它系统组件进行额外分析。收集模块190可与其可从其收集关于URL的数据的一个或一个以上收集源194相关联。收集源可采用各种形式。在一些实施例中,收集源194可包含主动与被动蜜罐和蜜罐客户端、存储在网关服务器模块120上的记录数据库144的用以识别应用程序的数据分析、用于收集的URL和协议。收集源也可以是网络爬行(webcrawling)应用程序,其针对特定关键词搜索因特网112,或在页面内容内搜索短语。收集源194还可包含从DNS数据库挖掘的URL和IP地址数据以识别与已知恶意IP地址相关联的域。在一些实施例中,可通过从共享恶意代码和恶意URL样本的其它组织接收此信息以收集用于归类的URL。在又一些实施例中,可经由电子邮件模块收集URL,所述模块经配置以从整个公众接收举报(tip),近似于通过罪犯举报热线来识别罪犯的方式。
现在参看图9,提供收集模块190的更详细视图。收集模块190可包含允许其有效利用上述收集源中每一者的各种子组件。收集模块190可包含搜索短语数据模块197和表达式数据模块198。搜索短语数据模块197收集并提供可能与识别不适当内容相关的搜索短语。表达式数据模块可包含各种类型的表达式,例如常规表达式、操作数或某种其它表达式。搜索短语数据模块197和表达式数据模块198每一者可包含可更新的记录组,其可用于定义用于网络爬行收集源194的搜索参数。收集模块190还可包含优先权模块200。优先权模块200可采用在收集系统182内运行的软件过程的形式,或者其可作为单独过程运行。优先权模块可用于对收集模块收集的数据区分优先次序,以便使较可能危险或可疑的URL(或数据)在较可能无害的URL之前受到严格的检查。在一个实施例中,优先权模块200可基于接收的URL来自的收集源194而指派优先权。举例来说,如果从客户报告接收到URL,则可为其指定较高的优先权。类似地,如果从接入在过去主机恶意内容已知的域或IP地址或子网的网络爬行器接收到URL,则所述URL可得到高优先权。类似地,由蜜罐客户端(下文更详细论述)识别的可能危险的网站也可得到高优先权。收集模块190还可包含数据选择模块202,其可与优先权模块200一起工作以确定所识别URL是否应被标记为用于归类的候选URL。在一个实施例中,数据选择URL可提供用于接收搜索参数的用户界面以通过基于优先权和内容搜索数据来进一步细化经区分优先次序的数据。
如上文指示,收集模块还可包含数据下载模块204。数据下载模块204可经配置以识别URL以进行访问以及从所访问URL下载数据和内容。数据下载模块可结合收集模块中的各种子系统一起工作,以检索用于URL数据库180的数据。一个此子系统是网络爬行器模块206。网络爬行器模块206可以是软件应用程序,其经配置以通过接入网页并跟随包含在所述页面中的超链接来接入因特网112上的网站。网络爬行器模块206可配置有若干同时的过程,所述过程允许模块同时爬行许多网站并将所访问URL报告回URL数据库180,如下文将更详细论述。收集模块190还可包含蜜罐客户端模块208。蜜罐客户端模块208是软件过程,其经配置而以吸引存储在所访问页面内的恶意代码的方式模仿网络浏览者访问网站的行为。蜜罐客户端模块208可访问网站并跟踪网站的行为,且将内容下载回到URL数据库180供进一步分析。
下载模块204还可包含第三方供应者模块212,其经配置以从第三方接收URL和相关联的内容。举例来说,第三方模块212可经配置以提供可由一般公众接入的网站。所述模块可经配置以接收输入URL串,所述串随后可被输入到URL数据库180中。在一些实施例中,第三方模块还可经配置以接收来自专有或公共邮寄列表的电子邮件,且识别所述电子邮件内嵌入的任何URL数据以存储在URL数据库180中。
下载模块还可包含网关服务器接入模块210。网关服务器接入模块是软件组件或程序,其可经配置以有规律地接入网关服务器模块120上的记录数据库144以下载/上载由记录数据库144识别的所有新未经归类的网络内容。
返回参看图8,收集系统还可包含数据挖掘模块192。数据挖掘模块192可用于获得关于存储在URL数据库180中的URL的额外数据。在许多例子中,由收集源194供应到收集模块190和URL数据库180的信息仅限于URL串。因此,为了使系统有效地归类所述URL内的内容,可能必须有更多数据。举例来说,可能需要检查实际的页面内容以确定是否存在嵌入URL内的危险内容。数据挖掘模块192用于收集关于URL的此额外必要数据,且下文将更详细论述。
图10提供蜜罐客户端系统208的更详细视图。蜜罐客户端系统208包含控制服务器220。控制服务器220用于控制多个蜜罐挖掘器(honey miner)222,其经配置以访问网站并模仿人类浏览者的行为以尝试检测网站上的恶意代码。蜜罐挖掘器222可以是被动蜜罐挖掘器或主动蜜罐挖掘器。被动蜜罐挖掘器类似于上述的网络爬行器。然而,不同于仅访问网站并报告从所述站点可获得的URL链接的上述网络爬行器,被动蜜罐挖掘器可经配置以下载页面内容并将其传回控制服务器220以用于插入到URL数据库180中。蜜罐挖掘器222可以是单一机器上的软件模块,或者其每一者可实施在单独计算装置上。
在一个实施例中,每一控制服务器可控制17个被动蜜罐挖掘器222。控制服务器220可从URL数据库180提取或接收需要额外信息以便完全分析或归类的URL。控制服务器220将所述URL提供到挖掘器,挖掘器又检阅URL并存储收集的数据。当被动挖掘器222完成特定URL时,其可从其控制服务器222请求另一URL。在一些实施例中,挖掘器222可经配置以跟随URL内容上的链接,使得除了访问由控制服务器220指定的URL之外,挖掘器还可访问其链接到所述URL的内容。在一些实施例中,挖掘器222可经配置以相对于每一原始URL挖掘到指定深度。举例来说,挖掘器222可经配置以向下挖掘穿过四层网络内容,然后从控制服务器220请求新的URL数据。
在其它实施例中,控制服务器220可经配置以控制主动蜜罐挖掘器222。与仅访问网站并存储站点上呈现的内容的被动蜜罐挖掘器相比,主动蜜罐挖掘器222可经配置以访问URL并运行或执行在站点上识别的内容。在一些实施例中,主动蜜罐挖掘器222包含实际的网络浏览软件,其经配置以访问网站并经由浏览器软件接入网站上的内容。控制服务器220(或蜜罐挖掘器本身222)可经配置以在其执行其访问的网站上的内容时监视蜜罐挖掘器222的特性。在一个实施例中,控制服务器220将记录由于执行所访问网站上的应用程序或内容而由蜜罐挖掘器访问的URL。因此,主动蜜罐挖掘器222可提供更准确地跟踪系统行为并发现先前未识别出的利用(exploit)的方式。因为主动蜜罐挖掘器将其本身暴露于可执行内容的危险,所以在一些实施例中主动蜜罐挖掘器222可位于沙盒(sandbox)环境中,其提供一组受到紧密控制的资源用于客人程序(guest program)在其中运行,以便保护其它计算机免于可能由恶意内容造成的危险。在一些实施例中,沙盒可采用模拟操作系统的虚拟机的形式。在其它实施例中,沙盒可采用与网络隔离的实际系统的形式。可通过实时跟踪对沙盒机器上的文件系统做出的改变来检测反常行为。在一些实施例中,由主动蜜罐挖掘器222执行的代码可能会引起运行所述挖掘器的机器由于嵌入在网页内容中的恶意代码而变为不可操作。为了解决此问题,控制服务器可控制替代挖掘器,其可插手帮助完成在挖掘过程期间损坏的蜜罐挖掘器222的工作。
现在参看图11,提供已由收集系统收集的一组URL相关数据的实例。尽管提供所收集数据的特定实例,但所属领域的技术人员将了解,除了此实例中提供的数据之外还可收集其它数据。所收集数据中包含针对URL的IP地址230。IP地址230可用于识别正代管同一IP地址下或同一服务器上的可疑内容的多个域的网站。因此,如果具有恶意内容的URL被识别为来自特定IP地址,那么可针对具有相同IP地址的其它URL挖掘URL/内容数据库180中的数据的其余部分,以便对其进行选择和对其进行更仔细的分析。所收集URL数据还可包含URL 232,如图11中的第二列指示。在使用例如上述蜜罐客户端过程的挖掘过程收集数据的例子中,URL 232可常包含来自相同网域的各种页面,因为挖掘器可能经配置以爬行通过网站中的所有链接。所收集数据还可包含针对特定URL的页面内容234。因为URL的内容可呈图形、文本、应用程序和/或其它内容的形式,所以在一些实施例中,存储此URL数据的数据库可经配置以将页面内容存储为数据记录中的二进制大对象(blob)或应用程序对象。然而,由于某些网页只含有文本,因此页面内容234也可存储为文本。在一些实施例中,收集例行程序可经配置以确定URL是否含有可执行内容。在这些例子中,所收集数据的所得数据集可包含URL在其页面代码内是否具有可执行内容236的指示。此信息可稍后用于从具有候选数据的URL/内容数据库180中选择数据以供分析。
图12是说明来自图7的记分和归类模块186的方框图。在一个实施例中,记分和归类模块168包含属性数据库320、经处理网页属性数据库324、定义数据库326、静态内容分类模块328以及内容记分模块330。在一个实施例中,记分和归类模块186包含活动分析模块332。内容分析模块322接收来自URL数据库180的一个或一个以上候选URL并从属性数据库320中识别其发现的与每一候选URL相关联的属性。每一URL的属性的值和/或计数存储在经处理网页属性数据库324中。静态内容分类模块328基于来自定义数据库326的定义查询经处理网页属性数据库324以将类别与候选URL相关联。内容记分模块330可进一步将记分与每一URL相关联,所述记分可用于进一步归类或改变由静态内容分类模块328识别的类别。在一个实施例中,内容记分模块330可识别候选URL以供活动分析模块332进行处理。活动分析模块332下载和执行任何活动内容以识别与URL相关联的行为属性。接着可将这些属性提供到内容记分模块以进一步归类候选URL,例如改变其类别或添加额外类别。
举例来说,由内容分析模块322处理的URL可得到“恶意”类别。内容记分模块330接着可将记分(例如,低分)与URL相关联,所述记分指示URL不是恶意的。为了解决,内容记分模块330可将URL作为候选URL提供到活动分析模块332以识别更多属性或行为记分,其可由内容记分模块330使用以确定“恶意”类别是否适当。
属性数据库320包含可用于归类网页的关键词、常规表达式以及其它网页属性。属性也可以是与网页相关联的值,例如HTTP请求标头数据或与网页相关联的其它元数据。举例来说,属性可包含将在文档中识别的例如“<java脚本>”“<对象>”的关键词、例如“数据=.*\.txt”的常规表达式(例如,关键词“数据=”之后是任意长度的字符串,之后是“.txt”),或来自HTTP标头的数据的内容类型。图13A是属性数据库的实例,其包含属性和识别属性类型的额外字段,例如关键词或常规表达式。在说明性数据库中,属性ID字段用于提供用于每一属性的唯一(在数据库内)识别符。在其它实施例中,可使用其它合适类型的关键词。
在一个实施例中,内容分析模块322接收来自URL数据库的已经由收集系统182识别的候选URL。内容分析模块接收内容和与URL相关联的其它数据(例如HTTP标头),并识别属性数据库320中与候选网页相关联的一个或一个以上属性,且将与那些属性相关的数据存储在经处理网页属性数据库324中。内容分析模块322可接收来自URL数据库的候选网页的内容或其本身可下载数据。在一个实施例中,蜜罐客户端模块208获得并存储URL数据库中每一候选网页的内容。在另一实施例中,作为针对属性处理网页的一部分,内容分析模块322下载候选网页的内容。
大体上,属性数据库320存储属性和充足信息以识别与网页相关联的属性。举例来说,针对关键词或常规表达式属性,属性数据库320可存储关键词或常规表达式。相比之下,经处理网页属性数据库324可存储由内容分析模块322发现与每一网页相关联的关键词或常规表达式的计数。对于常规表达式,取决于实施例,可将匹配表达式的计数或匹配表达式本身或所述两者存储在经处理网页属性数据库324中。举例来说,对于特定网页,经处理网页属性数据库324可能存储值3,其指属性“<java脚本>”在页面中出现的次数,值0,指属性“<对象t>”出现的次数,以及“data=http://www.example.url/example.txt.”,指常规表达式属性“数据=.*\.txt.”。
图13B说明经处理网页属性数据库324中的表的一个实施例,其中图13A的实例属性已经相对于若干网页经处理。在说明的实施例中,数据库包含两个表,一个将URL与唯一(在数据库内)识别符相关,第二个将URL识别符与同所述URL相关联的属性相关。在说明的实施例中,表包含针对与URL相关联的网络内容数据的每一属性的条目或行。在一个实施例中,数据库还包含针对对应于关键词属性的每一属性/URL的数字值,其指示在网页中发现特定属性的次数。数据库,例如在URL/属性表中,还可包含匹配于URL的常规表达式属性的实际表达式。在一个实施例中,可在页面主体中和标头或其它元数据中搜索关键词属性。在一个实施例中,仅搜索页面主体。在又一实施例中,属性可与例如属性数据库320中的数据相关联,其指示在识别网页中的属性的过程中应处理哪些数据。
在一个实施例中,静态内容分类模块328存取网页属性数据库324并对一个或一个以上网页的属性与来自定义数据库326的定义进行比较。当网页匹配于特定定义时,以与所述定义相关联的一个或一个以上类别识别所述网页。在一个实施例中,这些类别存储在与URL相关联的URL数据库中。在一个实施例中,根据网页的一个或一个以上属性表达每一定义。在一个实施例中,定义表达为与一个或一个以上所述属性相关的一阶逻辑运算。在一个实施例中,定义的项包含网页属性之间或属性与值(包含常数值)之间的比较。举例来说,定义可能包含表达式,例如“属性_1”=“属性2”AND“属性_3”的发生>5。除了比较之外,项可包含对网页属性的其它运算,例如算术、字符串或任何其它合适的计算表达式。举例来说,简单的定义可以是“data=,*\.txt”=“data=xyx333.txt”,其匹配于具有字符串“data=xyx333.txt”(匹配于常规表达式属性“data=,*\.txt”)作为其内容的一部分的任何网页。更复杂的定义可包括对所述项的逻辑运算。此类逻辑运算可包含AND、OR、NOT、XOR、IF-THEN-ELSE,或对属性的常规表达式匹配。在一个实施例中,定义还可包含或对应于数据库查询表达式,例如标准SQL数据库比较函数和逻辑运算。在一个实施例中,定义可包含可执行代码,例如可执行程序的脚本或引用或至少部分地确定URL的分类的脚本。图13C说明根据一个实施例的定义数据库326的示范性部分。如本文使用,类别可指任何类型的分类。举例来说,类别可仅仅是指示针对URL应执行进一步处理或分析以识别URL的类别的分类。
在一个实施例中,内容记分模块330进一步分析网页并向网页指派与一个或一个以上类别相关联的记分。在一个实施例中,记分可基于在网页中发现关键词的次数的加权组合。在一个实施例中,权数存储在与对应属性相关联的属性数据库中。
在另一实施例中,记分可基于关于网页的URL的信息来确定。举例来说,可基于因特网地址和/或域名向特定者指派记分。数据库可向整个子网络指派记分(例如,匹配于128.2.*.*的所有地址可具有特定记分)。此类网络或子网络帮助将网站识别为位于特定国家或具有特定服务提供商。已发现这对记分有用,因为由于不同的法律或执法不严,某些国家和服务提供商已经关联于特定类型的网络内容。网络或子网络的记分系统可基于具有特定类别的特定网络或域中的URL的相对数目。举例来说,如果URL数据库180中针对特定网络的URL的95%被分类为恶意的,那么可给予新URL高分。在一个实施例中,具有高于阈值的记分的URL被识别为具有一类别,例如恶意的,而无论通过对网页的内容分析识别的类别如何或除了所述类别以外。在一个实施例中,向每一URL指派与不同类别相关联的多个记分,且用URL识别对应于高于给定阈值的每一记分的类别。在一个实施例中,采用多个阈值。举例来说,基于记分自动分类具有高于一个阈值的记分的URL。在一个实施例中,将具有低于第一阈值但高于第二阈值的记分的URL传送给人类分析员以用于分类。在一个实施例中,内容记分模块330将此类URL传送到活动分析模块332以用于额外分析。
一个实施例可包含记分和归类系统,例如标题为“用于控制对因特网站点的接入的系统和方法”("System and method for controlling access to internet sites,")的第6,606,659号美国专利中说明,所述文档的全文以引用的方式并入。
在一个实施例中,活动分析模块332执行网页的活动内容以识别其行为属性。这些属性可接着用于为网页记分和分类。在一个实施例中,静态内容分类模块328和内容记分模块330中的一者或一者以上识别URL以用于由活动分析模块332处理。在接收到候选URL之后,活动分析模块332可将与一个或一个以上行为属性(例如,比如“写入到注册表”的属性)相关联的行为记分或数据提供到内容记分模块以用于进一步归类。
图14是说明来自图7的训练模块184的一个实施例的方框图。在一个实施例中,训练模块包含分析任务分配模块352,其识别针对其需要额外类别的具有例如活动内容等内容的网页或URL。在一个实施例中,收集模块190识别具有活动内容的URL。在另一实施例中,例如安全性研究员等外部源识别具有已经识别出具有一个或一个以上类别(例如,键盘记录程序、病毒、恶意内容、蠕虫等)的活动内容的特定URL。在一个实施例中,这些可存储在URL数据库180中。在一个实施例中,任务分配模块352维持此类URL的数据库(未图示)。在一个实施例中,任务分配模块352数据库维持针对这些URL的优先权,并基于优先权将其呈现给分析员。
属性识别模块354识别网页的属性和基于所述属性的定义,所述属性和定义对网页进行归类。在一个实施例中,属性识别模块354为人类分析员提供使用记分和分类模块186向URL应用特定规则或定义的界面。另外在一个实施例中,属性识别模块354可提供一界面,供分析员将URL识别为供图10的活动分析模块332执行URL的行为分析的候选,以便从活动分析模块332接收回用于将URL分类的额外数据。属性识别模块354接着可将此数据提供给分析员。在一个实施例中,分析员分析来自记分和分类模块186(包含活动分析模块332)的URL数据以帮助识别将URL以及(在可能时)涉及类似分类的内容的其它URL适当分类的属性和定义。在一个实施例中,属性识别模块354将这些新识别的属性和定义提供到数据库更新模块356,数据库更新模块356将新定义和属性存储到属性数据库320和定义数据库326。
图15是说明来自图12的活动分析模块332的一个实施例的方框图。在一个实施例中,活动分析模块332包含沙盒模块370,在沙盒模块370中如将在典型工作站116上所发生的那样下载URL和执行任何活动内容。沙盒模块370以透明方式监视计算机的状态以识别网络内容的行为,所述行为影响例如新产生进程、网络接入、处理器使用、存储器使用、系统资源使用、文件系统存取或修改以及注册表存取或修改中的一者或一者以上。
行为分析模块372将来自沙盒模块的所监视动作与特征化所监视动作的列表、数据库或规则进行比较。在一个实施例中,这些特征化定义URL的属性,所述属性随后由图12的静态内容分类模块328分析。在另一实施例中,活动记分分类模块374可使用与行为属性相关联的记分来确定URL的记分。在一个实施例中,记分是这些属性的加权记分。此记分可用于将URL分类或将其传送到内容记分模块以用于分类。在另一实施例中,将例如来自定义数据库332的规则或定义应用于URL的行为属性(且在一个实施例中,经处理网页属性324)以识别与URL相关联的一个或一个以上类别。
使用和操作的方法描述
取决于实施例,本文描述的方法的动作或事件可以不同顺序执行、可合并,或可完全省略(例如,并非所有动作或事件对于实践所述方法都是必要的),除非正文中另有具体且清楚的陈述。另外,本文描述的方法可包含额外的动作或事件,除非正文中另有具体且清楚的陈述。而且,除非另有清楚陈述,否则可例如通过中断处理或多个处理器同时执行而不是顺序执行动作或事件。
如上文结合图3论述,在一些实施例中,网关服务器模块120可经配置以基于经归类URL数据库146中存储的数据来控制对特定URL的接入。图16是描述网关服务器模块处理来自工作站116的请求的实施例的流程图。
在方框1200,工作站116从因特网112请求URL。在方框1202,此请求在因特网网关处被拦截并被转发到网关服务器模块120。在方框1204,查询经归类URL数据库146以确定所请求URL是否存储在数据库146中。如果发现所请求URL是数据库中的一份记录,那么过程继续移动到方框1206,其中所述过程分析URL记录以确定URL的类别是否是应针对工作站用户阻止的类别。如果所述类别被阻止,则过程跳转到方框1212且请求被阻止。然而如果所述类别未被阻止,则在方框1208处允许所述请求。
如果在方框1204处并未发现所请求URL是经归类URL数据库146中的记录,则系统前进到方框1210。在方框1210处,系统确定如何处理未经归类内容。在一些实施例中,系统可利用策略模块142来做出此确定。如果网关服务器模块120经配置以阻止针对未经归类内容的请求,则过程移动到方框1212,且阻止请求。另一方面,如果模块经配置以允许这些类型的未经归类请求,则过程移动到方框1208,其中允许所述请求前进到因特网112。
在一些实施例中,对URL数据的请求可导致新记录添加到记录数据库144。这些记录可稍后传送到数据库管理模块114供进一步分析。现在参看图17,提供描述网关服务器模块可借以处理URL请求的过程的另一流程图。在方框1300,网关服务器模块120接收针对URL的请求。如上所述,此请求可来自工作站116。在方框1302,接着将URL与经归类URL数据库146进行比较,且系统在方框1304确定所请求URL是否在经归类URL数据库中。
如果URL已经在经归类URL数据库146中,则过程跳转到方框1308。然而如果在经归类URL数据库146中没有发现所请求URL,则过程移动到方框1306,其中将URL插入到未经归类URL数据库147中。(在一些实施例中,记录数据库144和未经归类URL数据库147可以是同一数据库。)在将URL插入到数据库中之后,方法前进到方框1308。在方框1308,检查策略数据库以获得关于如何处理所接收URL的指令。一旦策略模块142已经被检查,就在方框1310更新记录数据库144以记录URL已经被请求。在更新记录数据库144之后,如果策略数据库许可工作站116接入URL,则过程移动到方框1314,且将URL请求发送到因特网112。然而如果策略数据库不允许所述请求,则过程跳转到方框1316且阻止请求。
在一些实施例中,网关服务器模块120可执行收集活动以减少数据库管理模块114的收集系统182的负担。图18提供网关服务器收集模块140用于收集关于未经归类URL的数据的系统的实例。在方框1400,网关服务器模块接收针对URL的请求。接着,在方框1402,将所请求URL与经归类URL数据库进行比较。如果在方框1404系统确定所请求URL在URL数据库中,则过程移动到方框1410,其中依据URL如何被归类而将请求转发到因特网112或阻止请求。
如果所请求URL不在经归类URL数据库146中,则过程移动到方框1406,其中将URL发送到网关收集模块140。接着在方框1408,收集模块140收集关于所请求URL的URL数据。在一些实施例中,此数据可存储在未经归类URL数据库147中。或者,此数据可简单地经由因特网112转发到数据库管理模块114。一旦数据已被收集并存储,则过程移动到方框1410,其中基于策略模块142中指示的策略而允许或阻止URL请求。
如先前论述,未经归类URL数据可从网关服务器模块120发送到数据库管理模块114供进一步分析,使得URL可经归类并添加到经归类URL数据库146。然而,因为未经归类数据的量有时很大,以至于或许不可能在无损于准确性或速度的情况下将所有接收的数据归类。因此,在一些例子中,可能需要识别未经归类数据内的最有可能对工作站116和网络110引起威胁的候选URL。
图19提供用于识别候选URL供进一步分析的方法的实例。所述方法以将.URL接收到数据库模块114的收集系统182中开始。在方框1502,预处理URL或应用程序以确定其是否携带已知的恶意数据元素或数据签名。接着在方框1504,如果系统确定URL包含已知的恶意元素,则过程跳转到方框1514,其中将URL标记为候选URL并将其发送到训练系统184供进一步分析。如果在方框1504中对URL的初始分析没有显示恶意元素,则过程移动到方框1506,其中将URL添加到可能的候选URL的数据库。接着在方框1508,数据挖掘模块192经配置以基于预先配置的条件(例如,攻击串、病毒签名等)从源194(可能的候选URL的数据库是其中之一)选择URL。接着在方框1510将包含所有数据源194的数据集发送到数据挖掘模块192,其中在方框1512通过数据挖掘模块192分析每一URL。如果URL满足所定义的预先配置的条件,则过程移动到方框1514,其中将URL标记为候选URL并将其转送到记分/分类系统186供额外分析。然而如果URL不满足为将其转换为候选URL而指定的条件,则方法前进到方框1516且不将URL标记为候选。尽管在URL候选分类的上下文中描述此实施例,但所属领域的技术人员将容易了解,可使用上述过程类似地分析应用程序并将其标记为候选。
如上论述,收集并分析因特网数据以确定其是否包含有害的活动内容的难点之一就是必须收集和分析的数据的量。在又一实施例中,数据挖掘模块192可用于通过收集大量相关数据来解决这些问题以有效且高效地利用系统资源。现在参看图20,提供数据挖掘系统192的更详细的方框图。数据挖掘系统192可采用软件模块的形式,其运行多个异步过程以实现最大效率和输出。数据挖掘系统192可包含插入模块242,其接收提供关于应如何处理输入数据的指令的配置参数。在一个实施例中,由插件模块接收的指令可采用HTTP协议插件的形式,其为数据挖掘系统192接收URL数据并基于由数据挖掘系统对URL数据实施的各种HTTP相关指令分析和补充数据提供参数。在另一实施例中,可朝挖掘例如FTP、NNTP或某种其它数据形式的某种其它协议的方向来调整插件。
也可用于实施被动蜜罐客户端的数据挖掘系统192还包含调度程序248的库246。调度程序248是单个单个的异步处理实体,其基于输入到数据挖掘系统中的数据(用于分析)和由插件模块242接收的配置数据来接收任务指派。库246是由驱动程序244控制的调度程序的集合。驱动程序244是用于库的管理机制。驱动程序244可经配置以监视库246中的调度程序248的活动以确定何时将额外数据发送到库246中用于挖掘和分析。在一个实施例中,驱动程序可经配置以每当任何调度程序248空闲便将新数据单元发送到库246中。在一个实施例中,驱动程序244可用作控制服务器以管理如上文结合图10描述的蜜罐客户端挖掘器222。库246可将数据单元传递到空闲的调度程序248。调度程序248读取插件配置并根据插件242执行动作。
在一个实施例中,插件模块可接收HTTP插件。HTTP插件可经配置以接收呈URL串形式的输入数据,关于所述数据,数据挖掘系统192将获得额外信息,例如URL的页面内容、在接入URL时由URL返回的HTTP消息(例如,“4xx—文件未找到”或“5xx—服务器错误”)。插件可进一步指定网络爬行模式,其中调度程序除了收集页面内容以外还将URL内容内的URL链接添加到待分析的URL数据集。
图21是说明在数据库管理模块114内将URL归类的方法2000的一个实施例的流程图。方法2000开始于方框2002,其中开发可用于将网页归类的属性。在一个实施例中,训练模块184用于开发属性数据库320中的属性。在一个实施例中,开发属性包含开发定义(例如与一个或一个以上属性相关的表达式),并将定义存储在定义数据库326中。接着在方框2004处,识别网页以用于内容分析。在一个实施例中,收集模块190识别网页以用于内容分析。在一个实施例中,识别具有活动内容的属性或其它指示的网页以用于内容分析。
移动到方框2006,内容分析模块322识别与每一所识别网页相关联的一个或一个以上属性。下文参看图22更详细描述方框2006的功能。前进到方框2010,静态内容分类模块328至少部分地基于属性识别具有一个或一个以上类别的网页。在一个实施例中,静态内容分类模块328将来自定义数据库326的定义与每一网页的属性进行比较以识别其属性。在一个实施例中,类别包含指示网页是否与活动内容相关联的那些类别。在一个实施例中,类别包含指示与网页相关联或由网页引用的活动内容的类型(例如,恶意、网络钓鱼站点、键盘记录程序、病毒、蠕虫等)的那些类别。在一个实施例中,活动内容包含在网页的主体中。在一个实施例中,在网页的链接或活动X对象元素中引用活动内容。在一个实施例中,活动内容包含交互式“网络钓鱼”站点,其包含往往误导用户提供证书或其它敏感、私人或个人信息的内容。在一个实施例中,记分模块330进一步为网页记分和分类。移动到方框2012,将与网页相关联的类别存储在URL数据库中。在一个实施例中,图7的上载下载模块178将新URL类别分布到一个或一个以上网关服务器模块120或工作站116(两者均见图1)。在一个实施例中,方法2000的一个或一个以上方框(例如,方框2006-2012)也可在收集模块190接收到新URL时连续执行。在一个实施例中,方法2000的一个或一个以上方框(例如,方框2006-2012)可周期性执行。
图22是说明执行图21的方框2006的功能的方法的一个实施例的流程图。方法开始于方框2020,其中内容分析模块322接收URL数据库180中的网页URL的列表。在一个实施例中,收集模块190提供候选URL的列表。接着在方框2022,针对每一URL,内容分析模块322接收下载的网页内容。在一个实施例中,收集模块190下载内容并将其存储在URL数据库180中,内容分析模块322从URL数据库180中存取所述内容。在另一实施例中,内容分析模块322下载并处理内容。移动到方框2024,内容分析模块322从属性数据库320存取属性。接着在方框2026,内容分析模块322至少部分地基于每一网页的内容而识别与每一网页相关联的属性。在一个实施例中,内容分析模块322扫描内容以识别来自属性数据库320的字符串、关键词和常规表达式属性。在一个实施例中,内容分析模块322还可在扫描属性之前和/或之后解码内容。举例来说,内容分析模块322可在扫描之前解码例如URL的URL编码部分或十六进制编码网络地址的网络内容,以帮助防止通过编码或部分编码关键词而将关键词隐藏。前进到方框2028,内容分析模块322将与每一网页相关联的所识别属性存储在经处理网页属性数据库324中。
图23是说明执行图21的方框2010的功能的方法的一个实施例的流程图。方法开始于方框2042,其中静态内容分类模块328从定义数据库326存取指示网页类别的定义。接着在方框2044,针对每一定义,静态内容分类模块328对照经处理网页属性数据库324识别与每一定义相关联的一个或一个以上查询。在一个实施例中,查询包括SQL查询。
移动到方框2046,静态内容分类模块328将网页属性数据库中的URL的属性与查询进行比较以识别匹配于查询的URL。在一个实施例中,静态内容分类模块328通过执行所述一个或一个以上所识别数据库查询,而对照经处理网页属性数据库324执行比较。接着在方框2050,静态内容分类模块328将任何所识别URL与定义进行比较以识别匹配于定义的所识别URL中的任一者。在一个实施例中,此比较包含使用额外可执行指令(例如Per1脚本)比较数据库查询的结果以识别匹配的URL。前进到方框2052,静态内容分类模块328基于定义将所识别的URL归类。在一个实施例中,每一定义与单一类别相关联。在另一实施例中,每一定义与每一者用URL来识别的若干类别相关联。在又一实施例中,定义可包含逻辑表达式,其识别一个或一个以上待用URL识别的类别。举例来说,if-then-else表达式可依据if表达式的结果识别不同的类别。在一个实施例中,内容记分模块进一步对URL记分。基于记分,可用URL识别相同、不同或额外的类别。接着在方框2054,静态内容分类模块328将每一URL的类别存储到经归类网页数据库。在一个实施例中,URL数据库180包含经归类网页数据库。
图24是说明作为识别在图22和23的方法中将URL归类时使用的属性的一部分来执行图21的方框2002的功能的方法的一个实施例的流程图。方法开始于方框2062,其中图14的分析任务分配模块352接收与活动内容相关联的活动内容数据或URL。接着在方框2064,属性识别模块254识别区分与活动内容数据相关的目标URL与其它URL且识别与目标URL相关联的一个或一个以上类别的属性。在一个实施例中,记分和分类系统186用于帮助识别这些属性。另外,可识别包括一个或一个以上所述属性的定义,所述一个或一个以上属性区分与特定类别相关联的目标URL与不应与所述类别相关联的其它URL。移动到方框2068,数据库更新模块356将属性、定义和类别存储在属性数据库320和定义数据库326中。因此使这些经更新的属性和定义可用于使用例如图21说明的方法来处理URL。
如本文中所使用,“数据库”指存储在可由计算机存取的媒体上的所存储数据的任何集合。举例来说,数据库可指平面数据文件或结构化数据文件。而且,将认识到结合本文中所揭示的实施例描述的各种说明性数据库可实施为组合各种说明性数据库的方面的数据库,或者可将所述说明性数据库划分为多个数据库。举例来说,各种说明性数据库中的一者或一者以上可实施为一个或一个以上关系数据库中的表。实施例可以关系数据库实施,所述关系数据库包含例如mySQL的SQL数据库、面向对象的数据库、对象关系数据库、平面文件或任何其它合适的数据存储系统。
所属领域的技术人员将认识到,结合本文中所揭示的实施例描述的各种说明性逻辑区块、模块、电路和算法步骤可实施为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件与软件的此可互换性,上文已大体在功能性方面描述各种说明性组件、区块、模块、电路和步骤。此功能性实施为硬件还是软件取决于特定应用和强加于总体系统的设计约束。所属领域的技术人员可针对每一特定应用以各种方式实施所述功能性,但此类实施方案决策不应被解释为导致偏离本发明的范围。
结合本文揭示的实施例描述的各种说明性逻辑区块、模块和电路可用如下装置实施或执行:通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其经设计以执行本文所述功能的任意组合。通用处理器可以是微处理器,但在替代方案中,处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器也可实施为计算装置的组合,例如DSP与微处理器的组合、多个微处理器、一个或一个以上微处理器结合DSP核心,或任何其它此配置。
结合本文揭示的实施例描述的方法或算法的步骤可直接以硬件实施、以由处理器执行的软件模块实施,或以两者的组合实施。软件模块可驻存在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移除盘、CD-ROM或此项技术中已知的任何其它形式的存储媒体中。示范性存储媒体耦合到处理器,使得处理器可从存储媒体读取信息和向存储媒体写入信息。在替代方案中,存储媒体可与处理器成为一体。处理器和存储媒体可驻存在ASIC中。ASIC可驻存在用户终端中。在替代方案中,处理器和存储媒体可作为离散组件驻存在用户终端中。
鉴于上文内容,将了解本发明的实施例通过提供处理因特网上可用的大量URL以识别URL的类别(尤其是具有活动内容的URL)的高效方式来克服此项技术中的许多长期存在的问题。具有许多类型的活动内容的URL甚至对于人类分析员来说可能也难以归类,因为相关属性可埋入于可执行代码(包含脚本)中,或埋入于活动X组件的参数中。可经高效处理的属性和定义的使用允许通过自动过程来有效地识别活动X内容。此外,通过将网页的属性存储在数据库中用于稍后查询,可在识别出活动内容的新定义时基于这些存储的属性来立即将大量URL归类。
尽管上述详细描述已展示、描述和指出应用于各种实施例的本发明的新颖特征,但将了解,在不脱离本发明精神的情况下,所属领域的技术人员可对所说明的装置或过程做出形式和细节上的各种省略、替代和改变。将认识到,本发明可以并不提供本文陈述的所有特征和益处的形式实施,因为有些特征可与其它特征分开地使用或实践。本发明的范围由所附权利要求书指示而不是由上述描述内容指示。在权利要求书的等效物的意义和范围内的所有改变应包含在权利要求书的范围内。

Claims (28)

1.一种将网络内容分类的方法,所述方法包括:
接收至少一个网页的内容;
至少部分地基于所述网页的所述内容识别与所述网页相关联的属性;
将所述属性存储在网页属性数据库中;
对至少一个定义与存储在所述网页属性数据库中的属性进行比较;
基于对至少一个定义与所述存储的属性进行比较而识别具有所述定义的所述网页;以及
识别具有与所述至少一个定义相关联的至少一个类别的所述网页,其中所述类别指示与所述网页相关联的活动内容。
2.根据权利要求1所述的方法,其中对所述网页与所述定义进行比较包括执行与至少一个定义相关联的至少一个数据库查询,其中所述查询从所述网页属性数据库中选择所述网页,所述选择是至少部分地基于所述选择的至少一个网页的所述属性。
3.根据权利要求1所述的方法,其进一步包括:
执行与所述至少一个网页相关联的指令;
识别与所述网页相关联的至少一个行为属性,其中识别具有所述至少一个类别的所述网页是至少部分地基于所述行为属性。
4.根据权利要求1所述的方法,其中识别具有与所述至少一个定义相关联的类别的所述网页包括存储将所述网页中的所述至少一者的统一资源定位符与所述类别相关联的数据。
5.根据权利要求1所述的方法,其中所述类别将所述至少一个网页识别为具有恶意内容。
6.根据权利要求1所述的方法,其进一步包括从定义数据库接收所述至少一个定义。
7.根据权利要求1所述的方法,其中所述定义中的至少一者包括逻辑表达式。
8.根据权利要求7所述的方法,其中所述逻辑表达式包括至少一个项,所述项包括至少一个网页属性与至少一个其它值的关系。
9.根据权利要求8所述的方法,其中所述至少一个其它值包括常数值。
10.根据权利要求8所述的方法,其中所述至少一个其它值包括至少一个其它网页属性。
11.根据权利要求1所述的方法,其中所述属性中的至少一者与字符串相关联。
12.根据权利要求1所述的方法,其中所述属性中的至少一者与常规表达式相关联。
13.根据权利要求11所述的方法,其中所述属性中的所述至少一者包括指示所述网页的所述内容内的发生率的数字。
14.根据权利要求11所述的方法,其进一步包括确定与所述网页的URL相关联的记分,其中识别具有至少一个类别的所述网页是至少部分地基于所述记分。
15.一种用于将网络内容分类的系统,所述系统包括:
数据库,其经配置以与网页相关联的属性;
至少一个处理器,其经配置以:
至少部分地基于所述网页的内容识别与网页相关联的属性;
将所述属性存储在所述网页属性数据库中;
对至少一个定义与存储在所述网页属性数据库中的属性进行比较;
基于对至少一个定义与所述存储的属性进行比较而识别具有所述定义的所述网页;以及
识别具有与所述至少一个定义相关联的至少一个类别的所述网页,其中所述类别指示与所述网页相关联的活动内容。
16.根据权利要求15所述的系统,其中所述处理器经配置以至少部分地通过执行与至少一个定义相关联的至少一个数据库查询来对所述网页与所述定义进行比较,其中所述查询从所述网页属性数据库选择所述网页,所述选择是至少部分地基于所述选择的至少一个网页的所述属性。
17.根据权利要求15所述的系统,其进一步包括:
第二处理器,其经配置以:
执行与所述至少一个网页相关联的指令;
识别与所述网页相关联的至少一个行为属性,其中所述至少一个处理器经配置以至少部分地基于所述行为属性来识别具有所述至少一个类别的所述网页。
18.根据权利要求15所述的系统,其中所述处理器经配置以至少部分地通过存储将所述网页中的所述至少一者的统一资源定位符与所述类别相关联的数据来识别具有与所述至少一个定义相关联的类别的所述网页。
19.根据权利要求15所述的系统,其中所述类别将所述网页中的所述至少一者识别为具有恶意内容。
20.根据权利要求15所述的系统,其进一步包括经配置以存储所述网页的所述属性的数据库。
21.根据权利要求15所述的系统,其进一步包括经配置以存储所述至少一个定义的数据库。
22.根据权利要求15所述的系统,其中所述至少一个定义包括逻辑表达式。
23.根据权利要求22所述的系统,其中所述逻辑表达式包括至少一个项,所述项包括至少一个网页属性与至少一个其它值的关系。
24.根据权利要求23所述的系统,其中所述至少一个其它值包括常数值。
25.根据权利要求23所述的系统,其中所述至少一个其它值包括至少一个其它网页属性。
26.根据权利要求15所述的系统,其中所述属性中的至少一者与字符串相关联。
27.根据权利要求15所述的系统,其中所述属性中的至少一者与常规表达式相关联。
28.根据权利要求15所述的系统,其中所述属性中的至少一者包括指示所述网页的所述内容内的发生率的数字。
CN2007800258825A 2006-07-10 2007-07-09 分析网络内容的系统和方法 Expired - Fee Related CN101512522B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/484,335 US8615800B2 (en) 2006-07-10 2006-07-10 System and method for analyzing web content
US11/484,335 2006-07-10
PCT/US2007/015730 WO2008008339A2 (en) 2006-07-10 2007-07-09 System and method for analyzing web content

Publications (2)

Publication Number Publication Date
CN101512522A true CN101512522A (zh) 2009-08-19
CN101512522B CN101512522B (zh) 2011-11-09

Family

ID=38767400

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800258825A Expired - Fee Related CN101512522B (zh) 2006-07-10 2007-07-09 分析网络内容的系统和方法

Country Status (6)

Country Link
US (3) US8615800B2 (zh)
EP (1) EP2044540A2 (zh)
CN (1) CN101512522B (zh)
AU (1) AU2007273019A1 (zh)
CA (1) CA2656377A1 (zh)
WO (1) WO2008008339A2 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9680866B2 (en) 2006-07-10 2017-06-13 Websense, Llc System and method for analyzing web content
CN108076120A (zh) * 2016-11-23 2018-05-25 王昆 电子通讯传输信息文件的装置
CN110413908A (zh) * 2018-04-26 2019-11-05 维布络有限公司 基于网站内容对统一资源定位符进行分类的方法和装置
CN111357242A (zh) * 2017-11-27 2020-06-30 日本电信电话株式会社 异常通信探测装置、异常通信探测方法、程序

Families Citing this family (168)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8020206B2 (en) 2006-07-10 2011-09-13 Websense, Inc. System and method of analyzing web content
US8136162B2 (en) * 2006-08-31 2012-03-13 Broadcom Corporation Intelligent network interface controller
US20080060062A1 (en) * 2006-08-31 2008-03-06 Robert B Lord Methods and systems for preventing information theft
US20080072325A1 (en) * 2006-09-14 2008-03-20 Rolf Repasi Threat detecting proxy server
US8196200B1 (en) * 2006-09-28 2012-06-05 Symantec Corporation Piggybacking malicious code blocker
US20080228675A1 (en) * 2006-10-13 2008-09-18 Move, Inc. Multi-tiered cascading crawling system
US8312075B1 (en) * 2006-11-29 2012-11-13 Mcafee, Inc. System, method and computer program product for reconstructing data received by a computer in a manner that is independent of the computer
US9654495B2 (en) * 2006-12-01 2017-05-16 Websense, Llc System and method of analyzing web addresses
US20080162449A1 (en) * 2006-12-28 2008-07-03 Chen Chao-Yu Dynamic page similarity measurement
GB2458094A (en) 2007-01-09 2009-09-09 Surfcontrol On Demand Ltd URL interception and categorization in firewalls
US20080209558A1 (en) * 2007-02-22 2008-08-28 Aladdin Knowledge Systems Self-defensive protected software with suspended latent license enforcement
US8856782B2 (en) 2007-03-01 2014-10-07 George Mason Research Foundation, Inc. On-demand disposable virtual work system
GB0709527D0 (en) 2007-05-18 2007-06-27 Surfcontrol Plc Electronic messaging system, message processing apparatus and message processing method
KR20090047890A (ko) * 2007-11-08 2009-05-13 한국전자통신연구원 검색 엔진을 이용한 악성 코드 유포 사이트 관리 방법,장치 및 시스템
KR100916324B1 (ko) * 2007-11-08 2009-09-11 한국전자통신연구원 방화벽을 이용한 악성 코드 유포 사이트 관리 방법, 장치및 시스템
US8479284B1 (en) 2007-12-20 2013-07-02 Symantec Corporation Referrer context identification for remote object links
US8180761B1 (en) * 2007-12-27 2012-05-15 Symantec Corporation Referrer context aware target queue prioritization
US8533842B1 (en) * 2008-03-07 2013-09-10 Symantec Corporation Method and apparatus for evaluating internet resources using a computer health metric
US9264441B2 (en) * 2008-03-24 2016-02-16 Hewlett Packard Enterprise Development Lp System and method for securing a network from zero-day vulnerability exploits
US8359651B1 (en) * 2008-05-15 2013-01-22 Trend Micro Incorporated Discovering malicious locations in a public computer network
KR20090121579A (ko) * 2008-05-22 2009-11-26 주식회사 이베이지마켓 서버의 취약점을 점검하기 위한 시스템 및 그 방법
US8918369B2 (en) * 2008-06-05 2014-12-23 Craze, Inc. Method and system for classification of venue by analyzing data from venue website
US20090328153A1 (en) * 2008-06-25 2009-12-31 International Business Machines Corporation Using exclusion based security rules for establishing uri security
CN102077201A (zh) 2008-06-30 2011-05-25 网圣公司 用于网页的动态及实时归类的系统及方法
CN101350745B (zh) * 2008-08-15 2011-08-03 北京启明星辰信息技术股份有限公司 一种入侵检测方法及装置
US9098698B2 (en) 2008-09-12 2015-08-04 George Mason Research Foundation, Inc. Methods and apparatus for application isolation
US10419541B2 (en) * 2008-11-26 2019-09-17 Free Stream Media Corp. Remotely control devices over a network without authentication or registration
US8800040B1 (en) 2008-12-31 2014-08-05 Symantec Corporation Methods and systems for prioritizing the monitoring of malicious uniform resource locators for new malware variants
US8683584B1 (en) 2009-04-25 2014-03-25 Dasient, Inc. Risk assessment
US9154364B1 (en) * 2009-04-25 2015-10-06 Dasient, Inc. Monitoring for problems and detecting malware
US8555391B1 (en) 2009-04-25 2013-10-08 Dasient, Inc. Adaptive scanning
US8516590B1 (en) 2009-04-25 2013-08-20 Dasient, Inc. Malicious advertisement detection and remediation
US8769695B2 (en) * 2009-04-30 2014-07-01 Bank Of America Corporation Phish probability scoring model
CN102598007B (zh) 2009-05-26 2017-03-01 韦伯森斯公司 有效检测采指纹数据和信息的系统和方法
US8839422B2 (en) * 2009-06-30 2014-09-16 George Mason Research Foundation, Inc. Virtual browsing environment
US8489685B2 (en) 2009-07-17 2013-07-16 Aryaka Networks, Inc. Application acceleration as a service system and method
US8443449B1 (en) * 2009-11-09 2013-05-14 Trend Micro, Inc. Silent detection of malware and feedback over a network
US20110138335A1 (en) * 2009-12-08 2011-06-09 Sybase, Inc. Thin analytics for enterprise mobile users
US8479286B2 (en) 2009-12-15 2013-07-02 Mcafee, Inc. Systems and methods for behavioral sandboxing
US8863279B2 (en) * 2010-03-08 2014-10-14 Raytheon Company System and method for malware detection
US9009820B1 (en) 2010-03-08 2015-04-14 Raytheon Company System and method for malware detection using multiple techniques
US9652802B1 (en) 2010-03-24 2017-05-16 Consumerinfo.Com, Inc. Indirect monitoring and reporting of a user's credit data
US8712999B2 (en) * 2010-06-10 2014-04-29 Aol Inc. Systems and methods for online search recirculation and query categorization
CN102142939B (zh) * 2010-06-12 2013-12-04 华为技术有限公司 一种前传规则的测试方法和装置
US9356941B1 (en) * 2010-08-16 2016-05-31 Symantec Corporation Systems and methods for detecting suspicious web pages
US8484740B2 (en) 2010-09-08 2013-07-09 At&T Intellectual Property I, L.P. Prioritizing malicious website detection
CN102404281B (zh) * 2010-09-09 2014-08-13 北京神州绿盟信息安全科技股份有限公司 一种网站扫描设备和方法
US9130988B2 (en) * 2010-12-21 2015-09-08 Microsoft Technology Licensing, Llc Scareware detection
AU2012217565B2 (en) 2011-02-18 2017-05-25 Csidentity Corporation System and methods for identifying compromised personally identifiable information on the internet
US9769121B2 (en) 2011-09-12 2017-09-19 Microsoft Technology Licensing, Llc Scalable, selective traffic proxying
US8812737B2 (en) * 2011-09-19 2014-08-19 Google Inc. Context-specific unicode characters in shortened URLs
US8793252B2 (en) * 2011-09-23 2014-07-29 Aol Advertising Inc. Systems and methods for contextual analysis and segmentation using dynamically-derived topics
US9613135B2 (en) 2011-09-23 2017-04-04 Aol Advertising Inc. Systems and methods for contextual analysis and segmentation of information objects
US11030562B1 (en) 2011-10-31 2021-06-08 Consumerinfo.Com, Inc. Pre-data breach monitoring
US9081959B2 (en) 2011-12-02 2015-07-14 Invincea, Inc. Methods and apparatus for control and detection of malicious content using a sandbox environment
US10474811B2 (en) * 2012-03-30 2019-11-12 Verisign, Inc. Systems and methods for detecting malicious code
US20130290821A1 (en) * 2012-04-30 2013-10-31 Thinmail, Inc. Methods and Systems for Generating Shortened Uniform Resource Locators Including Resource Type Identifiers
US8806644B1 (en) * 2012-05-25 2014-08-12 Symantec Corporation Using expectation measures to identify relevant application analysis results
CN103457924B (zh) * 2012-06-05 2016-08-03 珠海市君天电子科技有限公司 检测点对点、瞬时生效性型钓鱼网站的方法及系统
JP6103325B2 (ja) * 2012-06-30 2017-03-29 ▲ホア▼▲ウェイ▼技術有限公司Huawei Technologies Co.,Ltd. ユーザ行動を取得するための方法、装置及びシステム
US9430640B2 (en) 2012-09-28 2016-08-30 Intel Corporation Cloud-assisted method and service for application security verification
CN103778365B (zh) 2012-10-18 2015-05-13 腾讯科技(深圳)有限公司 一种检测网页隐藏内容的方法,及设备
US9465826B2 (en) * 2012-11-27 2016-10-11 Hewlett Packard Enterprise Development Lp Estimating unique entry counts using a counting bloom filter
US9436838B2 (en) 2012-12-20 2016-09-06 Intel Corporation Secure local web application data manager
US8918837B2 (en) 2012-12-28 2014-12-23 Intel Corporation Web application container for client-level runtime control
US9268940B1 (en) * 2013-03-12 2016-02-23 Symantec Corporation Systems and methods for assessing internet addresses
US8812387B1 (en) 2013-03-14 2014-08-19 Csidentity Corporation System and method for identifying related credit inquiries
US9621572B2 (en) * 2013-03-15 2017-04-11 Cyber Engineering Services, Inc. Storage appliance and threat indicator query framework
US9614862B2 (en) * 2013-07-24 2017-04-04 Nice Ltd. System and method for webpage analysis
US9628507B2 (en) 2013-09-30 2017-04-18 Fireeye, Inc. Advanced persistent threat (APT) detection center
CN106164890A (zh) 2013-12-02 2016-11-23 丘贝斯有限责任公司 用于消除非结构化文本中的特征的歧义的方法
US9201744B2 (en) 2013-12-02 2015-12-01 Qbase, LLC Fault tolerant architecture for distributed computing systems
US9223875B2 (en) 2013-12-02 2015-12-29 Qbase, LLC Real-time distributed in memory search architecture
US9208204B2 (en) 2013-12-02 2015-12-08 Qbase, LLC Search suggestions using fuzzy-score matching and entity co-occurrence
US9659108B2 (en) 2013-12-02 2017-05-23 Qbase, LLC Pluggable architecture for embedding analytics in clustered in-memory databases
US9025892B1 (en) 2013-12-02 2015-05-05 Qbase, LLC Data record compression with progressive and/or selective decomposition
US9424524B2 (en) 2013-12-02 2016-08-23 Qbase, LLC Extracting facts from unstructured text
US9336280B2 (en) 2013-12-02 2016-05-10 Qbase, LLC Method for entity-driven alerts based on disambiguated features
US9348573B2 (en) 2013-12-02 2016-05-24 Qbase, LLC Installation and fault handling in a distributed system utilizing supervisor and dependency manager nodes
US9619571B2 (en) 2013-12-02 2017-04-11 Qbase, LLC Method for searching related entities through entity co-occurrence
US9922032B2 (en) 2013-12-02 2018-03-20 Qbase, LLC Featured co-occurrence knowledge base from a corpus of documents
US9544361B2 (en) * 2013-12-02 2017-01-10 Qbase, LLC Event detection through text analysis using dynamic self evolving/learning module
US9424294B2 (en) 2013-12-02 2016-08-23 Qbase, LLC Method for facet searching and search suggestions
JP2017504874A (ja) 2013-12-02 2017-02-09 キューベース リミテッド ライアビリティ カンパニー クラスター化されたインメモリデータベースの設計及び実施
US9223833B2 (en) 2013-12-02 2015-12-29 Qbase, LLC Method for in-loop human validation of disambiguated features
US9177262B2 (en) 2013-12-02 2015-11-03 Qbase, LLC Method of automated discovery of new topics
US9547701B2 (en) 2013-12-02 2017-01-17 Qbase, LLC Method of discovering and exploring feature knowledge
US9317565B2 (en) 2013-12-02 2016-04-19 Qbase, LLC Alerting system based on newly disambiguated features
US9355152B2 (en) 2013-12-02 2016-05-31 Qbase, LLC Non-exclusionary search within in-memory databases
US9542477B2 (en) 2013-12-02 2017-01-10 Qbase, LLC Method of automated discovery of topics relatedness
US9230041B2 (en) 2013-12-02 2016-01-05 Qbase, LLC Search suggestions of related entities based on co-occurrence and/or fuzzy-score matching
WO2015084726A1 (en) 2013-12-02 2015-06-11 Qbase, LLC Event detection through text analysis template models
US9984427B2 (en) * 2013-12-02 2018-05-29 Qbase, LLC Data ingestion module for event detection and increased situational awareness
KR20150078130A (ko) * 2013-12-30 2015-07-08 삼성전자주식회사 콘텐츠 차단 방법 및 시스템
US9680910B2 (en) * 2014-01-22 2017-06-13 International Business Machines Corporation Storing information to manipulate focus for a webpage
US9953163B2 (en) * 2014-02-23 2018-04-24 Cyphort Inc. System and method for detection of malicious hypertext transfer protocol chains
US9361317B2 (en) 2014-03-04 2016-06-07 Qbase, LLC Method for entity enrichment of digital content to enable advanced search functionality in content management systems
US9569522B2 (en) * 2014-06-04 2017-02-14 International Business Machines Corporation Classifying uniform resource locators
KR101609124B1 (ko) * 2014-07-07 2016-04-20 주식회사 윈스 모바일 네트워크 환경에서 행위기반 분석 서비스 제공 방법 및 장치
US9678930B1 (en) * 2014-09-22 2017-06-13 Amazon Technologies, Inc. Generating customized resource identifiers
US9356969B2 (en) 2014-09-23 2016-05-31 Intel Corporation Technologies for multi-factor security analysis and runtime control
US9560075B2 (en) 2014-10-22 2017-01-31 International Business Machines Corporation Cognitive honeypot
US10339527B1 (en) 2014-10-31 2019-07-02 Experian Information Solutions, Inc. System and architecture for electronic fraud detection
CN104348836A (zh) * 2014-10-31 2015-02-11 北京奇虎科技有限公司 加载网站信息的方法和客户端
US10021102B2 (en) 2014-10-31 2018-07-10 Aruba Networks, Inc. Leak-proof classification for an application session
US9667733B2 (en) * 2015-03-04 2017-05-30 Adobe Systems Incorporated Determining relevant content for keyword extraction
US10460015B1 (en) * 2015-03-27 2019-10-29 Open Text Corporation Assimilation in multi model webpage composition
US9723016B2 (en) * 2015-05-14 2017-08-01 International Business Machines Corporation Detecting web exploit kits by tree-based structural similarity search
US11151468B1 (en) 2015-07-02 2021-10-19 Experian Information Solutions, Inc. Behavior analysis using distributed representations of event data
EP3125147B1 (en) * 2015-07-27 2020-06-03 Swisscom AG System and method for identifying a phishing website
CN106547420B (zh) 2015-09-23 2020-06-02 阿里巴巴集团控股有限公司 一种页面处理方法和装置
US10681074B2 (en) 2015-10-28 2020-06-09 Qomplx, Inc. System and method for comprehensive data loss prevention and compliance management
US11055601B2 (en) 2015-10-28 2021-07-06 Qomplx, Inc. System and methods for creation of learning agents in simulated environments
US10560483B2 (en) 2015-10-28 2020-02-11 Qomplx, Inc. Rating organization cybersecurity using active and passive external reconnaissance
US11218510B2 (en) 2015-10-28 2022-01-04 Qomplx, Inc. Advanced cybersecurity threat mitigation using software supply chain analysis
US11968239B2 (en) 2015-10-28 2024-04-23 Qomplx Llc System and method for detection and mitigation of data source compromises in adversarial information environments
US11388198B2 (en) 2015-10-28 2022-07-12 Qomplx, Inc. Collaborative database and reputation management in adversarial information environments
US11757849B2 (en) 2015-10-28 2023-09-12 Qomplx, Inc. Detecting and mitigating forged authentication object attacks in multi-cloud environments
US11055451B2 (en) 2015-10-28 2021-07-06 Qomplx, Inc. System and methods for multi-language abstract model creation for digital environment simulations
US11025674B2 (en) 2015-10-28 2021-06-01 Qomplx, Inc. Cybersecurity profiling and rating using active and passive external reconnaissance
US11635994B2 (en) 2015-10-28 2023-04-25 Qomplx, Inc. System and method for optimizing and load balancing of applications using distributed computer clusters
US11637866B2 (en) 2015-10-28 2023-04-25 Qomplx, Inc. System and method for the secure evaluation of cyber detection products
US11757920B2 (en) 2015-10-28 2023-09-12 Qomplx, Inc. User and entity behavioral analysis with network topology enhancements
US11070592B2 (en) 2015-10-28 2021-07-20 Qomplx, Inc. System and method for self-adjusting cybersecurity analysis and score generation
US11323484B2 (en) 2015-10-28 2022-05-03 Qomplx, Inc. Privilege assurance of enterprise computer network environments
US11032323B2 (en) 2015-10-28 2021-06-08 Qomplx, Inc. Parametric analysis of integrated operational technology systems and information technology systems
US11089045B2 (en) 2015-10-28 2021-08-10 Qomplx, Inc. User and entity behavioral analysis with network topology enhancements
US11477245B2 (en) 2015-10-28 2022-10-18 Qomplx, Inc. Advanced detection of identity-based attacks to assure identity fidelity in information technology environments
US11184401B2 (en) 2015-10-28 2021-11-23 Qomplx, Inc. AI-driven defensive cybersecurity strategy analysis and recommendation system
US20200389495A1 (en) 2015-10-28 2020-12-10 Qomplx, Inc. Secure policy-controlled processing and auditing on regulated data sets
US11968235B2 (en) 2015-10-28 2024-04-23 Qomplx Llc System and method for cybersecurity analysis and protection using distributed systems
US11055630B2 (en) 2015-10-28 2021-07-06 Qomplx, Inc. Multitemporal data analysis
US11297109B2 (en) 2015-10-28 2022-04-05 Qomplx, Inc. System and method for cybersecurity reconnaissance, analysis, and score generation using distributed systems
US9785414B2 (en) * 2015-11-25 2017-10-10 International Business Machines Corporation Dynamic developer education generating process
US10430442B2 (en) 2016-03-09 2019-10-01 Symantec Corporation Systems and methods for automated classification of application network activity
US10432661B2 (en) * 2016-03-24 2019-10-01 Cisco Technology, Inc. Score boosting strategies for capturing domain-specific biases in anomaly detection systems
US20170279831A1 (en) * 2016-03-25 2017-09-28 Cisco Technology, Inc. Use of url reputation scores in distributed behavioral analytics systems
US10083222B1 (en) * 2016-03-29 2018-09-25 Sprint Communications Company L.P. Automated categorization of web pages
US10860715B2 (en) * 2016-05-26 2020-12-08 Barracuda Networks, Inc. Method and apparatus for proactively identifying and mitigating malware attacks via hosted web assets
US10200383B2 (en) * 2016-06-29 2019-02-05 Rapid7, Inc. Neutralizing malicious locators
US10193921B2 (en) * 2016-08-12 2019-01-29 Level 3 Communications, Llc Malware detection and prevention system
US10666675B1 (en) * 2016-09-27 2020-05-26 Ca, Inc. Systems and methods for creating automatic computer-generated classifications
US10218716B2 (en) * 2016-10-01 2019-02-26 Intel Corporation Technologies for analyzing uniform resource locators
WO2018085732A1 (en) * 2016-11-03 2018-05-11 RiskIQ, Inc. Techniques for detecting malicious behavior using an accomplice model
US10587647B1 (en) * 2016-11-22 2020-03-10 Fireeye, Inc. Technique for malware detection capability comparison of network security devices
US10679088B1 (en) * 2017-02-10 2020-06-09 Proofpoint, Inc. Visual domain detection systems and methods
US10554684B2 (en) * 2017-03-29 2020-02-04 Juniper Networks, Inc. Content-based optimization and pre-fetching mechanism for security analysis on a network device
US10334015B2 (en) * 2017-04-28 2019-06-25 Bank Of America Corporation Apparatus and methods for shortening user exposure to malicious websites
JP6708794B2 (ja) * 2017-07-12 2020-06-10 日本電信電話株式会社 判定装置、判定方法、および、判定プログラム
CN107508809B (zh) * 2017-08-17 2020-10-23 腾讯科技(深圳)有限公司 识别网址类型的方法及装置
US10699028B1 (en) 2017-09-28 2020-06-30 Csidentity Corporation Identity security architecture systems and methods
US10594729B2 (en) 2017-10-31 2020-03-17 International Business Machines Corporation Dynamically configuring a honeypot
US10896472B1 (en) 2017-11-14 2021-01-19 Csidentity Corporation Security and identity verification system and architecture
US11301560B2 (en) * 2018-02-09 2022-04-12 Bolster, Inc Real-time detection and blocking of counterfeit websites
US11271966B2 (en) * 2018-02-09 2022-03-08 Bolster, Inc Real-time detection and redirecton from counterfeit websites
KR101851233B1 (ko) * 2018-02-13 2018-04-23 (주)지란지교시큐리티 파일 내 포함된 악성 위협 탐지 장치 및 방법, 그 기록매체
EP3783846B1 (en) * 2018-05-21 2022-06-15 Nippon Telegraph And Telephone Corporation Determination method, determination device and determination program
US11201875B2 (en) * 2018-06-28 2021-12-14 Webroot, Inc. Web threat investigation using advanced web crawling
CN109445786B (zh) * 2018-10-19 2022-02-11 成都安恒信息技术有限公司 一种基于JavaScript实现通用弹窗页面的方法
US11017119B2 (en) * 2018-12-14 2021-05-25 Synergex Group Methods, systems, and media for detecting alteration of a web page
CN109977328A (zh) * 2019-03-06 2019-07-05 杭州迪普科技股份有限公司 一种url分类方法及装置
US11303643B1 (en) 2019-06-06 2022-04-12 NortonLifeLock Inc. Systems and methods for protecting users
US11218496B2 (en) * 2020-01-24 2022-01-04 Bishop Fox Application of computer visual classification to security events
CN111597107B (zh) * 2020-04-22 2023-04-28 北京字节跳动网络技术有限公司 信息输出方法、装置和电子设备
CN112632355A (zh) * 2020-11-26 2021-04-09 武汉虹旭信息技术有限责任公司 有害信息的碎片内容处理方法及装置
US11595352B2 (en) 2020-12-21 2023-02-28 Microsoft Technology Licensing, Llc Performing transport layer security (TLS) termination using categories of web categorization
US11461588B1 (en) 2021-03-30 2022-10-04 metacluster lt, UAB Advanced data collection block identification
US20230018387A1 (en) * 2021-07-06 2023-01-19 metacluster lt, UAB Dynamic web page classification in web data collection

Family Cites Families (373)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US615A (en) * 1838-02-22 Machine for washing bags in the manufacture of paper
US4423414A (en) 1981-08-27 1983-12-27 Burroughs Corporation System and method for name-lookup in a local area network data communication system
JPS6170654A (ja) 1984-09-14 1986-04-11 Hitachi Ltd 分散処理システムにおける資源管理方式
US4734036A (en) * 1984-11-30 1988-03-29 Helene Kasha Method and device for learning a language
JPH04127370A (ja) 1990-09-19 1992-04-28 Toshiba Corp 情報収集システム
US5758152A (en) * 1990-12-06 1998-05-26 Prime Arithmetics, Inc. Method and apparatus for the generation and manipulation of data structures
WO1992019054A1 (en) 1991-04-12 1992-10-29 Concord Communications, Inc. Network monitoring
US5408642A (en) * 1991-05-24 1995-04-18 Symantec Corporation Method for recovery of a computer program infected by a computer virus
JPH04372037A (ja) 1991-06-21 1992-12-25 Matsushita Electric Ind Co Ltd システム管理情報設定装置
US5699287A (en) 1992-09-30 1997-12-16 Texas Instruments Incorporated Method and device for adding and subtracting thermometer coded data
US5581703A (en) 1993-06-29 1996-12-03 International Business Machines Corporation Method and apparatus for reserving system resources to assure quality of service
US5555376A (en) 1993-12-03 1996-09-10 Xerox Corporation Method for granting a user request having locational and contextual attributes consistent with user policies for devices having locational attributes consistent with the user request
US5493692A (en) * 1993-12-03 1996-02-20 Xerox Corporation Selective delivery of electronic messages in a multiple computer system based on context and environment of a user
US5835726A (en) 1993-12-15 1998-11-10 Check Point Software Technologies Ltd. System for securing the flow of and selectively modifying packets in a computer network
US5606668A (en) * 1993-12-15 1997-02-25 Checkpoint Software Technologies Ltd. System for securing inbound and outbound data packet flow in a computer network
US6769009B1 (en) 1994-05-31 2004-07-27 Richard R. Reisman Method and system for selecting a personalized set of information channels
US5720033A (en) * 1994-06-30 1998-02-17 Lucent Technologies Inc. Security platform and method using object oriented rules for computer-based systems using UNIX-line operating systems
WO1996005549A1 (en) 1994-08-09 1996-02-22 Shiva Corporation Apparatus and method for restricting access to a local computer network
US5682325A (en) 1994-09-12 1997-10-28 Bell Atlantic Network Services, Inc. Level 1 gateway for video tone networks
US5944794A (en) 1994-09-30 1999-08-31 Kabushiki Kaisha Toshiba User identification data management scheme for networking computer systems using wide area network
US5541911A (en) 1994-10-12 1996-07-30 3Com Corporation Remote smart filtering communication management system
US5864683A (en) * 1994-10-12 1999-01-26 Secure Computing Corporartion System for providing secure internetwork by connecting type enforcing secure computers to external network for limiting access to data based on user and process access rights
US5758257A (en) 1994-11-29 1998-05-26 Herz; Frederick System and method for scheduling broadcast of and access to video programs and other data using customer profiles
US5832503A (en) 1995-02-24 1998-11-03 Cabletron Systems, Inc. Method and apparatus for configuration management in communications networks
US5696486A (en) 1995-03-29 1997-12-09 Cabletron Systems, Inc. Method and apparatus for policy-based alarm notification in a distributed network management environment
US5699513A (en) 1995-03-31 1997-12-16 Motorola, Inc. Method for secure network access via message intercept
US5586121A (en) 1995-04-21 1996-12-17 Hybrid Networks, Inc. Asymmetric hybrid access system and method
WO1996035994A1 (en) * 1995-05-08 1996-11-14 Compuserve Incorporated Rules based electronic message management system
US5802278A (en) 1995-05-10 1998-09-01 3Com Corporation Bridge/router architecture for high performance scalable networking
CA2176775C (en) 1995-06-06 1999-08-03 Brenda Sue Baker System and method for database access administration
US5696898A (en) 1995-06-06 1997-12-09 Lucent Technologies Inc. System and method for database access control
US5678041A (en) 1995-06-06 1997-10-14 At&T System and method for restricting user access rights on the internet based on rating information stored in a relational database
US5774668A (en) 1995-06-07 1998-06-30 Microsoft Corporation System for on-line service in which gateway computer uses service map which includes loading condition of servers broadcasted by application servers for load balancing
AU694367B2 (en) 1995-06-07 1998-07-16 Soverain Software Llc Internet server access control and monitoring systems
US6456306B1 (en) 1995-06-08 2002-09-24 Nortel Networks Limited Method and apparatus for displaying health status of network devices
US6807558B1 (en) 1995-06-12 2004-10-19 Pointcast, Inc. Utilization of information “push” technology
US5706507A (en) * 1995-07-05 1998-01-06 International Business Machines Corporation System and method for controlling access to data located on a content server
US5648965A (en) 1995-07-07 1997-07-15 Sun Microsystems, Inc. Method and apparatus for dynamic distributed packet tracing and analysis
US5796944A (en) 1995-07-12 1998-08-18 3Com Corporation Apparatus and method for processing data frames in an internetworking device
US5742759A (en) * 1995-08-18 1998-04-21 Sun Microsystems, Inc. Method and system for facilitating access control to system resources in a distributed computer system
US5941947A (en) 1995-08-18 1999-08-24 Microsoft Corporation System and method for controlling access to data entities in a computer network
US5712979A (en) * 1995-09-20 1998-01-27 Infonautics Corporation Method and apparatus for attaching navigational history information to universal resource locator links on a world wide web page
NZ320501A (en) * 1995-11-02 1999-11-29 British Telecomm Service creation apparatus for a communications network
US5781801A (en) 1995-12-20 1998-07-14 Emc Corporation Method and apparatus for receive buffer management in multi-sender communication systems
EP0815510B1 (en) 1995-12-28 2000-11-08 InDefense, Inc. Method for protecting executable software programs against infection by software viruses
US5787427A (en) 1996-01-03 1998-07-28 International Business Machines Corporation Information handling system, method, and article of manufacture for efficient object security processing by grouping objects sharing common control access policies
US5768519A (en) 1996-01-18 1998-06-16 Microsoft Corporation Method and apparatus for merging user accounts from a source security domain into a target security domain
US5826014A (en) 1996-02-06 1998-10-20 Network Engineering Software Firewall system for protecting network elements connected to a public network
US5898830A (en) * 1996-10-17 1999-04-27 Network Engineering Software Firewall providing enhanced network security and user transparency
US5855020A (en) 1996-02-21 1998-12-29 Infoseek Corporation Web scan process
US5832212A (en) 1996-04-19 1998-11-03 International Business Machines Corporation Censoring browser method and apparatus for internet viewing
US5884033A (en) * 1996-05-15 1999-03-16 Spyglass, Inc. Internet filtering system for filtering data transferred over the internet utilizing immediate and deferred filtering actions
US5787253A (en) 1996-05-28 1998-07-28 The Ag Group Apparatus and method of analyzing internet activity
US6055596A (en) * 1996-06-05 2000-04-25 Compaq Computer Corp. Expansion card space reservation
US5920859A (en) 1997-02-05 1999-07-06 Idd Enterprises, L.P. Hypertext document retrieval system and method
US5842040A (en) 1996-06-18 1998-11-24 Storage Technology Corporation Policy caching method and apparatus for use in a communication device based on contents of one data unit in a subset of related data units
US5850523A (en) 1996-06-21 1998-12-15 National Instruments Corporation Method and system for monitoring fieldbus network with multiple packet filters
US5991807A (en) 1996-06-24 1999-11-23 Nortel Networks Corporation System for controlling users access to a distributive network in accordance with constraints present in common access distributive network interface separate from a server
US5835722A (en) 1996-06-27 1998-11-10 Logon Data Corporation System to control content and prohibit certain interactive attempts by a person using a personal computer
US5799002A (en) 1996-07-02 1998-08-25 Microsoft Corporation Adaptive bandwidth throttling for network services
US6052723A (en) * 1996-07-25 2000-04-18 Stockmaster.Com, Inc. Method for aggregate control on an electronic network
US5832228A (en) 1996-07-30 1998-11-03 Itt Industries, Inc. System and method for providing multi-level security in computer devices utilized with non-secure networks
EP0822502A1 (en) * 1996-07-31 1998-02-04 BRITISH TELECOMMUNICATIONS public limited company Data access system
US5828833A (en) 1996-08-15 1998-10-27 Electronic Data Systems Corporation Method and system for allowing remote procedure calls through a network firewall
US5950195A (en) 1996-09-18 1999-09-07 Secure Computing Corporation Generalized security policy management system and method
US6253188B1 (en) 1996-09-20 2001-06-26 Thomson Newspapers, Inc. Automated interactive classified ad system for the internet
US5933827A (en) 1996-09-25 1999-08-03 International Business Machines Corporation System for identifying new web pages of interest to a user
US5911043A (en) 1996-10-01 1999-06-08 Baker & Botts, L.L.P. System and method for computer-based rating of information retrieved from a computer network
US5884325A (en) * 1996-10-09 1999-03-16 Oracle Corporation System for synchronizing shared data between computers
US5958015A (en) 1996-10-29 1999-09-28 Abirnet Ltd. Network session wall passively listening to communication session, with use of access rules, stops further communication between network devices by emulating messages to the devices
US7058822B2 (en) 2000-03-30 2006-06-06 Finjan Software, Ltd. Malicious mobile code runtime monitoring system and methods
US6167520A (en) 1996-11-08 2000-12-26 Finjan Software, Inc. System and method for protecting a client during runtime from hostile downloadables
US5801747A (en) 1996-11-15 1998-09-01 Hyundai Electronics America Method and apparatus for creating a television viewer profile
US5848412A (en) 1996-11-19 1998-12-08 Ncr Corporation User controlled browser identification disclosing mechanism
US5848233A (en) 1996-12-09 1998-12-08 Sun Microsystems, Inc. Method and apparatus for dynamic packet filter assignment
US6078914A (en) 1996-12-09 2000-06-20 Open Text Corporation Natural language meta-search system and method
US6070242A (en) 1996-12-09 2000-05-30 Sun Microsystems, Inc. Method to activate unregistered systems in a distributed multiserver network environment
US5896502A (en) * 1996-12-10 1999-04-20 International Business Machines Corporation Internet data transfer control via a client system to reduce delay
US6065059A (en) 1996-12-10 2000-05-16 International Business Machines Corporation Filtered utilization of internet data transfers to reduce delay and increase user control
US5889958A (en) 1996-12-20 1999-03-30 Livingston Enterprises, Inc. Network access control system and process
US5892905A (en) * 1996-12-23 1999-04-06 International Business Machines Corporation Computer apparatus and method for providing a common user interface for software applications accessed via the world-wide web
US6832256B1 (en) 1996-12-27 2004-12-14 Intel Corporation Firewalls that filter based upon protocol commands
US5987611A (en) 1996-12-31 1999-11-16 Zone Labs, Inc. System and methodology for managing internet access on a per application basis for client computers connected to the internet
US6052730A (en) * 1997-01-10 2000-04-18 The Board Of Trustees Of The Leland Stanford Junior University Method for monitoring and/or modifying web browsing sessions
US6173364B1 (en) * 1997-01-15 2001-01-09 At&T Corp. Session cache and rule caching method for a dynamic filter
US6233686B1 (en) 1997-01-17 2001-05-15 At & T Corp. System and method for providing peer level access control on a network
US6078913A (en) 1997-02-12 2000-06-20 Kokusai Denshin Denwa Co., Ltd. Document retrieval apparatus
AUPO525497A0 (en) 1997-02-21 1997-03-20 Mills, Dudley John Network-based classified information systems
JP3466039B2 (ja) 1997-02-26 2003-11-10 株式会社東芝 通信装置および通信方法
US6076051A (en) 1997-03-07 2000-06-13 Microsoft Corporation Information retrieval utilizing semantic representation of text
US6105027A (en) 1997-03-10 2000-08-15 Internet Dynamics, Inc. Techniques for eliminating redundant access checking by access filters
US6178505B1 (en) * 1997-03-10 2001-01-23 Internet Dynamics, Inc. Secure delivery of information in a network
US5983270A (en) 1997-03-11 1999-11-09 Sequel Technology Corporation Method and apparatus for managing internetwork and intranetwork activity
US5987606A (en) 1997-03-19 1999-11-16 Bascom Global Internet Services, Inc. Method and system for content filtering information retrieved from an internet computer network
US6539430B1 (en) * 1997-03-25 2003-03-25 Symantec Corporation System and method for filtering data received by a computer system
US5996011A (en) 1997-03-25 1999-11-30 Unified Research Laboratories, Inc. System and method for filtering data received by a computer system
US5974549A (en) 1997-03-27 1999-10-26 Soliton Ltd. Security monitor
US5937404A (en) 1997-04-23 1999-08-10 Appaloosa Interactive Corporation Apparatus for bleaching a de-activated link in a web page of any distinguishing color or feature representing an active link
US5961591A (en) 1997-05-13 1999-10-05 Microsoft Corporation Downloading data while rejection of its use may be overridden
US5968176A (en) 1997-05-29 1999-10-19 3Com Corporation Multilayer firewall system
US5899995A (en) 1997-06-30 1999-05-04 Intel Corporation Method and apparatus for automatically organizing information
US5956734A (en) 1997-07-11 1999-09-21 International Business Machines Corporation Parallel file system with a quota check utility
US5893086A (en) * 1997-07-11 1999-04-06 International Business Machines Corporation Parallel file system and method with extensible hashing
US7117358B2 (en) 1997-07-24 2006-10-03 Tumbleweed Communications Corp. Method and system for filtering communication
US6356864B1 (en) * 1997-07-25 2002-03-12 University Technology Corporation Methods for analysis and evaluation of the semantic content of a writing based on vector length
US6446119B1 (en) 1997-08-07 2002-09-03 Laslo Olah System and method for monitoring computer usage
US5999929A (en) 1997-09-29 1999-12-07 Continuum Software, Inc World wide web link referral system and method for generating and providing related links for links identified in web pages
US5978807A (en) 1997-09-30 1999-11-02 Sony Corporation Apparatus for and method of automatically downloading and storing internet web pages
US6266664B1 (en) 1997-10-01 2001-07-24 Rulespace, Inc. Method for scanning, analyzing and rating digital information content
US6256739B1 (en) 1997-10-30 2001-07-03 Juno Online Services, Inc. Method and apparatus to determine user identity and limit access to a communications network
US5987457A (en) 1997-11-25 1999-11-16 Acceleration Software International Corporation Query refinement method for searching documents
JPH11219363A (ja) 1998-01-30 1999-08-10 Toshiba Corp データベースの検索支援システム
US6357010B1 (en) * 1998-02-17 2002-03-12 Secure Computing Corporation System and method for controlling access to documents stored on an internal network
US6073135A (en) 1998-03-10 2000-06-06 Alta Vista Company Connectivity server for locating linkage information between Web pages
US6055564A (en) * 1998-03-11 2000-04-25 Hewlett Packard Company Admission control where priority indicator is used to discriminate between messages
US6233618B1 (en) 1998-03-31 2001-05-15 Content Advisor, Inc. Access control of networked data
US6065055A (en) 1998-04-20 2000-05-16 Hughes; Patrick Alan Inappropriate site management software
US6219667B1 (en) * 1998-05-28 2001-04-17 International Business Machines Corporation Efficient large-scale access control for internet/intranet information systems
JP3665480B2 (ja) * 1998-06-24 2005-06-29 富士通株式会社 文書整理装置および方法
US6742003B2 (en) 2001-04-30 2004-05-25 Microsoft Corporation Apparatus and accompanying methods for visualizing clusters of data and hierarchical cluster classifications
US6377577B1 (en) * 1998-06-30 2002-04-23 Cisco Technology, Inc. Access control list processing in hardware
US6085241A (en) 1998-07-22 2000-07-04 Amplify. Net, Inc. Internet user-bandwidth management and control tool
US6446061B1 (en) 1998-07-31 2002-09-03 International Business Machines Corporation Taxonomy generation for document collections
US6266668B1 (en) 1998-08-04 2001-07-24 Dryken Technologies, Inc. System and method for dynamic data-mining and on-line communication of customized information
US6567800B1 (en) 1998-10-01 2003-05-20 At&T Corp. System and method for searching information stored on a network
US6907425B1 (en) 1998-10-01 2005-06-14 At&T Corp. System and method for searching information stored on a network
US6460141B1 (en) 1998-10-28 2002-10-01 Rsa Security Inc. Security and access management system for web-enabled and non-web-enabled applications and content on a computer network
US7603685B2 (en) 1998-11-03 2009-10-13 United Video Properties, Inc. Program guide system with combination category search
CA2353646C (en) * 1998-12-03 2004-04-06 Expanse Networks, Inc. Subscriber characterization and advertisement monitoring system
US7194554B1 (en) 1998-12-08 2007-03-20 Nomadix, Inc. Systems and methods for providing dynamic network authorization authentication and accounting
US6564327B1 (en) 1998-12-23 2003-05-13 Worldcom, Inc. Method of and system for controlling internet access
US6295529B1 (en) 1998-12-24 2001-09-25 Microsoft Corporation Method and apparatus for indentifying clauses having predetermined characteristics indicative of usefulness in determining relationships between different texts
US6654787B1 (en) 1998-12-31 2003-11-25 Brightmail, Incorporated Method and apparatus for filtering e-mail
US6654735B1 (en) 1999-01-08 2003-11-25 International Business Machines Corporation Outbound information analysis for generating user interest profiles and improving user productivity
US6418433B1 (en) 1999-01-28 2002-07-09 International Business Machines Corporation System and method for focussed web crawling
US6154741A (en) 1999-01-29 2000-11-28 Feldman; Daniel J. Entitlement management and access control system
JP3220104B2 (ja) 1999-02-16 2001-10-22 ケイディーディーアイ株式会社 Url階層構造を利用した情報自動フィルタリング方法および装置
US6286001B1 (en) 1999-02-24 2001-09-04 Doodlebug Online, Inc. System and method for authorizing access to data on content servers in a distributed network
US6366298B1 (en) * 1999-06-03 2002-04-02 Netzero, Inc. Monitoring of individual internet usage
US6904609B1 (en) 1999-03-18 2005-06-07 Microsoft Corporation Systems and methods for electronic program guide data services
US20010044800A1 (en) 2000-02-22 2001-11-22 Sherwin Han Internet organizer
US6486892B1 (en) 1999-04-07 2002-11-26 Joseph L. Stern System and method for accessing, manipulating and viewing internet and non-internet related information and for controlling networked devices
US6175830B1 (en) 1999-05-20 2001-01-16 Evresearch, Ltd. Information management, retrieval and display system and associated method
US6519571B1 (en) * 1999-05-27 2003-02-11 Accenture Llp Dynamic customer profile management
US6493744B1 (en) 1999-08-16 2002-12-10 International Business Machines Corporation Automatic rating and filtering of data files for objectionable content
US6295559B1 (en) 1999-08-26 2001-09-25 International Business Machines Corporation Rating hypermedia for objectionable content
US6862713B1 (en) 1999-08-31 2005-03-01 International Business Machines Corporation Interactive process for recognition and evaluation of a partial search query and display of interactive results
US6675169B1 (en) * 1999-09-07 2004-01-06 Microsoft Corporation Method and system for attaching information to words of a trie
US6745367B1 (en) 1999-09-27 2004-06-01 International Business Machines Corporation Method and computer program product for implementing parental supervision for internet browsing
US6839680B1 (en) * 1999-09-30 2005-01-04 Fujitsu Limited Internet profiling
US6792458B1 (en) * 1999-10-04 2004-09-14 Urchin Software Corporation System and method for monitoring and analyzing internet traffic
US6516337B1 (en) 1999-10-14 2003-02-04 Arcessa, Inc. Sending to a central indexing site meta data or signatures from objects on a computer network
US6434662B1 (en) 1999-11-02 2002-08-13 Juniper Networks, Inc. System and method for searching an associative memory utilizing first and second hash functions
WO2001033371A1 (en) 1999-11-05 2001-05-10 Surfmonkey.Com, Inc. System and method of filtering adult content on the internet
US6954783B1 (en) 1999-11-12 2005-10-11 Bmc Software, Inc. System and method of mediating a web page
JP4279427B2 (ja) 1999-11-22 2009-06-17 富士通株式会社 通信支援方法及びシステム
US20020049883A1 (en) * 1999-11-29 2002-04-25 Eric Schneider System and method for restoring a computer system after a failure
US20020069368A1 (en) 1999-12-07 2002-06-06 Keith Hines Data farming of network access
US6832230B1 (en) 1999-12-22 2004-12-14 Nokia Corporation Apparatus and associated method for downloading an application with a variable lifetime to a mobile terminal
US6574660B1 (en) 1999-12-28 2003-06-03 Intel Corporation Intelligent content delivery system based on user actions with client application data
US6606659B1 (en) 2000-01-28 2003-08-12 Websense, Inc. System and method for controlling access to internet sites
AU2000234758A1 (en) 2000-01-28 2001-08-07 Websense, Inc. Automated categorization of internet data
EP1256064B1 (en) * 2000-01-28 2008-10-15 Websense Inc. System and method for controlling access to internet sites
US7185361B1 (en) * 2000-01-31 2007-02-27 Secure Computing Corporation System, method and computer program product for authenticating users using a lightweight directory access protocol (LDAP) directory server
US20010044818A1 (en) 2000-02-21 2001-11-22 Yufeng Liang System and method for identifying and blocking pornogarphic and other web content on the internet
AU2001250017A1 (en) 2000-03-03 2001-09-17 Dun And Bradstreet, Inc. Facilitating a transaction in electronic commerce
US7565403B2 (en) 2000-03-16 2009-07-21 Microsoft Corporation Use of a bulk-email filter within a system for classifying messages for urgency or importance
GB0006721D0 (en) 2000-03-20 2000-05-10 Mitchell Thomas A Assessment methods and systems
US20010032258A1 (en) 2000-03-31 2001-10-18 Kabushiki Kaisha Free Bit.Com System for internet connections, system for providing internet user information, method for providing internet user preference information, and method for distributing digital contents using the internet
US7418440B2 (en) * 2000-04-13 2008-08-26 Ql2 Software, Inc. Method and system for extraction and organizing selected data from sources on a network
US6772214B1 (en) 2000-04-27 2004-08-03 Novell, Inc. System and method for filtering of web-based content stored on a proxy cache server
US20030158923A1 (en) 2000-05-04 2003-08-21 Reed Burkhart System and method for automated negotiation for and allocation of a broadcast satellite, communication and caching system resource
AU2001240077A1 (en) 2000-05-19 2001-12-03 Channelogics, Inc. Allocating access across shared communications medium
US20040034794A1 (en) * 2000-05-28 2004-02-19 Yaron Mayer System and method for comprehensive general generic protection for computers against malicious programs that may steal information and/or cause damages
US20040073617A1 (en) 2000-06-19 2004-04-15 Milliken Walter Clark Hash-based systems and methods for detecting and preventing transmission of unwanted e-mail
US6981281B1 (en) 2000-06-21 2005-12-27 Microsoft Corporation Filtering a permission set using permission requests associated with a code assembly
US6618717B1 (en) 2000-07-31 2003-09-09 Eliyon Technologies Corporation Computer method and apparatus for determining content owner of a website
US6785732B1 (en) * 2000-09-11 2004-08-31 International Business Machines Corporation Web server apparatus and method for virus checking
US6886099B1 (en) 2000-09-12 2005-04-26 Networks Associates Technology, Inc. Computer virus detection
US6701317B1 (en) 2000-09-19 2004-03-02 Overture Services, Inc. Web page connectivity server construction
US6571249B1 (en) 2000-09-27 2003-05-27 Siemens Aktiengesellschaft Management of query result complexity in hierarchical query result data structure using balanced space cubes
US20020073089A1 (en) 2000-09-29 2002-06-13 Andrew Schwartz Method and system for creating and managing relational data over the internet
US6650890B1 (en) 2000-09-29 2003-11-18 Postini, Inc. Value-added electronic messaging services and transparent implementation thereof using intermediate server
JP2002175010A (ja) 2000-09-29 2002-06-21 Shinu Ko ホームページ改竄防止システム
AU2002211349A1 (en) 2000-10-03 2002-04-15 Sun Microsystems, Inc. Http transaction monitor with capacity to replay in debugging session
CA2323883C (en) 2000-10-19 2016-02-16 Patrick Ryan Morin Method and device for classifying internet objects and objects stored oncomputer-readable media
US20030177187A1 (en) 2000-11-27 2003-09-18 Butterfly.Net. Inc. Computing grid for massively multi-player online games and other multi-user immersive persistent-state and session-based applications
US6894991B2 (en) 2000-11-30 2005-05-17 Verizon Laboratories Inc. Integrated method for performing scheduling, routing and access control in a computer network
US7209893B2 (en) 2000-11-30 2007-04-24 Nokia Corporation Method of and a system for distributing electronic content
US7143088B2 (en) 2000-12-15 2006-11-28 The Johns Hopkins University Dynamic-content web crawling through traffic monitoring
US6928051B2 (en) 2000-12-18 2005-08-09 Intel Corporation Application based bandwidth limiting proxies
US20030028564A1 (en) * 2000-12-19 2003-02-06 Lingomotors, Inc. Natural language method and system for matching and ranking documents in terms of semantic relatedness
US7096493B1 (en) 2000-12-21 2006-08-22 Gary G. Liu Internet file safety information center
JP4329264B2 (ja) 2000-12-27 2009-09-09 セイコーエプソン株式会社 アクセス権限レベル制御装置及び方法
US6782388B2 (en) 2000-12-29 2004-08-24 Bellsouth Intellectual Property Corporation Error usage investigation and disposal system
US7213069B2 (en) 2001-02-28 2007-05-01 Microsoft Corporation Category name service able to override the category name based on requestor privilege information
US7363657B2 (en) 2001-03-12 2008-04-22 Emc Corporation Using a virus checker in one file server to check for viruses in another file server
US7681032B2 (en) 2001-03-12 2010-03-16 Portauthority Technologies Inc. System and method for monitoring unauthorized transport of digital content
US7058663B2 (en) 2001-03-13 2006-06-06 Koninklijke Philips Electronics, N.V. Automatic data update
DE60227220D1 (de) 2001-03-29 2008-08-07 Sony Corp Vorrichtung zur informationsverarbeitung
US7114184B2 (en) 2001-03-30 2006-09-26 Computer Associates Think, Inc. System and method for restoring computer systems damaged by a malicious computer program
US6947935B1 (en) 2001-04-04 2005-09-20 Microsoft Corporation Training, inference and user interface for guiding the caching of media content on local stores
US20020152284A1 (en) 2001-04-13 2002-10-17 John Cambray System and method for performing real time monitoring and control of an interactive network
US7895445B1 (en) * 2001-04-26 2011-02-22 Nokia Corporation Token-based remote data access
US7228565B2 (en) 2001-05-15 2007-06-05 Mcafee, Inc. Event reporting between a reporting computer and a receiving computer
US20030182420A1 (en) 2001-05-21 2003-09-25 Kent Jones Method, system and apparatus for monitoring and controlling internet site content access
US6898737B2 (en) 2001-05-24 2005-05-24 Microsoft Corporation Automatic classification of event data
US7188368B2 (en) 2001-05-25 2007-03-06 Lenovo (Singapore) Pte. Ltd. Method and apparatus for repairing damage to a computer system using a system rollback mechanism
JP4598308B2 (ja) 2001-05-31 2010-12-15 トレンドマイクロ株式会社 データ通信システム及びデータ通信方法
US7289980B2 (en) 2001-06-12 2007-10-30 International Business Machines Corporation Method and system for managing preferred web site links
US6741997B1 (en) 2001-06-14 2004-05-25 Oracle International Corporation Instantiating objects in distributed database systems
US20030126136A1 (en) 2001-06-22 2003-07-03 Nosa Omoigui System and method for knowledge retrieval, management, delivery and presentation
US6934745B2 (en) * 2001-06-28 2005-08-23 Packeteer, Inc. Methods, apparatuses and systems enabling a network services provider to deliver application performance management services
US20030009495A1 (en) * 2001-06-29 2003-01-09 Akli Adjaoute Systems and methods for filtering electronic content
JP4496514B2 (ja) * 2001-07-06 2010-07-07 株式会社デンソー 放電灯装置
US7310817B2 (en) 2001-07-26 2007-12-18 Mcafee, Inc. Centrally managed malware scanning
US7225430B2 (en) * 2001-07-26 2007-05-29 Landesk Software Limited Software code management method and apparatus
WO2003012576A2 (en) 2001-07-27 2003-02-13 Quigo Technologies Inc. System and method for automated tracking and analysis of document usage
JP3653242B2 (ja) 2001-08-06 2005-05-25 デジタルア−ツ株式会社 インターネットへのアクセスを管理する方法、そのシステム及びそのコンピュータ・プログラム
US20060036874A1 (en) * 2001-08-08 2006-02-16 Igt Data pattern verification in a gaming machine environment
US7254526B2 (en) * 2001-08-24 2007-08-07 International Business Machines Corporation Apparatus and method for determining compatibility of web sites with designated requirements based on functional characteristics of the web sites
US7370365B2 (en) 2001-09-05 2008-05-06 International Business Machines Corporation Dynamic control of authorization to access internet services
US20040019656A1 (en) * 2001-10-04 2004-01-29 Smith Jeffrey C. System and method for monitoring global network activity
US7526654B2 (en) * 2001-10-16 2009-04-28 Marc Charbonneau Method and system for detecting a secure state of a computer system
US20030120543A1 (en) 2001-11-06 2003-06-26 Carey Matthew S. System, method, and product for use in supplying information via the internet
US7680892B2 (en) * 2001-11-06 2010-03-16 Ihance, Inc. Method and system for monitoring email and website behavior of an email recipient
US6947985B2 (en) * 2001-12-05 2005-09-20 Websense, Inc. Filtering techniques for managing access to internet sites or other software applications
US7194464B2 (en) 2001-12-07 2007-03-20 Websense, Inc. System and method for adapting an internet filter
US20030110272A1 (en) 2001-12-11 2003-06-12 Du Castel Bertrand System and method for filtering content
US7096500B2 (en) 2001-12-21 2006-08-22 Mcafee, Inc. Predictive malware scanning of internet data
US6944772B2 (en) 2001-12-26 2005-09-13 D'mitri Dozortsev System and method of enforcing executable code identity verification over the network
US20030126139A1 (en) 2001-12-28 2003-07-03 Lee Timothy A. System and method for loading commercial web sites
US20030135611A1 (en) 2002-01-14 2003-07-17 Dean Kemp Self-monitoring service system with improved user administration and user access control
US6792510B1 (en) 2002-02-14 2004-09-14 Novell, Inc. System and method for updating a cache
JPWO2003069470A1 (ja) 2002-02-15 2005-06-09 株式会社イマージュ アプリケーション作成システム、作成装置、および作成方法、並びにアプリケーション提供システム、提供装置、および提供方法、並びにアプリケーション運用システム、運用装置、および運用方法
US7089246B1 (en) 2002-02-28 2006-08-08 America Online, Inc. Overriding content ratings and restricting access to requested resources
US7903549B2 (en) 2002-03-08 2011-03-08 Secure Computing Corporation Content-based policy compliance systems and methods
US7870203B2 (en) * 2002-03-08 2011-01-11 Mcafee, Inc. Methods and systems for exposing messaging reputation to an end user
US7512649B2 (en) 2002-03-22 2009-03-31 Sun Microsytems, Inc. Distributed identities
JP2004013258A (ja) 2002-06-04 2004-01-15 Matsushita Electric Ind Co Ltd 情報フィルタリングシステム
AU2003238908A1 (en) 2002-06-06 2003-12-22 Green Border Technologies Method and system for implementing a secure application execution environment using derived user accounts for internet content
US6993713B2 (en) 2002-06-06 2006-01-31 International Business Machines Corporation Web content management software utilizing a workspace aware JSP servlet
CA2432594C (en) 2002-06-12 2011-01-11 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for increased internet protocol (ip) headers compression performance by reporting cause of missing packets
US20040006621A1 (en) * 2002-06-27 2004-01-08 Bellinson Craig Adam Content filtering for web browsing
US7631318B2 (en) * 2002-06-28 2009-12-08 Microsoft Corporation Secure server plug-in architecture for digital rights management systems
US7568002B1 (en) 2002-07-03 2009-07-28 Sprint Spectrum L.P. Method and system for embellishing web content during transmission between a content server and a client station
US7203706B2 (en) 2002-08-01 2007-04-10 Oracle International Corporation Buffered message queue architecture for database management systems with memory optimizations and “zero copy” buffered message queue
US7159119B2 (en) * 2002-09-06 2007-01-02 United States Postal Service Method and system for efficiently retrieving secured data by securely pre-processing provided access information
US20040049514A1 (en) * 2002-09-11 2004-03-11 Sergei Burkov System and method of searching data utilizing automatic categorization
FI113499B (fi) 2002-09-12 2004-04-30 Jarmo Talvitie Turvajärjestelmä, menetelmä ja laite tietokonevirusten torjumiseksi sekä tiedon eristämiseksi
JP4038717B2 (ja) * 2002-09-13 2008-01-30 富士ゼロックス株式会社 テキスト文比較装置
US7203691B2 (en) * 2002-09-27 2007-04-10 Ncr Corp. System and method for retrieving information from a database
US20040068479A1 (en) * 2002-10-04 2004-04-08 International Business Machines Corporation Exploiting asynchronous access to database operations
US7437760B2 (en) 2002-10-10 2008-10-14 International Business Machines Corporation Antiviral network system
JP4217455B2 (ja) * 2002-10-15 2009-02-04 キヤノン株式会社 周辺装置、情報処理方法、および制御プログラム
US6850943B2 (en) * 2002-10-18 2005-02-01 Check Point Software Technologies, Inc. Security system and methodology for providing indirect access control
US7600234B2 (en) 2002-12-10 2009-10-06 Fisher-Rosemount Systems, Inc. Method for launching applications
EP1586054A4 (en) 2002-12-13 2010-12-08 Symantec Corp METHOD, SYSTEM, AND SECURING COMPUTER PROGRAM WITHIN A GLOBAL COMPUTER NETWORK
US7533148B2 (en) 2003-01-09 2009-05-12 Microsoft Corporation Framework to enable integration of anti-spam technologies
US7171450B2 (en) 2003-01-09 2007-01-30 Microsoft Corporation Framework to enable integration of anti-spam technologies
FI20030104A0 (fi) * 2003-01-23 2003-01-23 Stonesoft Oyj Ilkivaltaisten yhteyksien ilmaisu ja estäminen
US20040153305A1 (en) 2003-02-03 2004-08-05 Enescu Mircea Gabriel Method and system for automated matching of text based electronic messages
US20040153644A1 (en) 2003-02-05 2004-08-05 Mccorkendale Bruce Preventing execution of potentially malicious software
CN100594484C (zh) * 2003-03-04 2010-03-17 高振宇 网站服务器系统
US7366761B2 (en) * 2003-10-09 2008-04-29 Abaca Technology Corporation Method for creating a whitelist for processing e-mails
US7206814B2 (en) 2003-10-09 2007-04-17 Propel Software Corporation Method and system for categorizing and processing e-mails
US7529754B2 (en) 2003-03-14 2009-05-05 Websense, Inc. System and method of monitoring and controlling application files
US7185015B2 (en) * 2003-03-14 2007-02-27 Websense, Inc. System and method of monitoring and controlling application files
US20060168006A1 (en) 2003-03-24 2006-07-27 Mr. Marvin Shannon System and method for the classification of electronic communication
US7739494B1 (en) 2003-04-25 2010-06-15 Symantec Corporation SSL validation and stripping using trustworthiness factors
GB2400931B (en) * 2003-04-25 2006-09-27 Messagelabs Ltd A method of, and system for, replacing external links in electronic documents
US7272853B2 (en) 2003-06-04 2007-09-18 Microsoft Corporation Origination/destination features and lists for spam prevention
US8145710B2 (en) * 2003-06-18 2012-03-27 Symantec Corporation System and method for filtering spam messages utilizing URL filtering module
US20050132042A1 (en) 2003-07-07 2005-06-16 Martin Cryer HTTP protocol-based internet document rating system
US20050015626A1 (en) 2003-07-15 2005-01-20 Chasin C. Scott System and method for identifying and filtering junk e-mail messages or spam based on URL content
JP4218451B2 (ja) * 2003-08-05 2009-02-04 株式会社日立製作所 ライセンス管理システム、サーバ装置および端末装置
US7444515B2 (en) 2003-08-14 2008-10-28 Washington University Method and apparatus for detecting predefined signatures in packet payload using Bloom filters
US20050044156A1 (en) * 2003-08-22 2005-02-24 David Kaminski Verified registry
US7421498B2 (en) 2003-08-25 2008-09-02 Microsoft Corporation Method and system for URL based filtering of electronic communications and web pages
US20050058972A1 (en) 2003-08-27 2005-03-17 Mcdole Michael E. Method for censorship
US7376154B2 (en) 2003-08-29 2008-05-20 Agilent Technologies, Inc. Non-intrusive method for routing policy discovery
US7587488B2 (en) 2003-09-15 2009-09-08 Blue Coat Systems, Inc. Dynamic background rater for internet content
US20050060140A1 (en) * 2003-09-15 2005-03-17 Maddox Paul Christopher Using semantic feature structures for document comparisons
US7631181B2 (en) * 2003-09-22 2009-12-08 Canon Kabushiki Kaisha Communication apparatus and method, and program for applying security policy
US7610342B1 (en) 2003-10-21 2009-10-27 Microsoft Corporation System and method for analyzing and managing spam e-mail
US20050091535A1 (en) 2003-10-24 2005-04-28 Microsoft Corporation Application identity for software products
US7373385B2 (en) 2003-11-03 2008-05-13 Cloudmark, Inc. Method and apparatus to block spam based on spam reports from a community of users
US7219299B2 (en) 2003-11-19 2007-05-15 Microsoft Corporation Method for blocking dereferencing elements in messages
US7797443B1 (en) 2003-12-03 2010-09-14 Microsoft Corporation System and method for detecting spam e-mail
CA2452269A1 (en) 2003-12-03 2005-06-03 Jin Li Method and system for standard bookmark classification of web sites
US7082429B2 (en) * 2003-12-10 2006-07-25 National Chiao Tung University Method for web content filtering
US7398399B2 (en) 2003-12-12 2008-07-08 International Business Machines Corporation Apparatus, methods and computer programs for controlling performance of operations within a data processing system or network
US8301702B2 (en) 2004-01-20 2012-10-30 Cloudmark, Inc. Method and an apparatus to screen electronic communications
JP2005208780A (ja) 2004-01-21 2005-08-04 Nec Corp メールフィルタリングシステム及びそれに用いるurlブラックリスト動的構築方法
US7647383B1 (en) * 2004-03-11 2010-01-12 Microsoft Corporation Intelligent message deletion
US9106694B2 (en) 2004-04-01 2015-08-11 Fireeye, Inc. Electronic message analysis for malware detection
US7966658B2 (en) 2004-04-08 2011-06-21 The Regents Of The University Of California Detecting public network attacks using signatures and fast content analysis
US7627670B2 (en) 2004-04-29 2009-12-01 International Business Machines Corporation Method and apparatus for scoring unsolicited e-mail
US7992204B2 (en) 2004-05-02 2011-08-02 Markmonitor, Inc. Enhanced responses to online fraud
US7870608B2 (en) * 2004-05-02 2011-01-11 Markmonitor, Inc. Early detection and monitoring of online fraud
US20070299915A1 (en) 2004-05-02 2007-12-27 Markmonitor, Inc. Customer-based detection of online fraud
US8769671B2 (en) 2004-05-02 2014-07-01 Markmonitor Inc. Online fraud solution
US7457823B2 (en) * 2004-05-02 2008-11-25 Markmonitor Inc. Methods and systems for analyzing data related to possible online fraud
US7941490B1 (en) 2004-05-11 2011-05-10 Symantec Corporation Method and apparatus for detecting spam in email messages and email attachments
US6984991B2 (en) * 2004-05-11 2006-01-10 International Business Machines Corporation Initialization of a bidirectional, self-timed parallel interface with automatic testing of AC differential wire pairs
US7818377B2 (en) * 2004-05-24 2010-10-19 Microsoft Corporation Extended message rule architecture
US8037144B2 (en) 2004-05-25 2011-10-11 Google Inc. Electronic message source reputation information system
US7756930B2 (en) 2004-05-28 2010-07-13 Ironport Systems, Inc. Techniques for determining the reputation of a message sender
US7849142B2 (en) * 2004-05-29 2010-12-07 Ironport Systems, Inc. Managing connections, messages, and directory harvest attacks at a server
US7870200B2 (en) * 2004-05-29 2011-01-11 Ironport Systems, Inc. Monitoring the flow of messages received at a server
US7941491B2 (en) * 2004-06-04 2011-05-10 Messagemind, Inc. System and method for dynamic adaptive user-based prioritization and display of electronic messages
US7748038B2 (en) 2004-06-16 2010-06-29 Ironport Systems, Inc. Method and apparatus for managing computer virus outbreaks
US7971245B2 (en) * 2004-06-21 2011-06-28 Ebay Inc. Method and system to detect externally-referenced malicious data for access and/or publication via a computer system
US7664819B2 (en) * 2004-06-29 2010-02-16 Microsoft Corporation Incremental anti-spam lookup and update service
US7693945B1 (en) 2004-06-30 2010-04-06 Google Inc. System for reclassification of electronic messages in a spam filtering system
US7428530B2 (en) * 2004-07-01 2008-09-23 Microsoft Corporation Dispersing search engine results by using page category information
GB2418037B (en) * 2004-09-09 2007-02-28 Surfcontrol Plc System, method and apparatus for use in monitoring or controlling internet access
WO2006027590A1 (en) 2004-09-09 2006-03-16 Surfcontrol Plc System, method and apparatus for use in monitoring or controlling internet access
GB2418999A (en) * 2004-09-09 2006-04-12 Surfcontrol Plc Categorizing uniform resource locators
GB0420548D0 (en) 2004-09-15 2004-10-20 Streamshield Networks Ltd Network-based security platform
WO2006036170A1 (en) 2004-09-15 2006-04-06 Pcsafe, Inc. Methods and systems for filtering urls, webpages, and content
GB2418330B (en) 2004-09-17 2006-11-08 Jeroen Oostendorp Platform for intelligent Email distribution
US20060064469A1 (en) * 2004-09-23 2006-03-23 Cisco Technology, Inc. System and method for URL filtering in a firewall
US8037527B2 (en) * 2004-11-08 2011-10-11 Bt Web Solutions, Llc Method and apparatus for look-ahead security scanning
US20060080735A1 (en) * 2004-09-30 2006-04-13 Usa Revco, Llc Methods and systems for phishing detection and notification
US7454778B2 (en) 2004-09-30 2008-11-18 Microsoft Corporation Enforcing rights management through edge email servers
US7287279B2 (en) 2004-10-01 2007-10-23 Webroot Software, Inc. System and method for locating malware
US20060075494A1 (en) * 2004-10-01 2006-04-06 Bertman Justin R Method and system for analyzing data for potential malware
US8117339B2 (en) 2004-10-29 2012-02-14 Go Daddy Operating Company, LLC Tracking domain name related reputation
US20060095459A1 (en) 2004-10-29 2006-05-04 Warren Adelman Publishing domain name related reputation in whois records
US7716727B2 (en) 2004-10-29 2010-05-11 Microsoft Corporation Network security device and method for protecting a computing device in a networked environment
US20060095404A1 (en) 2004-10-29 2006-05-04 The Go Daddy Group, Inc Presenting search engine results based on domain name related reputation
US7574409B2 (en) * 2004-11-04 2009-08-11 Vericept Corporation Method, apparatus, and system for clustering and classification
US8635690B2 (en) 2004-11-05 2014-01-21 Mcafee, Inc. Reputation based message processing
US8010685B2 (en) 2004-11-09 2011-08-30 Cisco Technology, Inc. Method and apparatus for content classification
EP1828919A2 (en) * 2004-11-30 2007-09-05 Sensoy Networks Inc. Apparatus and method for acceleration of security applications through pre-filtering
US20060122957A1 (en) 2004-12-03 2006-06-08 Johnny Chen Method and system to detect e-mail spam using concept categorization of linked content
WO2006062546A2 (en) 2004-12-07 2006-06-15 Ayman, Llc System and method of filtering electronic messages
US7519818B2 (en) 2004-12-09 2009-04-14 Microsoft Corporation Method and system for processing a communication based on trust that the communication is not unwanted as assigned by a sending domain
US7580982B2 (en) 2004-12-14 2009-08-25 The Go Daddy Group, Inc. Email filtering system and method
US7899866B1 (en) * 2004-12-31 2011-03-01 Microsoft Corporation Using message features and sender identity for email spam filtering
US7487217B2 (en) * 2005-02-04 2009-02-03 Microsoft Corporation Network domain reputation-based spam filtering
US7831834B2 (en) 2005-03-14 2010-11-09 Yahoo! Inc Associating a postmark with a message to indicate trust
US8316446B1 (en) 2005-04-22 2012-11-20 Blue Coat Systems, Inc. Methods and apparatus for blocking unwanted software downloads
US7562304B2 (en) 2005-05-03 2009-07-14 Mcafee, Inc. Indicating website reputations during website manipulation of user information
EP1877905B1 (en) 2005-05-05 2014-10-22 Cisco IronPort Systems LLC Identifying threats in electronic messages
US20060259948A1 (en) * 2005-05-12 2006-11-16 International Business Machines Corporation Integrated document handling in distributed collaborative applications
US7548922B2 (en) 2005-05-17 2009-06-16 International Business Machines Corporation Customized and consolidated bookmarks
US7788723B2 (en) 2005-05-17 2010-08-31 Computer Associates Think, Inc. Method and apparatus for identifying computer vulnerabilities using exploit probes and remote scanning
US7937480B2 (en) 2005-06-02 2011-05-03 Mcafee, Inc. Aggregation of reputation data
GB2426887B (en) 2005-06-04 2009-01-07 Ibm Client responsibilities in messaging systems
US8010609B2 (en) 2005-06-20 2011-08-30 Symantec Corporation Method and apparatus for maintaining reputation lists of IP addresses to detect email spam
US7660861B2 (en) * 2005-06-21 2010-02-09 Data Laboratory, L.L.C. System and method for verifying the identity of a sender of electronic mail and preventing unsolicited bulk email
US7739338B2 (en) 2005-06-21 2010-06-15 Data Laboratory, L.L.C. System and method for encoding and verifying the identity of a sender of electronic mail and preventing unsolicited bulk email
GB0512744D0 (en) 2005-06-22 2005-07-27 Blackspider Technologies Method and system for filtering electronic messages
US20070011739A1 (en) * 2005-06-28 2007-01-11 Shay Zamir Method for increasing the security level of a user machine browsing web pages
US20070028302A1 (en) * 2005-07-29 2007-02-01 Bit 9, Inc. Distributed meta-information query in a network
US7516184B2 (en) 2005-11-22 2009-04-07 Cisco Technology, Inc. Method and system for a method for evaluating a message based in part on a registrar reputation
US8938515B2 (en) 2005-12-29 2015-01-20 Sap Se Master queue for messaging service
US20070204223A1 (en) 2006-02-27 2007-08-30 Jay Bartels Methods of and systems for personalizing and publishing online content
US7636703B2 (en) 2006-05-02 2009-12-22 Exegy Incorporated Method and apparatus for approximate pattern matching
US20080082662A1 (en) 2006-05-19 2008-04-03 Richard Dandliker Method and apparatus for controlling access to network resources based on reputation
US20080016339A1 (en) 2006-06-29 2008-01-17 Jayant Shukla Application Sandbox to Detect, Remove, and Prevent Malware
US8615800B2 (en) 2006-07-10 2013-12-24 Websense, Inc. System and method for analyzing web content
GB2444514A (en) * 2006-12-04 2008-06-11 Glasswall Electronic file re-generation
US7904958B2 (en) * 2007-02-27 2011-03-08 Symantec Corporation Spam honeypot domain identification
US20080267144A1 (en) 2007-04-26 2008-10-30 Motorola, Inc. System and method for managing broadcast and/or multicast based communication sessions for mobile nodes
KR20090047890A (ko) * 2007-11-08 2009-05-13 한국전자통신연구원 검색 엔진을 이용한 악성 코드 유포 사이트 관리 방법,장치 및 시스템
US8935773B2 (en) * 2009-04-09 2015-01-13 George Mason Research Foundation, Inc. Malware detector
US9038184B1 (en) * 2010-02-17 2015-05-19 Symantec Corporation Detection of malicious script operations using statistical analysis
US9130988B2 (en) * 2010-12-21 2015-09-08 Microsoft Technology Licensing, Llc Scareware detection
WO2012156971A1 (en) * 2011-05-18 2012-11-22 Netspark Ltd. Real-time single-sweep detection of key words and content analysis
US9413774B1 (en) * 2014-10-27 2016-08-09 Palo Alto Networks, Inc. Dynamic malware analysis of a URL using a browser executed in an instrumented virtual machine environment

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9680866B2 (en) 2006-07-10 2017-06-13 Websense, Llc System and method for analyzing web content
CN108076120A (zh) * 2016-11-23 2018-05-25 王昆 电子通讯传输信息文件的装置
CN111357242A (zh) * 2017-11-27 2020-06-30 日本电信电话株式会社 异常通信探测装置、异常通信探测方法、程序
CN111357242B (zh) * 2017-11-27 2022-02-01 日本电信电话株式会社 异常通信探测装置及其方法、计算机可读取的记录介质
CN110413908A (zh) * 2018-04-26 2019-11-05 维布络有限公司 基于网站内容对统一资源定位符进行分类的方法和装置
CN110413908B (zh) * 2018-04-26 2023-04-07 维布络有限公司 基于网站内容对统一资源定位符进行分类的方法和装置

Also Published As

Publication number Publication date
US8615800B2 (en) 2013-12-24
US20150215326A1 (en) 2015-07-30
AU2007273019A1 (en) 2008-01-17
WO2008008339A3 (en) 2008-03-13
US9003524B2 (en) 2015-04-07
US9680866B2 (en) 2017-06-13
US20080010683A1 (en) 2008-01-10
CN101512522B (zh) 2011-11-09
WO2008008339A2 (en) 2008-01-17
US20140115699A1 (en) 2014-04-24
CA2656377A1 (en) 2008-01-17
EP2044540A2 (en) 2009-04-08

Similar Documents

Publication Publication Date Title
CN101512522B (zh) 分析网络内容的系统和方法
CN101517570B (zh) 分析网络内容的系统和方法
CN101971591B (zh) 分析网址的系统及方法
Aliero et al. An algorithm for detecting SQL injection vulnerability using black-box testing
CN101622621B (zh) 阻止恶意网络内容的系统和方法
Amrutkar et al. Detecting mobile malicious webpages in real time
CN107688743B (zh) 一种恶意程序的检测分析方法及系统
CN103493061A (zh) 用于应对恶意软件的方法和装置
AU2013206427A1 (en) System and method of analyzing web addresses
US20240054210A1 (en) Cyber threat information processing apparatus, cyber threat information processing method, and storage medium storing cyber threat information processing program
Boyapati et al. Anti-phishing approaches in the era of the internet of things
CN110855612B (zh) web后门路径探测方法
US20240054215A1 (en) Cyber threat information processing apparatus, cyber threat information processing method, and storage medium storing cyber threat information processing program
Sajid Autonomous Malware Deception and Orchestration
Kulkarni et al. Bridging the Gap in Phishing Detection: A Comprehensive Phishing Dataset Collector
Pamuji Investigation of the Dark Web Illegal Activities using Data Mining Approach
Aliero et al. Malicious Link Detector on Website

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20111109

Termination date: 20120709