CN101014020A - 用于识别垃圾电子邮件的方法和系统 - Google Patents
用于识别垃圾电子邮件的方法和系统 Download PDFInfo
- Publication number
- CN101014020A CN101014020A CNA2007100047597A CN200710004759A CN101014020A CN 101014020 A CN101014020 A CN 101014020A CN A2007100047597 A CNA2007100047597 A CN A2007100047597A CN 200710004759 A CN200710004759 A CN 200710004759A CN 101014020 A CN101014020 A CN 101014020A
- Authority
- CN
- China
- Prior art keywords
- address
- path
- spam
- message
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000010365 information processing Effects 0.000 claims abstract description 5
- 238000000682 scanning probe acoustic microscopy Methods 0.000 claims description 71
- 230000005540 biological transmission Effects 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 4
- 238000009825 accumulation Methods 0.000 claims description 2
- 238000007689 inspection Methods 0.000 claims description 2
- 101001028804 Homo sapiens Protein eyes shut homolog Proteins 0.000 description 62
- 102100037166 Protein eyes shut homolog Human genes 0.000 description 62
- 238000004458 analytical method Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 230000008878 coupling Effects 0.000 description 5
- 238000010168 coupling process Methods 0.000 description 5
- 238000005859 coupling reaction Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- GKSPIZSKQWTXQG-UHFFFAOYSA-N (2,5-dioxopyrrolidin-1-yl) 4-[1-(pyridin-2-yldisulfanyl)ethyl]benzoate Chemical compound C=1C=C(C(=O)ON2C(CCC2=O)=O)C=CC=1C(C)SSC1=CC=CC=N1 GKSPIZSKQWTXQG-UHFFFAOYSA-N 0.000 description 1
- 241000209202 Bromus secalinus Species 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010224 classification analysis Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/107—Computer-aided management of electronic mailing [e-mailing]
Abstract
一种方法，包括步骤：接收包括多个分组和传输路径信息的电子邮件消息；使用所述传输路径信息确定针对所述电子邮件的路径；将所述路径与多个之前电子邮件路径进行比较；确定所接收到的电子邮件的路径和多个之前电子邮件路径中的一个或多个之间的相似性度量；和根据所述相似性度量来确定针对所接收到的所述电子邮件的垃圾电子邮件得分。其他实施方式包括具有执行上述功能的计算机代码的计算机可读介质，和包括被配置(即，硬件布线或者编程)来执行该方法的处理器的信息处理系统。
Description
技术领域
所公开的本发明宽泛地涉及信息处理系统领域，更具体地说，涉及未经请求(unsolicited)的电子邮件的领域。
背景技术
垃圾电子邮件(spam)是因特网上日益增加的问题，其继续要求新的解决方案。用于攻击垃圾电子邮件的现有机制使用诸如SMTP(简单邮件传输协议)分析之类的独立邮件传送交易的分析、邮件寻址报头(“来自”、“至”、“发送者”等)的分析以及邮件的主题和/或内容的分析。虽然这些机制在较大程度上是有效的，但是垃圾电子邮件发送者(spammer)已经学会了绕过它们，并且继续改进他们的技术。当前在该领域中存在的流行机制和想法是：
(1)DNS(域名服务器)块列表-“知道”要发送垃圾电子邮件的邮件代理的IP地址的列表；接收邮件服务器可以检查这些列表并且拒绝从出现在该列表中的代理接受邮件。这些是由垃圾电子邮件抱怨者维持的反应性的、静态列表。它们遭受维护困难的困扰(包括大公司和服务提供商的有声誉的发送者常常发现他们被错误地放入这些列表中，并且经常不容易将他们自己从这些列表中拿掉)。
(2)SPF(寄信人来源确认(Sender Permitted From)或者发送者策略框架)、发送者ID、CSV(验证的服务器确认)、域密钥和相关的建议-这些都是被设计来确认邮件的发送者不试图谎报其身份的技术。也就是，它们的每一个都定义“发送域”并且提供用于域发表信息的机制，该信息允许接收者确定好像具有特定“发送域”的消息是否来自被授权代表该域发送邮件的代理。当充分采用时，这些对于“白列出(white listing)”是有效的但是不能用于检测垃圾电子邮件。实际上，许多垃圾电子邮件域参与在SPF中，大概是希望这种参与会给予它们可信性(credibility)。
用于验证电子邮件消息的发送域的机制正变得流行、标准化和被激烈辩论。SPF、呼叫者ID和发送者ID的目标基本上是相同的：它们的每一个都被设计来通过使得域所有者发表有效的输出(outgoing)电子邮件服务器的列表成为可能来防止“哄骗(spoofing)”。可以可靠地将通过这些测试之一的消息与参与该消息的传输的域相关联，“可靠地”的某种值是许多争论和争议的主题。因为这些技术意味着“最大努力(best effort)”验证，因此，“似乎正确(plausibly)”可能是较好的定性。
但是，这种信息不足以过滤垃圾电子邮件。在知道负责的域之外，垃圾电子邮件过滤需要关于什么域发送垃圾电子邮件的信息。因此域验证的大多数支持者建议将域验证与声誉服务进行组合。
SPF使得域声明其输出电子邮件网关。如果SPF信息正确，则来自该域的所有邮件“应该”通过这些网关。如果消息通过SPF检查，并且我们假设域原则上不发送垃圾电子邮件，则将该邮件直接继续发给用户是安全的。但是由于垃圾电子邮件发送者也已经注册了域并且发表了SPF记录，因此我们不能假设通过了SPF验证的邮件是源自非垃圾电子邮件域的。
因此，需要分析超出垃圾电子邮件发送者的控制的电子邮件单元并且克服上述缺陷的方法和系统。
发明内容
主要地，根据本发明的实施方式，方法包括步骤：接收包括多个分组和发送路径信息的电子邮件消息；使用所述发送路径信息来确定所述电子邮件的路径；将所述路径与多个之前电子邮件路径进行比较；确定接收的所述电子邮件的所述路径与多个之前电子邮件路径中的一个或多个之间的相似性度量；以及根据相似性度量来确定接收的所述电子邮件的垃圾电子邮件得分。其他实施方式包括具有用于执行上述功能的计算机代码的计算机可读介质，和具有被配置(例如，被硬件布线(hard-wired)或者被编程)来执行所述方法的处理器的信息处理系统。
附图说明
图1是表示简化的电子邮件消息路径的高级框图；
图2是示出根据本发明另一种实施方式的信息处理系统的高级框图；和
图3是根据本发明实施方式的方法的流程图。
具体实施方式
参照图1，我们示出电子邮件基础设施100的高度简化的框图。发送者节点102将电子邮件消息发送给目的地节点108。由路由器104和106将该电子邮件消息路由到目的地节点108。每个路由器将信息添加到该电子邮件消息，使得该消息包括从节点102到节点108的电子邮件路径指示。本发明的实施方式针对该消息通过因特网邮件传输基础设施的路径来分析在该电子邮件消息中所存储的信息。一旦该消息离开垃圾电子邮件发送者的控制，就将发送路径信息添加到该消息中，垃圾电子邮件发送者不能去除该信息。通过分析这种信息，并且学习不同发送通道的垃圾电子邮件和非垃圾电子邮件模式，我们能够检测到通过内容分析或者其他现存技术不能检测到的垃圾电子邮件。就用于垃圾电子邮件检测的现在所尝试的解决方案来说，本发明的实施方式的优点是使用我们发明的系统从实际消息中的发送路径信息中动态学习，不需要其他参与者的“参与”，并且能够将发送路径识别为“垃圾电子邮件的”，以及将一些发送路径识别为“好的”。
本实施方式通过下面步骤工作：分析因特网消息报头中的标准“接收”行、从它们中提取该消息声称被传过的IP地址和邮件域的列表、以及将这种信息与习得的发送路径数据库进行比较。参照图2，我们示出了使用本发明实施方式的信息系统200的简化的框图。系统200包括处理器202、系统存储器204、网络接口206和数据库208。数据库208可以是系统200的一部分或者可以被远程地经由网络接口206耦合到系统200。系统200通过网络接口206接收电子邮件消息。然后，其分析该电子邮件消息内的路径信息，以确定是否将该电子邮件消息路由到目的地。将处理器202配置(例如，硬件布线或者编程)为提取该路径信息并且将其与来自之前所分析的电子邮件的路径信息进行比较。系统200通过被针对被分类(sort)的消息、垃圾电子邮件和非垃圾电子邮件的开始集合进行训练来学习其初始数据库；在其整个操作中，其通过从将它们接收到的新消息告诉给其的终端用户接收者接收“选票”来继续学习。根据它们的可靠性的判断来对来自每个消息的地址进行分类，根据已经从该地址来的垃圾电子邮件和非垃圾电子邮件将得分给予这些地址的每一个，并且这些的组合产生用于该消息的总得分。然后可以单独或者与其他消息分类器(classifier)组合来使用这种得分以确定该消息的处置。
当评价每个地址并且将得分给予其时，我们使用“聚集(aggregation)”算法。聚集是不用所分配的网络拓扑的直接知识而执行的、而是通过直接组合IP地址的各部分而进行的一种特设算法。在当前因特网邮件行进其上的IPV4系统中，IP地址每个包括四个字节，并且层级地进行分配。仅仅使用该信息，可以为收集用于每个IP地址的信息，并且为该地址及其数据与共享连续高级字节的所有那些相连接，而创建数据库208。例如，表示为“64.233.161.99”的地址可以使得其信息与用“64.233.161”开始的所有那些聚集，其随后与用“64.233”开始的那些聚集。数据库208分散地维持这种信息(使得地址不产生浪费空间)，并且结果是有效率的，并且在发现垃圾电子邮件发送和非垃圾电子邮件发送的模式时也有效。还可以使用诸如利用域所有者关系(例如，列在下面的whois)之类的其他“聚集”方法。
对于每个地址(和聚集)，我们保留在训练阶段期间从该地址(或者聚集)接收来的、通过在操作阶段期间所接收到的选票增加的一些数量的垃圾电子邮件和非垃圾电子邮件信息。在操作期间，我们通过沿如由聚集所确定的其父节点和“靠近”其的节点在数据库中发现其节点来评价每个地址，这为那个地址产生一个得分。
在以最新地址开始评价了每个地址之后，我们累积经加权的平均值，与仅仅从其他“靠近的”地址中获得的那些相比，将更多的权重给予精确(exact)的数据库匹配。我们检测和去除虚假信息，并且结果是作为整体用于消息的得分。可以单独使用该得分、或者与从内容分析或者其他反垃圾电子邮件技术中获得的得分组合，以确定消息的最终处置。
参照图3，我们讨论根据本发明实施方式用于分类电子消息的计算机实施的方法300。可以由控制路由“中继段(hop)”的电子邮件网络中的任何节点来实施方法300。
步骤302确定用于传输消息的网络路径。这可以包括从消息报头提取发送路径。可选地，消息可以符合RFC 2822而且可以从“RECEIVED”报头中提取网络路径。
步骤304将可信性函数应用于网络路径以确定沿从其接收到电子邮件消息的路径的节点的可信性。应用可信性函数的步骤可以包括：分离地考虑网络路径中的每个节点；针对每个节点确定初步可信性；使用所述初步可信性，和路径中一个或多个其他节点的可信性来确定该节点的可信性。确定初步可信性的步骤可以包括计数每个节点之前所发送的每个分类的消息的频率。每个节点可以由它的IP地址来表示。
步骤306将关系函数应用于网络路径。步骤308根据网络路径与之前所分析的消息所使用的路径的相似性来确定消息的分类。步骤310根据该路径的分析来确定要对电子邮件消息采取的行动(例如，作为垃圾电子邮件删除、发送到用户的收件箱(inbox)或者发送到诸如“可疑垃圾电子邮件”邮件箱之类的替代目的地)。步骤310可以包括检查从最近到最早的节点和将不好于之前所检查的节点的可信性分配给每个节点。
方法300可以包括附加条件，即将低可信性给予计数步骤中对于适当计数不具有足够的历史的节点。在本方法中，可以通过检查由从消息中确定的参考域所发表的信息来确定初步可信性。
关系函数将每个之前没被看到的节点与带有类似IP地址的已知节点进行比较。可以认为在它们的高阶比特(higher-order bit)中匹配的IP地址和具有相同所有者的IP地址类似。
关系函数将每个之前没被看到的节点域带有类似域名的已知节点进行比较。可以认为在域名层级中带有部分匹配的节点类似。可以认为其域名具有相同所有者的节点类似。
根据另一种实施方式，我们讨论根据分析用于传输已知垃圾电子邮件和已知好邮件的路径来学习电子邮件域和IP地址的声誉的方法。将该信息与用于过滤经哄骗的邮件报头的方法组合以确保垃圾电子邮件发送者不能规避路由分类分析。
所讨论的方法只使用来自电子邮件消息的报头中在标准“接收”行中所提及的IP地址来将消息分类为垃圾电子邮件或者非垃圾电子邮件。其实施一学习算法，其中我们假设用所选择的对应IP地址在之前所分类的邮件的代表集合上训练该算法。来自相同或者类似IP地址的邮件可能共享相同的分类。
为了精确地标定(label)针对其存在少量数据的站点，我们可以使用利用诸如本地Bayes(native Bayes)或者Chung-Kwei之类的、可以更加精确地进行区分的另一种技术的分类器。例如，虽然SMTP路径分析不如通常所使用的Bayesian垃圾电子邮件分类器精确，但是其识别Bayesian分类器一般处理得最好的信息，并且在该空间的那些部分上其做得更好。虽然Bayesian分类器可以分类针对其不存在用于有效路径分析的足够数据的例子，但是可以使用SMTP路径分析结果来修正来自Bayesian分类器的错误评价。使用两种结果的聚集分类器可以比使用任何一个的都好。
这里所描述的方法直接使用IP地址并且有时根据邻近的IP地址来建立它们的声誉，而不是通过声明的外部集合将它们成组(grouping)并且学习这些组的声誉。SPF在这方面具有的主要优点是：SPF可以将根本不同的地址范围成组为单个实体，所以需要损失信息来创建用于该成组的声誉；而且SPF明确描述范围的界限在哪里。
SPF(寄信人来源确认)可以宣称另一个优点，其中，如果声称发送的域发表SPF记录，其可以将通过合法网关的邮件与从僵进程(zombie)直接发送到因特网的邮件进行区分。然而，我们的算法实际上善于识别合法网关以及将直接来自僵进程机器(或者“botnets”)的邮件进行分类，所以该优点小于其可能表现的那样。当可用时可以结合我们的算法来清楚地使用SPF信息，而当不可用时，该算法代表其自己。还要注意，虽然如果所声称的发送域不发布SPF记录，则SPF不能说明任何问题，但是我们的算法还是从发送路径中学习而不论将什么域宣称为消息的源。
SMTP协议指定用于发送电子邮件消息的每个SMTP中继必须将(至少)包含关于接收该消息的SMTP服务器(服务器从该位置接收了消息)的信息的“接收”行、和声明添加该报头的时间的时间戳添加到该消息报头列表的开始处。当被一同考虑时，这些报头行提供用于发送消息的SMTP路径的踪迹(trace)。
然而，不能完全相信在消息的接收报头中所列出的SMTP路径。不以任何方式标记(sign)或者验证消息报头，因此可以容易地进行哄骗。沿路径的任何SMTP服务器可以插入虚假报头，其使得该消息看起来来自发送者选择的任何路径。
尽管如此，某些所接收的行报头是可靠的。例如，可以信任由用户自己域的进入(inbound)SMPT服务器添加的所有报头。站点还可以相信由与其有规律地进行商业往来的组织所产生的接收行，假设它们可以识别这些组织的发出(outbound)服务器。但是一旦在接收行中暗示的SMTP路径到达未知或者不值得信任的服务器，就不能信任剩余的所声称的SMTP路径。
SMTP路径分析通过分析使用该IP地址所发送的电子邮件的过去的历史来学习IP地址的垃圾电子邮件特性(spamminess)或者良好性以进行工作。该算法的学习阶段将被标为垃圾电子邮件或者非垃圾电子邮件的预先分类的消息的集合作为输入。该学习算法从每个消息中提取按照推测邮件采用来到达接收者的IP地址序列，并且收集关于每个IP地址的统计。在其分类阶段，该算法从目标消息中提取IP地址序列，并且根据按照推测用于传输该消息的网关的IP地址产生用于该消息的得分。该得分可以受阈值的支配以产生是否为垃圾电子邮件的分类，或者可以被用作对聚集分类器的输入。该算法不查看其他信息；特别是，其不另外地分析消息的内容，也不考虑任何域信息。
在我们的方法的最基本形式中，针对每个IP地址所收集的统计完全就是其为之出现的垃圾电子邮件和非垃圾电子邮件的数量。然后，使用这些计数来估计通过任何之前所看见的IP地址的邮件是垃圾电子邮件的概率。根据需要将所述概率估计进行平滑以针对小样本尺寸进行修正。在分类期间，我们查看用于传送该消息的IP地址的序列并且根据我们具有针对其的足够数据的链中的最后IP地址来将垃圾电子邮件特性分配给该消息。
在算法的上述概述甚至似乎正确之前还有两个必须被解决的问题：
1.许多机器(特别是在链的开始的那些，其可以是连接到它们的服务提供商的僵进程或者垃圾电子邮件发送者)不具有固定的IP地址，所以在作为我们正在试图分类的消息中的一个的训练集合中看见相同IP地址的概率比希望的小。
2.上面技术易于哄骗。也就是，该消息可能来自垃圾电子邮件性的(spammy)IP地址和可能宣称其正在继续发送来自合法发送者的消息的机器。
我们通过在不存在针对当前IP地址作出可靠决定的足够数据的任何时候将当前IP地址的统计与“邻近“IP”地址的那些进行组合来应对动态IP问题。存在可以用于这种目的的“邻近”的许多可能定义。一种解决方案是建造迄今我们已经看见的IP地址的树。该树的根具有多至256个子树，每个与IP地址的各种可能的第一字节对应。为了效率，我们使得树稀疏，所以我们还没有遇到的第一字节在该树中不出现。这种稀疏性在该树的所有分支中继续。
随后这些子树的每一个其自己具有多至256个子树，每个对应于第二字节。虽然针对第三和第四字节进行相同的过程，当然，当我们沿树向下时分支变得更加稀疏，产生带有少于232个节点的树。
在每个节点n，我们存储该节点所表示的该IP地址或者范围已经出现在其中的非垃圾电子邮件消息的数量NSn和垃圾电子邮件消息的数量Sn。计算作为节点的垃圾电子邮件性度量的比率，即Sn/(Sn+NSn)：将垃圾电子邮件消息的数量除以已经通过该地址或者范围的消息的总数。
我们不能仅仅就这样使用该比率。而且，存在两个问题：
1.我们正在试图记录在内部节点处的是如果我们获得IP地址而不具有在该节点下面的精确匹配则将会有帮助的信息。应该通过在平均IP子范围处所发生的而不是在这些范围中在一些特定IP地址处可能发生的来影响该值。在垃圾电子邮件发送者使用特定地址而不是作为整体的范围的情况下这可能特别重要，并且因此我们将子节点的活动进行平均，而不由通过它们的邮件的数量进行加权。
2.如果节点仅仅看见一个垃圾电子邮件而没有非垃圾电子邮件，下一个邮件是垃圾电子邮件的概率不是100％。
我们通过我们实际计算用于该IP地址的得分的方式来解决这两个问题。我们添加带有得分为0.5的人为的新的根。如果可以获得一个的话，我们重复地转到包含实际IP地址的子树。在该子树处，我们计算该子树的孩子和父亲的平均值。也就是，如果存在九个孩子则我们采用平均十个节点：父亲和九个孩子。对于叶节点，我们采用由包含该叶的消息的数量所加权的叶节点的比率和父亲的平均值。当然，有时如果我们从未在我们的训练集合中看见这种精确的IP地址，则我们不到达叶节点。当我们获得新消息时，我们查看每个IP地址，从最后一个(最接近我们的接收机器的一个)开始。我们计算其得分，其为在0和1之间的数字，然后将其与用于下一个IP地址的得分组合。我们以权重等于1/(s*(1-s))采用两个IP地址的垃圾电子邮件性的经加权的平均，其中s是上述的垃圾电子邮件性。原理是在序列中强垃圾电子邮件性和强非垃圾电子邮件性的IP地址是消息邮件的特性的较高指示器-带有最极端得分的地址是对于计算最有意义的地址。我们继续将当前的平均值与下一个IP地址的垃圾电子邮件性组合的这种过程，直到我们到达列表结尾为止。
如上所述，上面技术易于哄骗。如果垃圾电子邮件发送者进行哄骗以妨碍我们的算法，则邮件将显示为通过垃圾电子邮件性的地址而来自合法的源。为了应对这种问题，我们为每个中间地址建立可信性值，并且如果地址是不可信的，则我们至少可以部分忽略剩余的地址。
在实践中，如果在序列中存在与训练集合中的IP地址精确匹配的任何IP地址，则当我们只发现内部节点时，其是比上面给出的得分更好的指示器。所以我们将更多权重给予精确的匹配。
在作为消息源头的地址和作为网关动作的地址之间存在区别，而我们针对源头地址和中间地址保持分离的统计。考虑这样的例子，一个企业，当其开发了其公司现在的因特网时，在一个部门中的、已经在之前的某段时间内具有了因特网电子邮件地址的大多数用户缓慢地从该部门内的网关向企业范围的网关移动。当垃圾电子邮件增加时，很少将该部门的网关用于合法邮件-通过这些网关之一移动的邮件中98％为垃圾电子邮件，但是某些部门员工还继续使用它。因此，根据对接收到的行的分析，会将从那些到该企业的其他部分的邮件标为可能的垃圾电子邮件。可以通过将最后IP地址(按照推测为源头站点)的统计与所有其他的分离来解决这个问题。所以，如果地址范围接收许多垃圾电子邮件，但是源头靠近其的所有邮件是好的，则其将被给予好的得分。
因此，虽然已经描述了现在被认为是优选实施方式的实施方式，但是本领域的普通技术人员应该理解，在本发明的精神内可以进行其他修改。
Claims (19)
1.一种计算机实施的方法，包括步骤：
接收电子邮件消息，其包括多个分组、包括一个或多个单元的传输路径信息以及针对所述电子邮件消息的至少一个接收者；
使用所述传输路径信息的所述一个或多个单元来确定针对所述电子邮件的网络路径；
将所述路径与多个之前电子邮件路径进行比较；
确定所接收到的电子邮件的路径和多个之前电子邮件路径中的一个或多个之间的相似性度量；和
根据所述相似性度量来确定针对所接收到的所述电子邮件的垃圾电子邮件得分。
2.根据权利要求1所述的方法，还包括：当将所述电子邮件消息确定为包括垃圾电子邮件时不将所述电子邮件消息转发到所述的至少一个接收者。
3.根据权利要求1所述的方法，其中，所述传输路径信息包括接收行，而所述方法还包括：
分析所述电子邮件消息报头中的所述接收行；
从所述接收行中提取所述电子邮件声称通过的IP地址和邮件域的列表；和
将所述IP地址与包括沿每个传输路径的IP地址的传输路径的习得数据库进行比较。
4.根据权利要求3所述的方法，其中，在接收所述电子邮件消息之前，所述方法包括：
通过训练包括垃圾电子邮件和非垃圾电子邮件消息的经分类的消息的开始集合来创建用于存储多个之前电子邮件路径的习得数据库；和
存储用于在所述数据库中所存储的每个IP地址的开始垃圾电子邮件得分，其中所述垃圾电子邮件得分指示所接收到的电子邮件是垃圾电子邮件的似然性。
5.根据权利要求4所述的方法，还包括：通过从接收电子邮件的用户处接收选票来更新所述数据库，其中每个选票指示所述用户将所述电子邮件当作垃圾电子邮件还是非垃圾电子邮件。
6.根据权利要求5所述的方法，还包括：当存储IP地址时组合所述IP地址的各部分。
7.根据权利要求6所述的方法，还包括：当训练所述数据库时聚集IP地址。
8.根据权利要求1所述的方法，还包括：在以最近地址开始评价每个地址之后，累积经加权的平均值，并且与仅仅从其他邻近地址所获得的那些相比将更多的权重给予精确的数据库匹配。
9.根据权利要求1所述的方法，还包括：检测和去除虚假信息，和作为整体提供关于该消息的得分。
10.根据权利要求1所述的方法，还包括：对由所述电子邮件消息所跟随的所述网络路径应用可信性函数。
11.根据权利要求1所述的方法，还包括：对由所述电子邮件消息所跟随的所述网络路径应用关系函数。
12.根据权利要求11所述的方法，其中应用所述可信性函数的所述步骤包括：分离地考虑所述网络路径中的每个节点；确定针对每个节点的初步可信性；使用所述初步可信性，和所述路径中一个或多个其他节点的可信性，来确定该节点的可信性。
13.根据权利要求11所述的方法，其中确定所述初步可信性的所述步骤包括对之前由每个节点所发送的每个分类的消息的频率进行计数。
14.根据权利要求7所述的方法，其中聚集IP地址是基于域所有者关系的。
15.根据权利要求11所述的方法，其中至少一个节点由其IP地址表示。
16.根据权利要求11所述的方法，其中由所述网关计算机的DNS名表示至少一个节点。
17.根据权利要求12所述的方法，其中使用所述初步可信性的所述步骤包括检查从最近到最早的所述节点；将不好于所述之前检查的节点的可信性的可信性分配给每个节点。
18.根据权利要求12所述的方法，其中将低可信性给予在所述计数步骤中针对适当计数不具有足够历史的节点。
19.一种信息处理系统，包括：
处理器，配置来：
接收包括多个分组和传输路径信息的电子邮件消息；
使用所述传输路径信息来确定针对所述电子邮件的路径；
将所述路径与多个之前电子邮件路径进行比较；
确定所接收到的所述电子邮件的所述路径和多个之前电子邮件路径中的一个或多个之间的相似性度量；和
根据所述相似性度量来确定针对接收到的所述电子邮件的垃圾电子邮件得分。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US11/347,492 US7475118B2 (en) | 2006-02-03 | 2006-02-03 | Method for recognizing spam email |
| US11/347,492 | 2006-02-03 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN101014020A true CN101014020A (zh) | 2007-08-08 |
Family
ID=38335285
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNA2007100047597A Pending CN101014020A (zh) | 2006-02-03 | 2007-01-30 | 用于识别垃圾电子邮件的方法和系统 |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US7475118B2 (zh) |
| CN (1) | CN101014020A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109328448A (zh) * | 2016-06-13 | 2019-02-12 | 微软技术许可有限责任公司 | 基于网络流数据的垃圾邮件分类系统 |
| CN109474509A (zh) * | 2017-09-07 | 2019-03-15 | 北京二六三企业通信有限公司 | 垃圾邮件的识别方法和装置 |
Families Citing this family (79)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7756930B2 (en) * | 2004-05-28 | 2010-07-13 | Ironport Systems, Inc. | Techniques for determining the reputation of a message sender |
| US7849142B2 (en) * | 2004-05-29 | 2010-12-07 | Ironport Systems, Inc. | Managing connections, messages, and directory harvest attacks at a server |
| US7873695B2 (en) * | 2004-05-29 | 2011-01-18 | Ironport Systems, Inc. | Managing connections and messages at a server by associating different actions for both different senders and different recipients |
| US7917588B2 (en) * | 2004-05-29 | 2011-03-29 | Ironport Systems, Inc. | Managing delivery of electronic messages using bounce profiles |
| US7748038B2 (en) * | 2004-06-16 | 2010-06-29 | Ironport Systems, Inc. | Method and apparatus for managing computer virus outbreaks |
| US7552186B2 (en) * | 2004-06-28 | 2009-06-23 | International Business Machines Corporation | Method and system for filtering spam using an adjustable reliability value |
| US8175889B1 (en) | 2005-04-06 | 2012-05-08 | Experian Information Solutions, Inc. | Systems and methods for tracking changes of address based on service disconnect/connect data |
| US7908242B1 (en) | 2005-04-11 | 2011-03-15 | Experian Information Solutions, Inc. | Systems and methods for optimizing database queries |
| WO2006119506A2 (en) * | 2005-05-05 | 2006-11-09 | Ironport Systems, Inc. | Method of validating requests for sender reputation information |
| US20070283440A1 (en) * | 2006-05-03 | 2007-12-06 | Anchiva Systems, Inc. | Method And System For Spam, Virus, and Spyware Scanning In A Data Network |
| US20080028029A1 (en) * | 2006-07-31 | 2008-01-31 | Hart Matt E | Method and apparatus for determining whether an email message is spam |
| US8527592B2 (en) | 2006-10-31 | 2013-09-03 | Watchguard Technologies, Inc. | Reputation-based method and system for determining a likelihood that a message is undesired |
| US8135607B2 (en) * | 2006-11-03 | 2012-03-13 | Experian Marketing Solutions, Inc. | System and method of enhancing leads by determining contactability scores |
| US8027871B2 (en) * | 2006-11-03 | 2011-09-27 | Experian Marketing Solutions, Inc. | Systems and methods for scoring sales leads |
| US8577968B2 (en) | 2006-11-14 | 2013-11-05 | Mcafee, Inc. | Method and system for handling unwanted email messages |
| US8606666B1 (en) | 2007-01-31 | 2013-12-10 | Experian Information Solutions, Inc. | System and method for providing an aggregation tool |
| US10110530B2 (en) | 2007-02-02 | 2018-10-23 | Iconix, Inc. | Authenticating and confidence marking e-mail messages |
| US7975301B2 (en) * | 2007-03-05 | 2011-07-05 | Microsoft Corporation | Neighborhood clustering for web spam detection |
| US8285656B1 (en) | 2007-03-30 | 2012-10-09 | Consumerinfo.Com, Inc. | Systems and methods for data verification |
| US7742982B2 (en) | 2007-04-12 | 2010-06-22 | Experian Marketing Solutions, Inc. | Systems and methods for determining thin-file records and determining thin-file risk levels |
| US8082306B2 (en) * | 2007-07-25 | 2011-12-20 | International Business Machines Corporation | Enterprise e-mail blocking and filtering system based on user input |
| US20090037546A1 (en) * | 2007-08-02 | 2009-02-05 | Abaca Technology | Filtering outbound email messages using recipient reputation |
| US7783597B2 (en) * | 2007-08-02 | 2010-08-24 | Abaca Technology Corporation | Email filtering using recipient reputation |
| US20090150497A1 (en) * | 2007-12-06 | 2009-06-11 | Mcafee Randolph Preston | Electronic mail message handling and presentation methods and systems |
| US8745731B2 (en) * | 2008-04-03 | 2014-06-03 | Microsoft Corporation | Clustering botnet behavior using parameterized models |
| US7801961B2 (en) | 2008-05-09 | 2010-09-21 | Iconix, Inc. | E-mail message authentication and marking extending standards complaint techniques |
| US8108323B2 (en) * | 2008-05-19 | 2012-01-31 | Yahoo! Inc. | Distributed spam filtering utilizing a plurality of global classifiers and a local classifier |
| US8312033B1 (en) | 2008-06-26 | 2012-11-13 | Experian Marketing Solutions, Inc. | Systems and methods for providing an integrated identifier |
| US20100030865A1 (en) * | 2008-07-31 | 2010-02-04 | International Business Machines Corporation | Method for Prioritizing E-mail Messages Based on the Status of Existing E-mail Messages |
| US8826450B2 (en) * | 2008-09-19 | 2014-09-02 | Yahoo! Inc. | Detecting bulk fraudulent registration of email accounts |
| WO2010038143A1 (en) * | 2008-10-01 | 2010-04-08 | Network Box Corporation Limited | Electronic communication control |
| US8468601B1 (en) * | 2008-10-22 | 2013-06-18 | Kaspersky Lab, Zao | Method and system for statistical analysis of botnets |
| US8416933B2 (en) * | 2008-10-30 | 2013-04-09 | International Business Machines Corporation | Trusted environment for communication between parties |
| US20100313253A1 (en) * | 2009-06-09 | 2010-12-09 | Walter Stanley Reiss | Method, system and process for authenticating the sender, source or origin of a desired, authorized or legitimate email or electrinic mail communication |
| US8959157B2 (en) * | 2009-06-26 | 2015-02-17 | Microsoft Corporation | Real-time spam look-up system |
| US8364518B1 (en) | 2009-07-08 | 2013-01-29 | Experian Ltd. | Systems and methods for forecasting household economics |
| US20110137760A1 (en) * | 2009-12-03 | 2011-06-09 | Rudie Todd C | Method, system, and computer program product for customer linking and identification capability for institutions |
| US8381291B2 (en) * | 2009-12-10 | 2013-02-19 | At&T Intellectual Property I, L.P. | Methods, systems, and computer program products for mitigating email address harvest attacks by positively acknowledging email to invalid email addresses |
| US8370902B2 (en) * | 2010-01-29 | 2013-02-05 | Microsoft Corporation | Rescuing trusted nodes from filtering of untrusted network entities |
| US9098459B2 (en) * | 2010-01-29 | 2015-08-04 | Microsoft Technology Licensing, Llc | Activity filtering based on trust ratings of network |
| US8910279B2 (en) | 2010-03-10 | 2014-12-09 | Sonicwall, Inc. | Reputation-based threat protection |
| US8725613B1 (en) | 2010-04-27 | 2014-05-13 | Experian Information Solutions, Inc. | Systems and methods for early account score and notification |
| AU2011279556A1 (en) | 2010-07-16 | 2013-02-14 | First Wave Technology Pty Ltd | Methods and systems for analysis and/or classification of information |
| US8639616B1 (en) | 2010-10-01 | 2014-01-28 | Experian Information Solutions, Inc. | Business to contact linkage system |
| US9147042B1 (en) | 2010-11-22 | 2015-09-29 | Experian Information Solutions, Inc. | Systems and methods for data verification |
| US20120167174A1 (en) * | 2010-12-27 | 2012-06-28 | Microsoft Corporation | Trusted email sender indicators |
| US8495737B2 (en) | 2011-03-01 | 2013-07-23 | Zscaler, Inc. | Systems and methods for detecting email spam and variants thereof |
| CN102655480B (zh) * | 2011-03-03 | 2015-12-02 | 腾讯科技（深圳）有限公司 | 相似邮件处理系统和方法 |
| AU2012281182B2 (en) | 2011-07-12 | 2015-07-09 | Experian Information Solutions, Inc. | Systems and methods for a large-scale credit data processing architecture |
| US8631244B1 (en) | 2011-08-11 | 2014-01-14 | Rockwell Collins, Inc. | System and method for preventing computer malware from exfiltrating data from a user computer in a network via the internet |
| US9442881B1 (en) | 2011-08-31 | 2016-09-13 | Yahoo! Inc. | Anti-spam transient entity classification |
| US9059853B1 (en) | 2012-02-22 | 2015-06-16 | Rockwell Collins, Inc. | System and method for preventing a computing device from obtaining unauthorized access to a secure network or trusted computing environment |
| US8661246B1 (en) | 2012-04-09 | 2014-02-25 | Rockwell Collins, Inc. | System and method for protecting certificate applications using a hardened proxy |
| US9356948B2 (en) | 2013-02-08 | 2016-05-31 | PhishMe, Inc. | Collaborative phishing attack detection |
| US9697263B1 (en) | 2013-03-04 | 2017-07-04 | Experian Information Solutions, Inc. | Consumer data request fulfillment system |
| US9634970B2 (en) * | 2013-04-30 | 2017-04-25 | Cloudmark, Inc. | Apparatus and method for augmenting a message to facilitate spam identification |
| CN104158792A (zh) * | 2013-05-14 | 2014-11-19 | 中兴通讯股份有限公司 | 一种垃圾僵尸检测方法及系统 |
| GB2520044A (en) * | 2013-11-07 | 2015-05-13 | Clearswift Ltd | Policy enforcement |
| US10102536B1 (en) | 2013-11-15 | 2018-10-16 | Experian Information Solutions, Inc. | Micro-geographic aggregation system |
| US9584989B2 (en) | 2013-11-25 | 2017-02-28 | At&T Intellectual Property I, L.P. | System and method for crowd-sourcing mobile messaging spam detection and defense |
| US9529851B1 (en) | 2013-12-02 | 2016-12-27 | Experian Information Solutions, Inc. | Server architecture for electronic data quality processing |
| US10262362B1 (en) | 2014-02-14 | 2019-04-16 | Experian Information Solutions, Inc. | Automatic generation of code for attributes |
| US11301492B1 (en) * | 2014-03-20 | 2022-04-12 | Amazon Technologies, Inc. | Network address range storage and retrieval |
| JP6262093B2 (ja) * | 2014-07-29 | 2018-01-17 | Kddi株式会社 | リスト作成装置、リスト作成方法及びコンピュータプログラム |
| TWI544764B (zh) * | 2014-11-17 | 2016-08-01 | 緯創資通股份有限公司 | 垃圾郵件判定方法及其郵件伺服器 |
| US9906539B2 (en) | 2015-04-10 | 2018-02-27 | PhishMe, Inc. | Suspicious message processing and incident response |
| US9954804B2 (en) | 2015-07-30 | 2018-04-24 | International Business Machines Coporation | Method and system for preemptive harvesting of spam messages |
| US10447633B2 (en) * | 2015-09-25 | 2019-10-15 | Amit Gupta | Method and system for optimizing and preventing failure of sender policy framework (SPF) lookups |
| CN105871975A (zh) * | 2015-11-17 | 2016-08-17 | 乐视云计算有限公司 | 选择回源服务器的方法及装置 |
| US10200396B2 (en) * | 2016-04-05 | 2019-02-05 | Blackberry Limited | Monitoring packet routes |
| US10122661B2 (en) | 2016-06-10 | 2018-11-06 | Salesforce.Com, Inc. | Messaging systems and methods that employ a blockchain to ensure integrity of message delivery |
| WO2018144612A1 (en) | 2017-01-31 | 2018-08-09 | Experian Information Solutions, Inc. | Massive scale heterogeneous data ingestion and user resolution |
| US10963434B1 (en) | 2018-09-07 | 2021-03-30 | Experian Information Solutions, Inc. | Data architecture for supporting multiple search models |
| RU2750643C2 (ru) * | 2019-07-17 | 2021-06-30 | Акционерное общество "Лаборатория Касперского" | Способ признания письма спамом через анти-спам карантин |
| US11941065B1 (en) | 2019-09-13 | 2024-03-26 | Experian Information Solutions, Inc. | Single identifier platform for storing entity data |
| US11363060B2 (en) | 2019-10-24 | 2022-06-14 | Microsoft Technology Licensing, Llc | Email security in a multi-tenant email service |
| US11050698B1 (en) * | 2020-09-18 | 2021-06-29 | Area 1 Security, Inc. | Message processing system with business email compromise detection |
| US11743282B1 (en) * | 2020-09-24 | 2023-08-29 | Amazon Technologies, Inc. | Enhanced cloud-based entity reputation scoring |
| US11880377B1 (en) | 2021-03-26 | 2024-01-23 | Experian Information Solutions, Inc. | Systems and methods for entity resolution |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5910767A (en) * | 1997-07-11 | 1999-06-08 | Laser Guard | Intruder detector system |
| US6917288B2 (en) * | 1999-09-01 | 2005-07-12 | Nettalon Security Systems, Inc. | Method and apparatus for remotely monitoring a site |
| US20070008099A1 (en) * | 1999-09-01 | 2007-01-11 | Nettalon Security Systems, Inc. | Method and apparatus for remotely monitoring a site |
| US20050091319A1 (en) * | 2003-10-09 | 2005-04-28 | Kirsch Steven T. | Database for receiving, storing and compiling information about email messages |
| US20050091320A1 (en) * | 2003-10-09 | 2005-04-28 | Kirsch Steven T. | Method and system for categorizing and processing e-mails |
| US20050080857A1 (en) * | 2003-10-09 | 2005-04-14 | Kirsch Steven T. | Method and system for categorizing and processing e-mails |
| US7366761B2 (en) * | 2003-10-09 | 2008-04-29 | Abaca Technology Corporation | Method for creating a whitelist for processing e-mails |
| US7206814B2 (en) * | 2003-10-09 | 2007-04-17 | Propel Software Corporation | Method and system for categorizing and processing e-mails |
| US7272853B2 (en) * | 2003-06-04 | 2007-09-18 | Microsoft Corporation | Origination/destination features and lists for spam prevention |
| US7290035B2 (en) * | 2003-12-29 | 2007-10-30 | George P. Mattathil | Email sender verification system |
| US7580981B1 (en) * | 2004-06-30 | 2009-08-25 | Google Inc. | System for determining email spam by delivery path |
| US8050984B2 (en) * | 2007-07-13 | 2011-11-01 | Sunrise R&D Holdings, Llc | Systems of influencing shopper's product selection at the first moment of truth based upon a shopper's location in a retail establishment |
| US7792710B2 (en) * | 2007-09-21 | 2010-09-07 | Sunrise R&D Holdings, Llc | Methods of influencing shoppers at the first moment of truth in a retail establishment |
| US8346474B2 (en) * | 2008-08-28 | 2013-01-01 | Honeywell International Inc. | Method of route retrieval |
-
2006
- 2006-02-03 US US11/347,492 patent/US7475118B2/en not_active Expired - Fee Related
-
2007
- 2007-01-30 CN CNA2007100047597A patent/CN101014020A/zh active Pending
-
2008
- 2008-12-15 US US12/335,339 patent/US8549081B2/en not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109328448A (zh) * | 2016-06-13 | 2019-02-12 | 微软技术许可有限责任公司 | 基于网络流数据的垃圾邮件分类系统 |
| CN109328448B (zh) * | 2016-06-13 | 2021-02-19 | 微软技术许可有限责任公司 | 基于网络流数据的垃圾邮件分类系统 |
| CN109474509A (zh) * | 2017-09-07 | 2019-03-15 | 北京二六三企业通信有限公司 | 垃圾邮件的识别方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US7475118B2 (en) | 2009-01-06 |
| US8549081B2 (en) | 2013-10-01 |
| US20070185960A1 (en) | 2007-08-09 |
| US20090094342A1 (en) | 2009-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101014020A (zh) | 用于识别垃圾电子邮件的方法和系统 | |
| EP2446411B1 (en) | Real-time spam look-up system | |
| US9501746B2 (en) | Systems and methods for electronic message analysis | |
| US7660865B2 (en) | Spam filtering with probabilistic secure hashes | |
| EP1877904B1 (en) | Detecting unwanted electronic mail messages based on probabilistic analysis of referenced resources | |
| US9154514B1 (en) | Systems and methods for electronic message analysis | |
| Jung et al. | An empirical study of spam traffic and the use of DNS black lists | |
| US7689652B2 (en) | Using IP address and domain for email spam filtering | |
| US7665131B2 (en) | Origination/destination features and lists for spam prevention | |
| US7921063B1 (en) | Evaluating electronic mail messages based on probabilistic analysis | |
| US8635690B2 (en) | Reputation based message processing | |
| US20060168017A1 (en) | Dynamic spam trap accounts | |
| CN101247406A (zh) | 用全球情报进行本地信息分类的方法及垃圾邮件检测系统 | |
| US8205264B1 (en) | Method and system for automated evaluation of spam filters | |
| CN101471897A (zh) | 对电子通讯中可能的错误拼写地址的启发性检测方法 | |
| CN101299729B (zh) | 一种基于拓扑行为的垃圾邮件判定方法 | |
| Leiba et al. | SMTP Path Analysis. | |
| Gonzalez-Talavan | A simple, configurable SMTP anti-spam filter: Greylists | |
| WO2018167755A2 (en) | Method and system for creating and maintaining quality in email address list | |
| Jamnekar et al. | Review on Effective Email Classification for Spam and Non Spam Detection on Various Machine Learning Techniques | |
| Nandi et al. | AN HIERARCHICAL ANOMALY DETECTION SYSTEM FOR SECURING EMAIL SYSTEMS |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Open date: 20070808 |