CN1801854A - 不想要的消息(垃圾消息)的检测 - Google Patents

Abstract

在电信网络中，用于阻塞不想要的消息(垃圾消息)的方法和设备。消息首先通过使用规则和数据表的快速处理进行检查，以确定消息能被传递还是可能是垃圾消息。如果该消息可能是垃圾消息，则通过深层处理分析该消息内容。有利的是，大多数消息能够很快被传递或阻塞，且只有不能被快速处理分类的少数消息才需要大量数据处理。

Description

不想要的消息(垃圾消息)的检测

技术领域

在电信网络中，本发明涉及一种用于分析消息以检测不想要的消息(垃圾消息(spam))的方法和设备。

背景技术

随着因特网的出现，发送者容易以极低的成本或没有成本地将消息发送到大量的目的地。这些信息包括短消息业务的短消息。这些消息包括令消息接收者讨厌的未经请求的和不想要的消息(垃圾消息)，接收者必须将这些消息清理并确定它们是否重要。此外，它们对用于发送这些消息的电信网络的载体也是个麻烦，不仅因为它们带来了与那些恼怒于垃圾消息泛滥的客户之间的客户关系问题，而且因为通常毫无收益的这些消息占用了网络资源。以下两个统计量说明了这个问题的严重性。在中国，2003年，通过中国电信网络发送了两万亿条短消息业务(SMS)消息；在这些消息中，估计四分之三为垃圾消息。第二个统计量是在美国估计有85-90％的电子邮件为垃圾邮件。

已经提出了多种方案且许多方案被实现用于删减发送的垃圾消息的数量。已经提出了各种方案用于在发送消息之前对其进行分析。依据一种方案，如果主叫方不是由被叫方指定的预选组中的一个，则该消息被阻塞。还可以通过允许被叫方指定消息不能发往超过多于N个目的地来拦截垃圾消息信息。

被叫方可以拒绝公开他/她的电话号码或者电子邮件地址。除了不允许主叫查询被叫方的电话号码或者电子邮件地址这个明显缺点之外，这些方案可能不能达到预期效果。精明的电脑黑客可以从IP网络检测到未登记的(unlisted)电子邮件地址，例如，通过在路由器上监视消息头部。未登记的被叫号码只不过引起主叫发送消息到一个局名代码的10000个电话号码；如上所提及的，利用当前方案非常容易发送消息到多个目的地。

检测一个特定消息是否为垃圾消息的实际过程通常非常复杂，并且要占用网络的大量处理能力。这可能限制网络的吞吐量。

发明内容

申请人仔细地分析了检测垃圾消息的过程。他们创新地认识到，对于许多垃圾消息，该检测过程是相对直接的，而对于其它一些垃圾消息则非常复杂。因为复杂的分析对于检测垃圾消息的新的产生器通常是很重要的，这些复杂的情况不能被简单地忽略。申请人依据他们的发明对现有技术作出了贡献，其中分析消息以确定它们是否为垃圾消息的过程是包括两个或多个阶段的过程，其中如果完成了对一个消息是垃圾消息还是不是垃圾消息的直接识别，则避免了随后的处理。对于快速阶段，到来消息被快速筛选(screen)，并以最小延迟将清理出的消息向下游发送；检测到的垃圾消息被阻塞，而且少数可疑(匿名)消息被发送到第二阶段进行深层分析。第一阶段可能没有大的数据库来保存垃圾消息，但是有一个小型数据库来保存筛选规则和标准。第二阶段或深层阶段执行基于内容的分析和筛选，并具有一个大型数据库来存储好的和坏的消息。第二阶段包含具有一种用以识别垃圾消息的信息模型的自我训练分析引擎。第二阶段延迟其分析的非垃圾消息的传输。有利的是，大量的消息能够被迅速地分析并归类为垃圾消息或非垃圾消息，而剩余的消息能够进行深层分析。

附图说明

图1是示意了申请人的发明的操作的状态和状态转移图。

图2是网络级反垃圾消息应用的结构图；以及

图3是快速处理和深层处理单元之间的互连图。

具体实施方式

图1是示意了申请人的发明的操作的状态和状态转移图。这个基于规则的多步骤垃圾消息检测概念和体系结构可以被广泛用于为SMS或电子邮件检测垃圾消息的应用中，而且也可应用于无线，有线和因特网协议网络中。反垃圾消息应用可以是网络中用以拦截到来消息和过滤垃圾消息的独立实体。其还可以安装在SMS中心(SMSC)，因特网协议路由器、电子邮件服务器、网关或者是位置服务器中。规则引擎数据库中的反垃圾消息过滤标准和规则可以由服务提供者或终端用户提供、查看、搜索和更新。

一个反垃圾消息应用可以用一组快速和深层处理规则引擎；仅一个快速规则引擎；仅一个深层规则引擎；多个快速处理规则引擎；多个快速处理规则引擎和一个深层处理规则引擎来实现。一个网络可以具有包含快速和深层规则引擎的组合的多个反垃圾消息应用。

规则引擎数据库可以是集中式的(与网络中的所有规则引擎共享)或分布式的(每个规则引擎都有其自己的数据库)或者可以使用集中和分布式数据库的组合。例如，在一个特定网络中，所有的快速规则引擎可以是分布式的并且所有深层处理规则引擎共享一个集中数据库；分析人员可以容易地访问规则引擎和数据库以获得垃圾消息建议和更新规则。在图1的系统中，所述应用将提取头部和内容信息并将两者与数据库中的数据进行比较以对任何到来消息进行垃圾消息检查(转移1到快速处理系统50)。该快速处理随后调用请求分析缓冲消息的规则引擎(步骤2进入处理51)。处理51是一个基于过滤器的规则处理和用以支持这种处理的数据。处理51基于一些规则执行其功能，这些规则对诸如黑/白列表，发送者/接收者地址，网络标识，在给定时间周期内接收的类似消息的数量，在给定时间周期内由一个源发送的类似消息的数量之类的过滤器数据进行操作。来自规则引擎51的响应在步骤3被发送回快速处理。步骤4是内部处理，即，一个没有转移且响应在步骤3中接收的消息执行的处理。在步骤4中，快速处理为被规则引擎51标记的消息分配可疑级别。如果一个消息没有被标记，则在步骤5中，快速处理将其转发到一个网络中继消息单元52以转发到目的地。所述中继消息单元可以位于反垃圾消息应用之内或者之外。

如果分配给一个消息的聚集可疑级别超过一个预定阈值，则该快速处理将其发送到垃圾消息数据库53进行存储，以期对其进行法定处理并被法定管理机构使用。在步骤6中快速处理发送该消息。在步骤7中，快速处理将用于更新待分析的新消息和剩余消息的数量的信息发送到基于过滤器的规则处理51。

如果快速处理为消息分配的聚集可疑级别没有超过该预定阈值，其将在步骤8中通过向深层分析处理54发送到可疑消息的指针来警告深层分析处理54。深层处理54从缓冲器53中提取出该消息连同相关标识并发送一个请求到基于分析的规则引擎55以执行进一步的垃圾消息检查(步骤9)。执行深层处理的规则引擎将运行深层分析，主要基于消息类型和内容，并在步骤10中将结果发送回深层处理54。深层处理54随后在内部步骤11中确定该消息是否为垃圾消息。如果确认该消息是“清洁的”，深层处理将其转发到中继消息单元52(步骤12)。如果确认该消息为垃圾消息，则深层处理在步骤13中将该垃圾消息发送到垃圾消息存储器53。

如果深层处理确定需要更新快速处理的过滤器数据，则其发送一个带有更新请求的命令到快速处理数据库(步骤14)，和/或如果深层处理确定需要更新深层处理过滤器数据，则其发送一个带有更新请求的命令到基于分析的规则处理和数据功能55(步骤15)。如果深层处理功能不能作出决定，则该可疑消息或相关索引信息(用于隐私保护)被发送到分析人员56以推荐到深层处理(步骤16)。分析人员检查该消息或索引信息并推荐到深层处理54(步骤19)。在接收到分析人员的推荐之后，深层处理进一步处理深层处理54内部的垃圾消息检查(步骤20)。如果该消息被清理(clear)，则被发送到中继消息单元(步骤21)。如果该消息被认为是垃圾消息，则被发送到存储数据库53(步骤22)。中继消息将被清理的消息发送到一个互配的网络单元，从此发送到最终的终端地址(步骤23)并返回一个确认给消息始发节点。

要注意的是，甚至这里也有几个决策点，可以对消息进行进一步测试以确定该消息是否为垃圾消息。最初测试为测试4而随后的测试包括测试11和测试20。人工监管在执行其分析之后能够发送附加的输入以被基于过滤器的规则处理51和/或基于分析的规则处理55的数据库使用。

图2是示意申请人的发明的操作的更为详细的流程图和框图。图2专门针对短消息业务应用。图2有三个主要功能块：反垃圾消息控制功能201，反垃圾消息数据功能202，和反垃圾消息管理功能203。如同将在以下看到的，消息在这些单元之间流动。到来消息包括信令系统7网络(包括公众交换电话网络和移动电话网络)消息和因特网协议消息以及短消息对等协议消息。所有这些消息都进入到来消息过滤器211，该过滤器滤出非SMS消息并将这些消息发送到中继单元212。中继单元将SS7网络的消息转发到网络213以及将因特网协议消息转发到IP网络214。

剩余SMS消息被发送到垃圾消息检查单元221。该单元执行所有可以被快速完成的检查，以确保执行深层分析的反垃圾消息数据功能单元202不会过载。由垃圾消息规则引擎231执行的检查，是用于确定源目的地对是代表其消息将被允许、阻塞还是可疑的一对的检查。另外，垃圾消息规则引擎231也可用于滤出其中一个源发送相同的消息到几百或几千个目的地的大量垃圾消息的情况。垃圾消息检查单元利用垃圾消息规则引擎231，依照用于检测诸如存储在计数器表和规则集合中的源目的地、允许/阻塞表的垃圾消息和数据的规则来过滤可能的垃圾消息(块233)。计数器表和规则集合块部分地被通过管理系统和/或反垃圾消息数据功能、深层分析单元所识别的最新发现的垃圾消息类型占据。例如，这些单元中的任何一个可能检测到突然涌出的主题为“彩票”、试图通过虚假彩票报告来欺骗消息接收者的消息。

如上所指出的，用于反垃圾消息控制功能单元中执行的测试类型的主要标准是可以执行这些功能的速度。需要大量分析以确定一个特定消息是垃圾消息还是可允许的功能不能通过反垃圾消息控制功能执行，这是因为该单元对业务量很灵敏；这些功能或者必须通过反垃圾消息数据功能202执行，或者该消息被任意阻塞或通过。如果垃圾消息检查单元221决定可以发送消息，则该消息被发送到短消息业务中继223，其又将该消息传递到短消息业务中心225，由此该消息可以被发送到目的地。

如果垃圾消息检查单元221判定一个消息是可疑的并且应通过反垃圾消息数据功能单元202进行进一步分析，则该消息被发送到缓冲器241。如果该消息已经被识别为垃圾消息，则其被直接传递到消息存储单元249。

可疑消息被传递到垃圾消息分析引擎243，在此它们与信息模型245进行比较。该信息模型访问数据和规则集247的数据库以确定接收的消息是否为垃圾消息。如果垃圾消息分析引擎243确定该消息不是垃圾消息，则包含该消息的缓冲器241的内容被发送回中继单元223，由此该消息被发送到短消息业务中心225或电子邮件服务器(未示出)以传输到目的地。如果垃圾消息分析引擎确定该消息为垃圾消息，则将其发送到消息存储器249以通过管理单元203进行可能的分析。消息存储单元249与管理部门的存储管理器251通信以使适当的消息引起人工分析中的分析人员的注意(块253)，而且如果该消息不再值得保留，则允许消息存储器249清除该消息。人工分析中的分析人员(块253)可能检测到已经找到一种新类别的垃圾消息或者先前被忽视的旧类别突然重复出现的情况。在任何一种情况下，数据提供(块255)初始化数据和规则集数据库247中的另外规则集，并且，在适当的情况下，还可以初始化计数器表和规则集233中的另外规则集。

申请人的发明的目的不是讲授新的垃圾消息检测规则。申请人的发明的目的是讲授如何最有效地实施垃圾消息检测规则，以便实现阻塞大部分垃圾消息，快速发送非垃圾消息，以及快速检测新垃圾消息情况这些有点冲突的目标。

为了满足申请人的尽可能快地执行反垃圾消息控制功能以使消息延迟最小化的目的，在申请人的优选实施例中，在反垃圾消息控制功能(快速处理)中执行下列功能：

对照发送者源检查允许(白列表)和阻塞(黑列表)。也可检查源/目的地对，但是对源的检查是最有用的。依据源的网络地址信息校验发送者源。查看消息的数量是否超过对该源的限制。这包括更新来自各个源的消息数量的计数器并将其与存储在反垃圾消息功能控制中的限制进行比较。进行检查以检测指示垃圾消息模式的消息突发，例如，在一个消息突发中，大量的消息将被发送到相邻终端方。对指示诸如成人内容的模式的特定关键字或短语进行简要的检查。个别用户可以提供适合他们的应用的特定垃圾消息规则。反垃圾消息控制功能将好的消息中继到目的地，将垃圾消息转发到垃圾消息数据库，并将可疑消息转发到反垃圾消息数据功能。

反垃圾消息数据功能缓冲可疑消息并分析这些消息以便为每个消息积累计分。计分高于某一阈值则被视为垃圾消息而计分低于这一阈值则被视为好的消息并被转发到目的地。另外，不确定的可疑消息将被转发到管理部门用于人工分析。

反垃圾消息数据功能还具有自学能力。有大量的存储器可用于存储垃圾消息。这些消息可被进行模式分析以试图改进规则。例如，如果在h小时的周期内出现在其文本中具有一特定模式的多于n个垃圾消息，则用于检测这种消息的规则可以自动插入反垃圾消息数据功能的规则数据库中。如果检测到出现多于P个模式，则所述规则可以插入到反垃圾消息控制功能中。可以使这些自学规则的添加受到管理功能中的操作员的许可。

图3是示意申请人的发明的一个优选实施例的方框图。一组反垃圾消息控制功能单元310，311，312，313，…，314从因特网协议网络301和SS7网络303接收消息以及向其发送消息。这些单元通过因特网协议连接被连接到反垃圾消息数据功能单元320，出于可靠性考虑，反垃圾消息数据功能单元320被安排为对321，322。反垃圾消息数据功能单元与服务部门330连接以通过人工操作员进行进一步分析。反垃圾消息控制功能单元执行快速反垃圾消息检查并将非SMS消息和被清理的SMS消息发送回信令7或因特网协议网络以被转发到消息目的地。提供足够的反垃圾消息控制功能单元，使得如果多达K个反垃圾消息控制功能单元失败，该系统仍能工作。通过简单的复制提供反垃圾消息数据功能的可靠性。

通过反垃圾消息数据功能的垃圾消息内容分析来分析好的邮件消息和垃圾消息，以更新反垃圾消息数据功能中的分析信息模型，并更新规则和计数器以供反垃圾消息控制功能使用。这些被更新的规则和计数器被分配给各个反垃圾消息控制功能。因此，除了由反垃圾消息数据功能处的操作员对规则和计数器作出的更改之外，这些系统还成为自训系统。

以上描述是申请人发明的一个优选实施例。其它实施例对本领域的普通技术人员都是显而易见的，而不偏离本发明的范围。本发明仅受所附的权利要求书的限制。

Claims (8)

1.在电信网络中，一种用于检测不想要的消息(垃圾消息)的方法，包括以下步骤：

发送消息到垃圾消息检测系统；

在所述垃圾消息检测系统的快速处理系统中接收消息，所述快速处理系统利用规则和数据表来确定所述消息是垃圾消息还是非垃圾消息；

如果在所述快速处理系统中确定所述消息为非垃圾消息，则向目的地发送所述消息；

如果在所述快速处理系统中确定所述消息可能为垃圾消息，则发送所述消息到深层处理以分析消息内容；

基于由所述深层处理对所述消息内容的分析，确定所述消息是否为垃圾消息；以及

如果所述消息可能为垃圾消息，则阻塞所述消息向目的地发送。

2.根据权利要求1所述的方法，其中所述深层处理系统还执行以下步骤：

检测垃圾消息的新模式；以及

响应所述检测，更新所述处理的规则。

3.根据权利要求1所述的方法，还包括以下步骤：

如果所述深层处理系统不能确定消息是否为垃圾消息，则将所述消息转发到服务部门以由人工操作员进行分析。

4.根据权利要求3所述的方法，还包括以下步骤：

所述人工操作员修改所述快速处理的规则。

5.在电信网络中，用于检测不想要的消息(垃圾消息)的设备，包括：

用于发送消息到垃圾消息检测系统的装置；

用于在所述垃圾消息检测系统的快速处理系统中接收消息的装置，所述快速处理系统使用规则和数据表来确定所述消息是垃圾消息还是非垃圾消息；

用于在所述快速处理系统中确定所述消息为非垃圾消息并用于向目的地发送所述消息的装置；

在所述快速处理系统中，用于确定所述消息可能为垃圾消息并用于发送所述消息到深层处理以分析消息内容的装置；

用于基于通过所述深层处理对所述消息内容的分析确定所述消息是否为垃圾消息的装置；以及

如果所述消息可能为垃圾消息，用于阻塞所述消息向目的地发送的装置。

6.根据权利要求5所述的设备，其中所述深层处理系统还执行以下功能：

检测垃圾消息的新模式；以及

响应所述检测，更新所述处理的规则。

7.根据权利要求5所述的设备，还包括：

用于如果所述深层处理系统不能确定消息是否为垃圾消息，则转发所述消息到服务部门以由人工操作员进行分析的装置。

8.根据权利要求7所述的设备，还包括：

用于允许所述人工操作员修改所述快速处理的规则的装置。

Images