CN101075980A - 对通讯系统中的通讯信息进行过滤的方法和过滤系统 - Google Patents

Abstract

本发明公开了一种对通讯系统中的通讯信息进行过滤的方法和过滤系统，系统包括：后台管理模块，用于提供输入设置接口，接受设置指令；数据库，用于存储设置信息；以及前台过滤模块，用于具体的过滤操作。所述方法包括：预设阀值、关键字、正则表达式，以及关键字和正则表达式对应的分值；利用预设的关键字和正则表达式匹配当前通讯信息的内容，如果通讯信息与预设的关键字和正则表达式匹配，则获取与该关键字和正则表达式对应的分值；将获取的分值相加获得总分值，比较该总分值和所述的阀值，在总分值大于或等于所述阀值时，过滤所述通讯信息。利用本发明，可以降低对过滤信息的漏判率和误判率。

Description

对通讯系统中的通讯信息进行过滤的方法和过滤系统

技术领域

本发明涉及通讯信息处理技术，尤其涉及对通讯系统中的通讯信息进行过滤的方法和过滤系统。

背景技术

近年来，通讯技术的有了飞速的发展，各种通讯系统的发明使用大大方便了人们的相互交流。例如有线、无线电话系统，互联网系统等可以非常方便地收发通讯信息。

但是，在大量的通讯信息中，其中有相当一部分为垃圾信息。例如互联网系统中的网上聊天室是网民在互联网上聚集在一起聊天的虚拟场所，在网上聊天室中，往往充斥着许多聊天室广告，所述聊天室广告为广告发送者作为聊天用户在网上聊天室里通过发送带有广告信息的聊天信息来吸引聊天用户访问，聊天室广告大多带有色情和欺骗性质，大部分属于垃圾信息，并且很多是采用广告发送程序来发送，导致聊天室里广告泛滥，影响正常的聊天秩序。针对这种情况，目前出现了针对聊天室广告的过滤技术，目前采用比较多的是单纯的关键字过滤技术，即通过收集在广告中经常出现的关键词语，针对每一句聊天内容使用关键词语来进行匹配，从而判断是否有这些关键词语在聊天内容中，如果有，就过滤掉这句聊天内容。

现有过滤技术的缺陷在于：

简单的关键字过滤比较容易被绕过，比如一些广告中有“视频聊天”的词，如果把“视频聊天”作为过滤关键字进行过滤，则聊天用户希望邀请其他人进行正常视频聊天的信息就可能被过滤掉，因为这个信息中可能包括“视频聊天”这个词；然而，真正的广告发送者可能把这个词改变成“视屏聊天”，从而避免被过滤。因此，现有的单纯的关键字过滤技术存在着较高的漏判率和误判率。

发明内容

有鉴于此，本发明的主要目的在于提供一种对通讯系统中的通讯信息进行过滤的方法，可以降低对过滤信息的漏判率和误判率。

对应于本发明所提供的一种对通讯系统中的通讯信息进行过滤的方法本发明还提供一种对通讯信息进行过滤的过滤系统，以降低对过滤信息的漏判率和误判率。

为了实现上述发明目的，本发明的主要技术方案为：

一种对通讯系统中的通讯信息进行过滤的方法，该方法包括：

预设阀值、关键字、正则表达式，以及关键字和正则表达式对应的分值；

利用预设的关键字匹配当前通讯信息的内容，如果通讯信息中包括所述关键字则获取该关键字对应的分值；

利用预设的正则表达式匹配所述通讯信息的内容，如果通讯信息中的内容与预设的正则表达式匹配，则获取该正则表达式对应的分值；

将上述获取的分值相加获得总分值，比较该总分值和所述的阀值，在总分值大于或等于所述阀值时，过滤所述通讯信息。

优选地，所述预设的关键字为一个或一个以上，每个关键字都设有对应的分值，不同关键字的分值可以相同或不同。

优选地，所述正则表达式为一个或一个以上，每个正则表达式都设有对应的分值，不同正则表达式的分值可以相同或不同。

优选地，所述分值设置为正数或负数。

优选地，进一步包括：为不同长度的通讯信息对应设置不同的阀值，并对当前通讯信息的长度进行判断，获取该长度对应的阀值，利用该阀值与所述总分值进行比较。

优选地，所述通讯系统为网上聊天室系统，所述通讯信息为网上聊天室中的聊天信息。

一种对通讯信息进行过滤的过滤系统，该系统包括：

后台管理模块，用于提供输入设置接口，接受阀值、关键字、正则表达式，以及关键字和正则表达式对应分值的设置指令；

数据库，用于存储后台管理模块所接受的阀值、关键字、正则表达式，以及关键字和正则表达式对应的分值；

前台过滤模块，具体包括匹配模块，用于读取所述数据库的内容，判断当前通讯信息中是否有与所述关键字和正则表达式匹配的内容，有则获取所匹配的关键字和或正则表达式对应的分值；相加模块，用于将所述匹配模块获取的所有分值相加得到总分值；比较模块，用于比较所述总分值和所述阀值，在总分值大于或等于所述阀值时触发过滤模块过滤所述通讯信息；过滤模块，用于过滤通讯信息。

优选的，不同长度的通讯信息都各自具有对应的阀值，所述前台过滤模块进一步包括判断模块，用于对当前通讯信息的长度进行判断，获取该长度对应的阀值，触发所述比较模块利用该阀值与所述总分值进行比较。

优选的，所述通讯信息为网上聊天室系统中的聊天信息。

优选的，该过滤系统设置在通讯系统的发送端，用于对发送的通讯信息进行过滤；或者，该过滤系统设置在通讯系统的接收端，用于对接收的通讯信息进行过滤；或者，该过滤系统设置在通讯系统的信息中转端，用于对中转的通讯信息进行过滤。

本发明使用关键字和正则表达式权重的分值过滤方式，对总分值超过预定阀值的通讯信息进行过滤，因此能够很好地提高广告过滤的准确性，降低对过滤信息的误判率和漏判率。

本发明所述的过滤方法和系统不再单纯依靠单个的关键字，而是综合了垃圾信息(例如广告)中可能出现的不同的关键字和能够提供垃圾信息特征判断的正则表达式的判断，从而使得垃圾信息的发送者不能简单地饶过(除非把内容很大程度地改变)过滤条件；同时，由于使用正则表达式帮助把垃圾信息中必须出现的联系特征(例如Web网址)辨认出来，大大提高了判断垃圾信息的准确性，从而减少了误判率和漏判率，可以高效地过滤掉垃圾信息，使得通讯系统的用户减少遭受垃圾信息的骚扰。

由于本发明还可以根据内容的好坏将过滤条件例如关键字或正则表达式的分值设置为正值或负值，则可以减少对正常通讯信息的过滤概率，进一步减少了误判率。

附图说明

图1为本发明所述对通讯系统中的通讯信息进行过滤的方法的流程图；

图2为本发明所述对通讯信息进行过滤的过滤系统的结构图。

具体实施方式

下面通过具体实施例和附图对本发明做进一步详细说明。

本发明可以适用于所有通讯系统中的通讯信息的过滤，以下实施例以互联网的网上聊天室系统为例对本发明进行说明，在该实施例中，所述通讯信息为网上聊天室中的聊天信息，需要过滤的垃圾信息为聊天室广告信息。其他通讯系统，例如即时通讯系统，无线短信系统等等，其实现方法和系统与以下实施例相同，本文不再赘述。

本发明的核心技术方案为：对于聊天室广告的判断，通过建立一套基于分值系统的过滤模型来进行。这个模型包括两个方面，一个方面是给相关广告中出现较多的关键词赋予分值；另一方面是给用于辨认广告特征的正则表达式赋予特定分值。

图1为本发明所述对通讯系统中的通讯信息进行过滤的方法的流程图。

参见图1，该流程包括：

步骤101、预设阀值、关键字、正则表达式，以及关键字和正则表达式对应的分值。

关键字的作用是用户判断聊天内容是否包含广告的特征词语。不同的关键字会有不同的分值，用于标示该关键字在一句聊天内容里面被用于广告的可能性。正则表达式的作用是从聊天内容里面辨别一些关键的特征。比如很多广告里面都会给出连接网址，系统就可以采用特定的正则表达式来判断聊天内容里面是否有连接网址，如果有，就对这句聊天内容加上相关正则表达式对应的分数。

所设置的关键字为一个或一个以上，每个关键字都可预设有对应的分值，不同关键字的分值可以相同或不同。所设置的正则表达式为一个或一个以上，每个正则表达式都可预设有对应的分值，不同正则表达式的分值可以相同或不同。所述阀值可以固定设置一个，也可以为不同长度的通讯信息对应设置不同的阀值。

步骤102、接收客户端当前的聊天信息。

在本实施例的网上聊天室系统中，可以在网上聊天室系统的中转服务器侧采用本发明的方法对中转的每条聊天信息进行过滤；也可以在发送客户端上执行本发明的方法，用于对发送的聊天信息进行过滤；或者，也可以在接收客户端上执行本发明的方法，用于对接收的聊天信息进行过滤。不论在发送端、中转端、或接收端，其过滤的效果相同，都可以达到本发明的发明目的。

步骤103、利用关键字匹配当前通讯信息的内容，如果通讯信息中包括所述关键字则获取该关键字对应的分值，如果通讯信息中包括一个以上的所述关键字则获取所有关键字对应的分值。

步骤104、利用预设的正则表达式匹配所述通讯信息的内容，如果通讯信息中的内容可以匹配所述的正则表达式，则获取该正则表达式对应的分值，如果可以匹配一个以上所述的正则表达式，则获取所有正则表达式对应的分值。

步骤105、将上述获取的所有关键字对应分值和正则表达式对应分值相加获得总分值。

步骤106、获取预设的阀值。如果设置有不同的阀值，则对当前通讯信息的长度进行判断，获取该长度对应的阀值。

步骤107、利用所获取的阀值与所述总分值进行比较，判断所述总分值是否大于或等于所述的阀值，如果是，则判定该通讯信息为广告(垃圾信息)，执行步骤108；否则，执行步骤109。

步骤108、过滤所述的通讯信息，接着可以结束流程，也可以返回步骤102对下一条通讯信息进行处理。

步骤109、发送聊天信息给聊天室的其他用户，接着可以结束流程，也可以返回步骤102对下一条通讯信息进行处理。

另外，在设置分值时，所设的分值可以是正分(表示坏的内容)或者是负分(表示好的内容)，例如有些正常的通讯信息中，大部分为正常内容(好内容)，只有个别内容在形式上与垃圾内容(坏内容)相同，如果不设正、负分，则这些正常的通讯信息很可能被过滤掉，因此这样可以更好的区分垃圾信息和非垃圾信息，降低过滤通讯信息的误判率。在有了这些分值之后，就可以对聊天室里每一句聊天内容进行打分。一句聊天内容里如果出现一个关键词或者符合某个正则表达式，就会给这句聊天加上相对应的分值。最后将这句聊天里出现的关键词和正则表达式的分值累加，从而得出这句聊天内容的一个总分值。

图2为本发明所述对通讯信息进行过滤的过滤系统结构图。参见图2，该系统包括：

后台管理模块21，用于提供输入设置接口，接受阀值、关键字、正则表达式，以及关键字和正则表达式对应分值的设置指令。

数据库22，用于存储后台管理模块21所接受的阀值、关键字、正则表达式，以及关键字和正则表达式对应的分值。

前台过滤模块23，与通讯系统的通讯模块(图2中未示出)连接，对通讯系统的每一条通讯信息的内容进行分析判断。该前台过滤模块23具体包括匹配模块231，用于读取所述数据库22的内容，判断当前通讯信息中是否有与所述关键字和正则表达式匹配的内容，有则获取所匹配的关键字和或正则表达式对应的分值；相加模块232，用于将匹配模块231获取的所有分值相加得到总分值；比较模块233，用于比较所述总分值和所述阀值，在总分值大于或等于所述阀值时触发过滤模块234过滤所述通讯信息；过滤模块234，用于过滤通讯信息。

由于不同长度的通讯信息都可以各自具有对应的阀值，因此所述前台过滤模块23还可以进一步包括判断模块235，用于对当前通讯信息的长度进行判断，获取该长度对应的阀值，触发比较模块利用该阀值与所述总分值进行比较。

上述过滤系统可以设置在通讯系统的发送端，用于对发送的通讯信息进行过滤；或者，该过滤系统设置在通讯系统的接收端，用于对接收的通讯信息进行过滤；或者，该过滤系统设置在通讯系统的信息中转端(例如某些即时通讯系统的中转服务器，或者网上聊天系统的中转服务器)，用于对中转的通讯信息进行过滤。

上述实施例所述的过滤系统所设置的通讯系统可以为网上聊天室系统，该过滤系统用于对网上聊天室系统中的聊天信息进行过滤。当然，该过滤系统还可以设置在其它的通讯系统中，例如即时通讯系统，无线短信系统等等，其实现方式与上述实施例相同，本文不再赘述。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1、一种对通讯系统中的通讯信息进行过滤的方法，其特征在于，该方法包括：

预设阀值、关键字、正则表达式，以及关键字和正则表达式对应的分值；

利用预设的关键字匹配当前通讯信息的内容，如果通讯信息中包括所述关键字则获取该关键字对应的分值；

利用预设的正则表达式匹配所述通讯信息的内容，如果通讯信息中的内容与预设的正则表达式匹配，则获取该正则表达式对应的分值；

将上述获取的分值相加获得总分值，比较该总分值和所述的阀值，在总分值大于或等于所述阀值时，过滤所述通讯信息。

2、根据权利要求1所述的方法，其特征在于，所述预设的关键字为一个或一个以上，每个关键字都设有对应的分值，不同关键字的分值可以相同或不同。

3、根据权利要求1所述的方法，其特征在于，所述正则表达式为一个或一个以上，每个正则表达式都设有对应的分值，不同正则表达式的分值可以相同或不同。

4、根据权利要求1、2、或3所述的方法，其特征在于，所述分值设置为正数或负数。

5、根据权利要求1、2、或3所述的方法，其特征在于，进一步包括：为不同长度的通讯信息对应设置不同的阀值，并对当前通讯信息的长度进行判断，获取该长度对应的阀值，利用该阀值与所述总分值进行比较。

6、根据权利要求1、2、或3所述的方法，其特征在于，所述通讯系统为网上聊天室系统，所述通讯信息为网上聊天室中的聊天信息。

7、一种对通讯信息进行过滤的过滤系统，其特征在于，该系统包括：

后台管理模块，用于提供输入设置接口，接受阀值、关键字、正则表达式，以及关键字和正则表达式对应分值的设置指令；

数据库，用于存储后台管理模块所接受的阀值、关键字、正则表达式，以及关键字和正则表达式对应的分值；

前台过滤模块，具体包括匹配模块，用于读取所述数据库的内容，判断当前通讯信息中是否有与所述关键字和正则表达式匹配的内容，有则获取所匹配的关键字和或正则表达式对应的分值；相加模块，用于将所述匹配模块获取的所有分值相加得到总分值；比较模块，用于比较所述总分值和所述阀值，在总分值大于或等于所述阀值时触发过滤模块过滤所述通讯信息；过滤模块，用于过滤通讯信息。

8、根据权利要求7所述的过滤系统，其特征在于，不同长度的通讯信息都各自具有对应的阀值，所述前台过滤模块进一步包括判断模块，用于对当前通讯信息的长度进行判断，获取该长度对应的阀值，触发所述比较模块利用该阀值与所述总分值进行比较。

9、根据权利要求7所述的过滤系统，其特征在于，所述通讯信息为网上聊天室系统中的聊天信息。

10、根据权利要求7所述的过滤系统，其特征在于，

该过滤系统设置在通讯系统的发送端，用于对发送的通讯信息进行过滤；

或者，该过滤系统设置在通讯系统的接收端，用于对接收的通讯信息进行过滤；

或者，该过滤系统设置在通讯系统的信息中转端，用于对中转的通讯信息进行过滤。

Images