CN1760901A - 电子邮件过滤系统 - Google Patents

Abstract

一种网络通信技术领域的电子邮件过滤系统。本发明中，预处理模块首先获取待处理信息内容，并将获取结果送入特征提取模块，特征提取模块从待处理信息中提取出特征选项，并分两路分别送入特征选择模块与预分类模块，特征选择模块对特征选项进行选择并将结果送入特征库，特征库存储特征选项，预分类模块根据特征选项对信息进行预分类并将结果递交给邻近类别分类模块，邻近类别分类模块从特征库提取特征选项并完成对信息的分类。本发明能对邮件主体内容进行分析，对于通过代理服务器发送的垃圾邮件同样能进行过滤；系统具有自学习能力，采用两级分类模式与邻近类别分类技术，提高了系统对垃圾邮件的查准滤和查全率。

Description

电子邮件过滤系统

技术领域

本发明涉及的是一种网络通信技术领域的系统，具体是一种电子邮件过滤系统。

背景技术

垃圾邮件的泛滥已严重影响个人通信、浪费信息资源、威胁网络安全。同时各种不良信息的传播也对社会造成相当的危害。因此，研究邮件自动过滤方法具有十分重要的现实意义。在实际应用中，现有的邮件过滤系统一般根据已知的垃圾邮件来源封锁邮件。这种垃圾邮件黑名单是由企业或者独立的反垃圾邮件组织编辑的。这些黑名单包括已知的属于垃圾邮件制造者的系统和网络的IP地址、安全性较差，很容易被垃圾邮件制造者通过所谓开放式中继和开放式代理服务器的IP地址以及托管垃圾邮件制造者或者支持垃圾邮件服务的网站的IP地址来绕过。并且这种基于规则的邮件过滤系统需要不断维护更新其数据库，纯粹的基于规则的邮件过滤系统对于垃圾信件的查准率已经不能满足日益提高的过滤系统用户的产品需求。

经对现有技术的文献检索发现，中国专利申请号：200410031692.2，专利名称：防垃圾邮件系统，该专利自述为：“一种防垃圾邮件系统，包括能够收发邮件数据包的缓冲器，所述缓冲器用于对接收的邮件数据包进行缓冲处理，并对接收的邮件数据包添加包头信息后进行转发；和与所述缓冲器连接的防垃圾邮件服务器，所述防垃圾邮件服务器用于接收缓冲器转发来的邮件数据包，并通过分析经所述缓冲器添加了包头信息的邮件数据包，判断邮件数据包是否合法”。该系统可以识别出可以对邮件头部信息进行分析，以实现过滤垃圾邮件的目的。但是该系统只对邮件信头进行分析，未能分析邮件主体内容。对于那些不在系统黑名单中的垃圾邮件就无力查杀，对于那些通过代理服务器发送的垃圾邮件无法识别。并且系统不具备自学习能力，需要不断更新维护数据库，已经不能适应不断发展变化的反垃圾邮件应用需求。

发明内容

本发明针对现有技术中上述不足和缺陷，提出了一种电子邮件过滤系统。本发明能够对电子邮件主体内容进行分析，通过预分类模块，邻近类别分类模块对电子邮件进行两级分类，通过特征库实现对垃圾邮件的自学习功能，实现基于内容的电子邮件智能分类。

本发明是通过以下技术方案实现的，本发明包括：预处理模块、特征提取模块、特征选择模块、特征库、预分类模块、邻近类别分类模块。预处理模块首先获取待处理信息内容，并将获取结果送入特征提取模块，特征提取模块从待处理信息中提取出特征选项，并分两路分别送入特征选择模块与预分类模块，特征选择模块对特征选项进行选择并将结果送入特征库，特征库存储特征选项，预分类模块根据特征选项对信息进行预分类并将结果递交给邻近类别分类模块，邻近类别分类模块从特征库提取特征选项并完成对信息的分类。

所述的预处理模块负责对电子邮件进行分析，取出邮件主体部分，并对邮件主体文本中的无意义字符进行滤除。将处理好的文本内容送入特征提取模块。

所述的特征提取模块使用重复模式识别算法抽取重复的字符串组成词表，并删除了包含停止字表的词汇。将对于文本表示帮助不明显的一般词汇去掉，对应提取操作的结果是保留特定数量能够表征文本属性的特征选项。并将这些特征选项分别送入特征选择模块与预分类模块。

所述的特征选择模块采用特征词汇词频统计和特征词与所属类别互信息相结合的方法，对于前期获得的特征选项实行特征选择。并将这些选择过的特征选项存入特征库。

所述的预分类模块直接放行不含任何特征选项的正常电子邮件，同时根据对应邮件的特征选项继续判断疑似垃圾信件的类别归属，将疑似垃圾信件分类为病毒邮件，疑似色情邮件、疑似反动邮件和疑似广告邮件，对于病毒邮件直接做拦截处理，对于疑似色情邮件、疑似反动邮件和疑似广告邮件则送交邻近类别分类模块。

所述的邻近类别分类模块分别过滤疑似色情邮件、疑似反动邮件和疑似广告邮件，拦截其中的色情、反动和广告邮件，同时放行属于对应邻近类别的误拦信件。

本发明的工作过程和工作原理是：所有需过滤的邮件首先通过预处理模块，预处理模块对电子邮件进行分析，取出邮件主体部分，并对邮件主体文本中的无意义字符进行滤除，将处理好的文本内容送入特征提取模块；特征提取模块使用重复模式识别算法抽取重复的字符串组成词表，并删除了包含停止字表的词汇。对应提取操作的结果是保留特定数量能够表征文本属性的特征选项。并将这些特征选项分别送入特征选择模块与预分类模块。特征选择模块采用特征词汇词频统计和特征词与所属类别互信息相结合的方法，对于前期获得的特征选项实行特征选择，并将这些选择过的特征选项存入特征库；预分类模块根据特征库匹配结果，直接放行不含任何特征选项的正常电子邮件，同时根据对应邮件的特征选项继续判断疑似垃圾信件的类别归属，若判定是病毒信件则直接丢弃，若邮件中特征选项小于阀值则直接放行，若均否，则将结果递交邻近类别分类模块；邻近类别分类模块根据预分类模块输出的结果分别过滤疑似色情邮件、疑似反动邮件和疑似广告邮件，拦截其中的色情、反动和广告邮件，同时放行属于对应邻近类别的误拦信件。

本发明的有益结果是：能够对邮件主体内容进行分析，对于通过代理服务器发送的垃圾邮件同样能够进行过滤；系统具有自学习能力，能够通过对邮件的过滤自动维护更新系统特征库，不需要人工进行更新维护；采用两级分类模式与邻近类别分类技术，提高了系统对垃圾邮件的查准滤和查全率。

附图说明

图1是本发明的系统结构图

具体实施方式

如图1所示，本发明包括：预处理模块、特征提取模块、特征选择模块、特征库、预分类模块、邻近类别分类模块。预处理模块首先获取待处理信息内容，并将获取结果送入特征提取模块，特征提取模块从待处理信息中提取出特征选项，并分两路分别送入特征选择模块与预分类模块，特征选择模块对特征选项进行选择并将结果送入特征库，特征库存储特征选项，预分类模块根据特征选项对信息进行预分类并将结果递交给邻近类别分类模块，邻近类别分类模块从特征库提取特征选项并完成对信息的分类。

所述的预处理模块负责对电子邮件进行分析，取出邮件主体部分，并对邮件主体文本中的无意义字符进行滤除。将处理好的文本内容送入特征提取模块。

所述的特征提取模块使用重复模式识别算法抽取重复的字符串组成词表，并删除了包含停止字表的词汇。将对于文本表示帮助不明显的一般词汇去掉，对应提取操作的结果是保留特定数量能够表征文本属性的特征选项。并将这些特征选项分别送入特征选择模块与预分类模块。

所述的特征选择模块采用特征词汇词频统计和特征词与所属类别互信息相结合的方法，对于前期获得的特征选项实行特征选择。并将这些选择过的特征选项存入特征库。

所述的预分类模块直接放行不含任何特征选项的正常电子邮件，同时根据对应邮件的特征选项继续判断疑似垃圾信件的类别归属，将疑似垃圾信件分类为病毒邮件、疑似色情邮件、疑似反动邮件和疑似广告邮件，对于病毒邮件直接做拦截处理，对于疑似色情邮件、疑似反动邮件和疑似广告邮件则送交邻近类别分类模块。

所述的邻近类别分类模块负责过滤疑似色情邮件、疑似反动邮件和疑似广告邮件，拦截其中的色情、反动和广告邮件，同时放行属于对应邻近类别的误拦信件。

Claims (4)

1.一种电子邮件过滤系统，包括：预处理模块、特征提取模块、特征选择模块、特征库，其特征在于，还包括：预分类模块、邻近类别分类模块，预处理模块首先获取待处理信息内容，并将获取结果送入特征提取模块，特征提取模块从待处理信息中提取出特征选项，并分两路分别送入特征库与预分类模块，特征库存储特征选项，预分类模块根据特征选项对信息进行预分类并将结果递交给邻近类别分类模块，邻近类别分类模块从特征库提取特征选项并完成对信息的分类，

所述的预分类模块直接放行正常电子邮件，同时根据对应邮件的特征选项继续判断疑似垃圾信件的类别归属，将疑似垃圾信件分类为病毒邮件，疑似色情邮件、疑似反动邮件和疑似广告邮件，对于病毒邮件直接做拦截处理，对于疑似色情邮件、疑似反动邮件和疑似广告邮件则送交邻近类别分类模块；

所述的邻近类别分类模块分别过滤疑似色情邮件、疑似反动邮件和疑似广告邮件，拦截其中的色情、反动和广告邮件，同时放行属于对应邻近类别的误拦信件。

2.根据权利要求1所述的这种电子邮件过滤系统，其特征是，所述的预处理模块负责对电子邮件进行分析，取出邮件主体部分，并对邮件主体文本中的噪音进行滤除，将处理好的文本内容送入特征提取模块。

3.根据权利要求1所述的这种电子邮件过滤系统，其特征是，所述的特征提取模块使用重复模式识别算法抽取重复的字符串组成词表，并删除了包含停止字表的词汇，对应提取操作的结果是保留能够表征文本属性的特征选项，并将这些特征选项分别送入特征选择模块与预分类模块。

4.根据权利要求1所述的这种电子邮件过滤系统，其特征是，所述的特征选择模块采用特征词汇词频统计和特征词与所属类别互信息相结合的方法，对于前期获得的特征选项实行特征选择，并将这些选择过的特征选项存入特征库。

Images