CN101227435A - 基于Logistic回归的中文垃圾邮件过滤方法 - Google Patents

Abstract

本发明公开了一种基于Logistic回归的中文垃圾邮件过滤方法。其步骤如下：1)对邮件进行解析，提取邮件标题、邮件主体及附件相关信息；2)对提取的文本信息内容进行分词；3)统计邮件中词条的词频，利用TF－IDF公式计算词的权重，将邮件表示成加权的特征向量；4)利用LIBLINEAR工具包对邮件样本进行训练得到Logistic回归模型；5)利用Logistic回归模型对新的邮件进行分类，得到邮件是否为垃圾邮件的概率值。本发明利用了Logistic回归模型具有模型简单、参数数量少，以及在样本数目和特征数目都很巨大的数据集中具有分类准确度高的优点，通过维数约简和改进的特征值计算方法，提高了垃圾邮件过滤的准确率和效率，同时，还有效解决了垃圾邮件过滤中所面临的模型训练参数选择问题。

Description

基于Logistic回归的中文垃圾邮件过滤方法

技术领域

本发明涉及垃圾邮件过滤方法，尤其涉及一种基于Logistic回归的中文垃圾邮件过滤方法。

背景技术

随着垃圾邮件的泛滥，各种垃圾邮件过滤技术应运而生。当前，基于内容的智能邮件过滤方法已成为主流技术，其中，支持向量机(SVM)、动态马尔可夫建模(DMM)、Winnow等机器学习方法都已成功应用于邮件分类领域。这些方法的基本思路是，将垃圾邮件过滤看成一个两类问题，研究从样本邮件出发寻找分类器，利用分类器对未知邮件进行预测。

通常，可将机器学习技术划分为区分模型(Discriminative Model，如Logistic回归、SVM)和生成模型(Generative Model，如

Bayes)两类。实践证明，在PU-1垃圾邮件语料库上，区分模型的邮件分类效果要好于生成模型。然而，对于不同的区分模型，其性能也有差异。例如，国际上有人(Hsu、Chang和Lin)将Logistic回归应用于文本分类，在大数据集上取得了较线性C-SVM更优的精确率；国外学者(Lynam和Cormack、Goodman和Yih)将Logistic回归应用于英文垃圾邮件分类，在TREC(Text Retrieval Conference)垃圾邮件语料库上进行了验证，效果较好。

经专利查新统计，国内外有不少与中文垃圾邮件过滤相关的专利，例如，基于贝叶斯分类的中文垃圾邮件内容分类鉴别算法(200510135603.3)、用于阻止垃圾邮件的源/目的地的特征和列表(200410063953.9)、社会网络电子邮件过滤(200510070053.1)、垃圾电子邮件过滤方法和系统(200510087762.0)、增量反垃圾邮件查找与更新服务(200510082282.5)、外发垃圾邮件的阻止(200410063149.0)、在系统中为紧急或重要情况使用成批电子邮件过滤器用于分类消息(200410063950.5)，等等。以上专利中所采用的垃圾邮件过滤技术，均未涉及基于Logistic回归的中文垃圾邮件过滤方法。

发明内容

本发明的目的是提供一种基于Logistic回归的中文垃圾邮件过滤方法。

基于Logistic回归的中文垃圾邮件过滤方法包括如下步骤：

1)利用JavaMail和HTMLParser的应用程序接口对邮件进行解析，提取邮件标题、邮件文本、邮件字符集、邮件附件标题的文本信息；

2)对提取的文本信息进行分词；

3)统计文本信息中的词条的词频，利用TF-IDF公式计算词的权重，将邮件文本信息表示成加权特征向量，重复步骤1)～步骤3)得到加权特征向量集；

4)利用LIBLINEAR工具包对邮件样本的加权特征向量集进行训练得到Logistic回归模型；

5)利用得到的Logistic回归模型对邮件进行分类，得到邮件是否为垃圾邮件的概率值。

所述的对邮件进行解析，提取邮件标题、邮件文本、邮件附件标题的文本信息：利用RFC2822，RFC2045，RFC2046邮件标准和MIME格式标准，对邮件进行解码、解析，提取邮件标题、邮件文本、邮件附件标题的文本信息，若提取的文本信息已通过Base64和Quoted Printable编码方式进行过编码，则采用与其对应的解码方式进行解码，对html格式的邮件主体进行解析。

所述的对提取的文本信息进行分词：对解码后的邮件文本信息进行分词，以得到经过分词后的文本信息。

所述的统计文本信息中的词条的词频，利用TF-IDF公式计算词的权重，将邮件文本信息表示成加权特征向量，重复步骤1)～步骤3)得到加权特征向量集：对于经过分词后的文本信息，首先统计其中每个词的词频和邮件样本集中该词出现的词频，使用TF-IDF公式计算词的权重，将邮件样本集中所有的词组成一个特征空间，每封邮件可以映射成该特征空间的一个加权特征向量，重复步骤1)～步骤3)，得到加权特征向量集。

本发明与现有技术相比具有的有益效果：

1)Logistic回归模型具有较少的调节参数，能够在中文垃圾邮件过滤应用中取得很好的分类效果。与SVM方法相比，无论是在ROC(Receiver OperatingCharacteristics)分类指标上，还是在运行效率上，Logistic回归模型都要优于后者。

2)提出一种中文、非中文混合文本的分词方法，避免了直接采用第三方分词系统引起的效率低下问题。

3)提出一种改进的特征值计算方法，引入了权重因子，通过改变一些特殊词(如用户自定义的词、参与构建邮件主题的词、黄色或暴力等敏感词)的权重因子，可以获得更好的分类效果。

4)提出一种以词频为特征选择依据实施维数约简的方法，有效减小了特征空间的大小，提高了运行效率和分类效果。

5)提出一种以ROC选择模型训练参数的方法，避免了用单一的正常邮件误判率或垃圾邮件误判率进行衡量的局限性。

附图说明

图1是基于Logistic回归的中文垃圾邮件过滤方法的流程图；

图2是本发明的邮件解析流程图；

图3是本发明的分词流程图；

图4是Logistic分类器的训练流程图；

图5是Logistic分类器的分类流程图。

具体实施方式

本发明的主要原理如下：

1)在邮件的预处理阶段，包括邮件解析和分词过程。利用JavaMail将邮件的标题、正文文本内容，以及所包含的附件、图片、音频、视频等信息抽取出来；依据标点、空格等自然切分标志对非中文文本进行切分，采用最大匹配法对中文文本进行切分。

2)在特征层面，将邮件样本集中所有的词组成一个特征空间，每封邮件可以映射成该特征空间的一个向量；采用改善的特征值计算方法，引入了权重因子，体现了邮件的文本特征；以词频为特征选择依据实施维数约简，减小了特征空间的大小。

3)在模型层面，利用Logistic进行训练和分类，通过训练得到一个Logistic分类模型，即估算出Logistic回归模型的权向量，对用向量表示的邮件进行分类预测的过程就是求出该邮件属于某一类的后验概率。

4)ROC是评价模型分类性能的重要指标，将其运用于Logistic回归模型训练参数的选择，避免了用单一的正常邮件误判率或垃圾邮件误判率进行衡量的局限性。

5)Hash表数据结构能够提供高效的访问，将其运用于中文分词字典、词—词频索引表，提高了数据搜索的效率。

基于Logistic回归的中文垃圾邮件过滤方法包括如下步骤：

1)利用JavaMail和HTMLParser的应用程序接口(API)对邮件进行解析，提取邮件标题、邮件文本、邮件附件标题的文本信息；

利用RFC2822，RFC2045，RFC2046邮件标准和MIME格式标准，利用JavaMail和HTMLParser的应用程序接口对邮件进行解码、解析，提取邮件标题、邮件文本、邮件附件标题的文本信息，若提取的文本信息已通过Base64和QuotedPrintable编码方式进行过编码，则采用与其对应的解码方式进行解码，对html格式的邮件主体进行解析。

邮件文本报文的格式由RFC822、RFC2045、RFC2046和RFC2047定义，可根据邮件编码方式对邮件进行解码，提取邮件标题、邮件文本、邮件附件标题的文本信息。本发明使用JavaMail和HTMLParser的API对邮件进行解析，具体步骤如下：

a)将邮件实例化MimeMessage类的对象，通过getSubject()方法提取邮件的主题；用getContent()方法返回一个MultiPartEncryped对象，对该对象使用tostring()方法得到ASCII或ISO8859格式的文本主体，使用getContent()、getFileName()方法得到MimeMultipart等类型的文本主体和图像(Image)、应用程序(Application)的文件名。

b)对html格式的邮件文本主体，需将此邮件文本主体实例化Parser类的对象，通过visitAllNodesWith()方法调用一个StringBean类的对象，实现html邮件文本主体的解析，纯文本内容的邮件文本主体可使用StringBean类的getStrings()方法得到。详细的邮件预处理流程如图2所示。

2)对提取的文本信息进行分词；

对于解码后的邮件文本信息进行分词，以得到经过分词后的文本信息。

使用标点、空格等自然切分标志对邮件进行预处理，实现英文等非中文字符的切分，同时将邮件切分为更小的单位——句子，然后采用最大匹配法对预处理后的句子进行切分。为提高分词效率，字典的加载使用了Hash表。本发明采用北大天网分词字典。详细的分词流程如图3所示。

3)统计文本信息中的词条的词频，利用TF-IDF公式计算词的权重，将邮件文本信息表示成加权特征向量，重复步骤1)～步骤3)得到加权特征向量集；

对于经过分词后的文本信息，首先统计其中每个词的词频和邮件样本集中该词出现的词频，使用TF-IDF公式计算词的权重，将邮件样本集中所有的词组成一个特征空间，每封邮件可以映射成该特征空间的一个加权特征向量，重复步骤1)～步骤3)，得到加权特征向量集。

得到加权特征向量集的具体步骤如下：

a)统计邮件样本集的文本信息中所有的词及其出现的频率，以此为基础建立一个词—词频索引表。邮件样本集的文本信息中所有的词构成一个特征空间，每一个邮件映射为该特征空间中的一个向量。

b)建立词—词频索引表之后，分别扫描每封邮件的文本信息，并统计每封邮件文本信息中词的词频，使用TF-IDF公式计算词的权重。每封邮件文本信息映射成一个特征向量，其特征值的计算公式如下：

${\mathrm{\χ}}_{\mathrm{kj}}=\frac{\#(t_k,e_j)\×\log \frac{\left|\mathrm{Ts}\right|}{\#\mathrm{Ts}\left(t_k\right)}}{\sqrt{{\mathrm{\Σ}}_{s=1}^{\left|e\right|}{(\#(t_s,e_j)\×\log \frac{\left|\mathrm{Ts}\right|}{\#\mathrm{Ts}\left(t_s\right)})}^2}}\×w_m$

其中，#(t_k，e_j)为词t_k在邮件e_j中出现的次数；#Ts(t_k)为训练集Ts出现词t_k的邮件个数，|Ts|为训练集Ts中邮件的个数，w_m为权重因子。

c)权重因子w_m体现了邮件的文本特征。通过改变一些特殊词(如用户自定义的词、参与构建邮件主题的词、黄色或暴力等敏感词)的权重因子，可以获得更好的分类效果。实验结果表明，当这些特殊词的权重因子w_m等于3时，可获得最好的分类效果。

d)维数约简可以减小特征空间的大小，减少计算量，提高运行效率。本发明通过移除在词—词频索引表中词频为1和2的词来进行降维，大大提高了分类的准确性。

4)利用LIBLINEAR工具包对邮件样本的加权特征向量集进行训练得到Logistic回归模型，训练方法如下：

train[options]training_set_file[model_file]

其中，training_set_file为向量表示的训练集，[options]为训练参数选项。

本发明使用到的训练参数选项如下：

-s type：设置slover类型；

-c cost：设置平衡参数C；

-wi weight：设置类间权重因子w_i。

训练得到Logistic回归模型的具体步骤如下：

a)设置train子程序的slover类型为L2-regularized Logistic回归。

b)调整train子程序的平衡参数C和类间权重因子w_i，得到不同的Logistic回归模型，本发明通过ROC曲线，选择使Logistic模型分类效果相对最优时的平衡参数C和类间权重因子w_i。

Logistic分类器的训练流程如图4所示。

5)利用得到的Logistic回归模型对邮件进行分类，得到邮件是否为垃圾邮件的概率值。

利用LIBLINEAR工具包中的predict子程序，把新的邮件向量和步骤4)中获得的Logistic分类器模型作为参数输入，并选择支持概率估计的选项进行预测，即可获得该邮件是否为垃圾邮件的概率值。

Logistic分类器的分类流程如图5所示。

Logistic回归模型的也可采用Trust Region Newton method方法求解，具体步骤如下：

对步骤3)得到的加权特征向量x_i求解，使满足

$\underset{w}{\min }f\left(w\right)=\frac{1}{2}{w}^{T}w+C\underset{i=1}{\overset{l}{\mathrm{\Σ}}}\log (1+e^{-y_i{w}^T{x}_i})$

其中，y_i代表第i封邮件是否垃圾邮件，y_i取值为1或-1；x_i是第i封邮件经过前3步之后所得到的加权特征向量；C是一个用来调节等式前后两项平衡的参数；w即为所求结果。

Trust Region Newton method方法的具体步骤如下：

a)初始化w⁰；

b)若w^k的梯度f(w^k)＝0，则结束；

c)求解子问题

$\underset{s}{\min }{q}_k\left(s\right)=\▿f{\left(w^k\right)}^{T}s+\frac{1}{2}{s}^T{\▿}^{2}f\left(w^k\right)s$

并满足‖s‖≤□_k；

其中，q_k(s)为二次方程式，s为迭代方向(direction)，T表示矩阵转置，‖·‖表示矢量长度，为信任区域(trust region)，²f(w^k)为赫森(Hessian)矩阵。

d)计算ρ_k

${\mathrm{\ρ}}_k=\frac{f(w^k+s^k)-f\left(w^k\right)}{q_k\left(s^k\right)}$

e)更新w^k+1

$w^{k+1}=\left\{\begin{array}{c}{w}^k+s^k,\mathrm{if}{\mathrm{\ρ}}_k>{\mathrm{\η}}_0\\ w^k,\mathrm{if}{\mathrm{\ρ}}_k\≤{\mathrm{\η}}_0\end{array}\right.$

f)更新Δ_k+1

Δ_k+1＝max[σ₁min{‖s^k‖，Δ_k}，σ₂Δ_k]，ifρ_k≤η₁

Δ_k+1＝max[σ₁Δ_k，σ₃Δ_k]，ifρ_k∈(η₁，η₂)

Δ_k+1＝max[Δ_k，σ₃Δ_k]，ifρ_k≥η₂

其中，σ₁，σ₂，σ₃均为常数，且σ₁＜σ₂＜1＜σ₃；η₀，η₁，η₂均为常数，且η₀＞0，η₁＜η₂＜1。

返回步骤b)，反复迭代，从而收敛到一个全局最优解。

Logistic模型预测：对新的待判定邮件，首先，重复步骤1)～步骤3)，把需要分类的邮件映射成文本向量x，判定是否为垃圾邮件的概率计算公式如下：

$p(y=\±1|x,w)=\frac{1}{1+\exp (-y{w}^{T}x)}$

其中，p为概率值，y取值为1(表示正常邮件)或-1(表示垃圾邮件)，x为邮件文本向量，w为利用Trust Region Newton method方法求解的结果，T表示矩阵转置。

Claims (4)

1.一种基于Logistic回归的中文垃圾邮件过滤方法，包括如下步骤：

1)利用JavaMail和HTMLParser的应用程序接口对邮件进行解析，提取邮件标题、邮件文本、邮件字符集、邮件附件标题的文本信息；

2)对提取的文本信息进行分词；

3)统计文本信息中的词条的词频，利用TF-IDF公式计算词的权重，将邮件文本信息表示成加权特征向量，重复步骤1)～步骤3)得到加权特征向量集；

4)利用LIBLINEAR工具包对邮件样本的加权特征向量集进行训练得到Logistic回归模型；

5)利用得到的Logistic回归模型对邮件进行分类，得到邮件是否为垃圾邮件的概率值。

2.根据权利要求1所述的一种基于Logistic回归的中文垃圾邮件过滤方法，其特征在于所述的对邮件进行解析，提取邮件标题、邮件文本、邮件字符集、邮件附件标题的文本信息：利用RFC2822，RFC2045，RFC2046邮件标准和MIME格式标准，对邮件进行解码、解析，提取邮件标题、邮件文本、邮件字符集、邮件附件标题的文本信息，若提取的文本信息已通过Base64和Quoted Printable编码方式进行过编码，则采用与其对应的解码方式进行解码，对html格式的邮件主体进行解析。

3.根据权利要求1所述的一种基于Logistic回归的中文垃圾邮件过滤方法，其特征在于所述的对提取的文本信息进行分词：对于解码后的文本信息进行分词，以得到经过分词后的文本信息。

4.根据权利要求1所述的一种基于Logistic回归的中文垃圾邮件过滤方法，其特征在于所述的统计文本信息中的词条的词频，利用TF-IDF公式计算词的权重，将邮件文本信息表示成加权特征向量，重复步骤1)～步骤3)得到加权特征向量集：对于经过分词后的文本信息，首先统计其中每个词的词频和邮件样本集中该词出现的词频，使用TF-IDF公式计算词的权重，将邮件样本集中所有的词组成一个特征空间，每封邮件可以映射成该特征空间的一个加权特征向量，重复步骤1)～步骤3)，得到加权特征向量集。

Images