CN102103700A - 基于陆地移动距离的相似度检测图像型垃圾邮件的方法 - Google Patents

Abstract

基于陆地移动距离的相似度检测图像型垃圾邮件的方法，利用了尺度不变特征转换算法来提取图片中垃圾信息的不变区域特征，使用陆地移动距离计算待测图片与垃圾邮件特征库中图片的相似度，从而检测出图像型垃圾邮件。本发明提供了一种使用图片的局部不变特征的基于陆地移动距离的相似度检测图像型垃圾邮件的方法。目前现有的利用相似度检测图像型垃圾邮件技术主要是使用欧式距离，而欧式距离无法处理结构大小可变的特征，需要先对特征进行聚类规范化特征，因此影响了检测速度。本发明利用陆地移动距离直接处理结构大小可变的局部不变特征，大大提高了图像型垃圾邮件的检测速度，同时保证了高精确度和低误判率。

Description

基于陆地移动距离的相似度检测图像型垃圾邮件的方法

技术领域

本发明是一种提取图片的局部不变特征，利用陆地移动距离的相似度测量方法，对图像型垃圾邮件检测的实现方案，主要解决了当今的技术对图片型垃圾邮件的检测效率和召回率低等问题，属于数据挖掘和机器学习领域。

背景技术

电子邮件已成为人们进行网络交流沟通的重要途径，但是由于巨大的商业、经济及政治利益，导致垃圾邮件数量急剧膨胀。起初盛行的图像型垃圾邮件是将广告等垃圾信息以文字形式嵌入图像中，Hrishikesh等人在利用挖掘出来的文本以及颜色特征来对邮件进行分类[1]。Fumera等人在2006年提出了一种OCR(光学字符识别)技术检测图像型垃圾邮件的文本信息，相对其他过滤系统来说，具有较好的检测效果[2]。同时垃圾邮件制造者们也在不断地增强垃圾邮件逃避检测系统的能力，他们对嵌有广告等垃圾信息的图像进行了模糊处理，这使得当时的OCR技术无法挖掘出嵌入这种图片中的文字。Dredze等人提出了利用图片的高级特征来对图片进行分类，高级特征指的是文件格式，大小，颜色分布等[3]。这种方法的优点是检测速度很快，并且具有较好的扩展性，能够与对低级特征的图片过滤器进行有效的结合。

Fumera在2007年提出了一种通过计算图像周长复杂度的方法来判别一张图片是否经过了模糊技术的处理[4]。一张图片的模糊的程度可以由周长复杂度来衡量的，计算方法为文字区域周长的平方和文字区域面积的比值。通过文字周长复杂度可以标识断字符或者是噪音对象的出现。由于不能证实经过模糊处理的图像就是携带垃圾信息的图像，这种处理技术只能作为垃圾邮件过滤系统中预处理某个模块。Zhe Wang等人提出的图像型垃圾邮件过滤方法是通过比较图像之间的相似性方法[5]：分别使用结合三类图像型垃圾邮件过滤方法(颜色直方图过滤方法、哈尔小波过滤以及方向直方图特征)，实验的结果表明：每个过滤系统单独执行时，通过比较发现小波过滤获取了最好的检测率并且其误检率(将正常图片标识为垃圾图片)低于0.0009％，三类过滤器结合起来的精确率达到96％，该方法是通过结合已有的过滤系统来实现的，可以说它是对一个阶段的垃圾邮件过滤技术的一个总结，使用该方法提高了图像型垃圾邮件过滤系统的性能。

Mehta等在2008年针对使用模板而大量生成的垃圾邮件进行检测，利用重复相似性质，使用支持向量机分类器的精确度达到了98％，同时提出了利用高斯混合模型来对图片进行聚类的算法[6]：将每幅图片缩小到100×100像素点，提取每个像素的纹理形状和颜色特征，对每幅图片训练其高斯混合模型，并计算高斯混合模型之间的相近距离来聚类。通过计算阀值来分辨垃圾图片，虽然该方法采用统计学知识计算比较精确但是计算量太大，算法的时间复杂度较高，不利于在实际的应用中。随后由Zuo等提出了使用核函数为PMK的一类支持向量机分类器对电子邮件中图像的局部不变特征进行归类[7]。该方法主要是针对那些为了逃避基于图像模板相似性的过滤器，而改变图像的总体布局，保留图片中的某些局部不变特征的垃圾邮件。所以这种方法在一定程度上弥补了相似性检测的漏洞。

[1]Hrishikesh Aradhye，Gregory Myers，and James Herson.Image analysis forefficient categorization of image-based spam e-mail.In Proceedings of EighthInternational Conference on Document Analysis and Recognition，ICDAR 2005，volume 2，pages 914-918.IEEE Computer Society，2005.

[2]Giorgio Fumera，Ignazio Pillai，and Fabio Roli.Spam filtering based on theanalysis of text information embedded into images.Journal of Machine LearningResearch，(7)：2699-2720，2006.

[3]Mark Dredze，Reuven Gevaryahu，and Ari Elias-Bachrach.Learning fastclassifiers for image spam.In Proceedings of the Fourth Conference on Emailand Anti-Spam，CEAS’2007，2007.

[4]Giorgio Fumera，Ignazio Pillai，Fabio Roli，and Battista Biggio.Image spamfiltering using textual and visual information，MIT Spam Conference2007，Cambridge，USA，March 2007

[5]Zhe Wang，William Josephson，Qin Lv，Moses Charikar，and Kai Li.Filteringimage spam with near-duplicate detection.In Proceedings of the FourthConterence on Email and Anti-Spam，CEAS’2007，2007.

[6]Mehta，B.，Nangia，S.，Gupta，M.，and Nejdl，W.Detecting image spam usingvisual features and near duplicate detection.In Proceeding of the 17thinternational Conference on World Wide Web(Beijing，China，April 21-25，2008).WWW′08.ACM，New York，NY，497-506.

[7]Haiqiang Zuo，Weiming Hu，Ou Wu，Yunfei Chen，Guan Luo.Detecting ImageSpam Using Local Invariant Features and Pyramid Match Kernel.Proceedings ofthe 18th international conference on World Wide Web Pages，2009，1187-1188.

发明内容

技术问题：本发明的目的是提供一种使用图片的局部不变特征的基于陆地移动距离的相似度检测图像型垃圾邮件的方法。目前现有的利用相似度检测图像型垃圾邮件技术主要是使用欧式距离，而欧式距离无法处理结构大小可变的特征，需要先对特征进行聚类规范化特征，因此影响了检测速度。本发明利用陆地移动距离直接处理结构大小可变的局部不变特征，大大提高了图像型垃圾邮件的检测速度，同时保证了高精确度和低误判率。

技术方案：图片的局部不变特征，是一种基于尺度空间的不变量技术的特征检测方法，对图像平移、旋转、缩放、甚至仿射变换保持不变性的图像局部特征。用这种方法提取图片中的不变区域特征，是结构大小可变的特征。陆地移动距离，是一种能够计算结构大小可变特征的距离的测量标准，可以用它来计算两个图片的局部不变特征的距离。

本发明提出使用陆地移动距离根据图片的局部不变特征计算图片之间的相似度，进而达到检测图像型垃圾邮件的实现方法。整个方法包括训练阈值，检测图像型邮件两大模块，系统的模块组成如图1所示。

基于陆地移动距离的相似度检测图像型垃圾邮件的方法主要分为以下步骤：

一、首先根据样本集训练阈值：

步骤1).对待训练的图片数据集进行标签，分为垃圾图片和正常图片；

步骤2).首先对每个图片进行标准化到一样的长度和宽度，然后采用尺度不变特征转换算法分别提取每个垃圾图片和正常图片的局部不变特征描述符，构造正常图片特征库与垃圾图片特征库；

步骤3).使用陆地移动距离分别计算垃圾图片集、正常图片集与垃圾图片特征库的相似度，通过对这些相似度的分析统计分别确定垃圾图片集的阈值1和正常图片集的阈值2；

步骤4).确定最终阈值为阈值1和阈值2的加权平均值；

二、然后进行检测过程：

步骤5).对于待检测的图片，首先对图片进行标准化，然后利用尺度不变特征转换算法来提取标准化后图片的局部不变特征描述符；

步骤6).计算待检测图片局部不变特征描述符与垃圾图片特征库的陆地移动距离；计算时将遍历垃圾图片特征库中每个图片的局部不变特征描述符；

步骤7).比较步骤6)得到的距离与步骤4)得到的阈值的大小，根据比较结果进行分类，如果待检测图片与垃圾图片特征库的相似度小于该阈值，则该图片为垃圾图片，否则为正常图片。

有益效果：本发明方法提出了提取图片的局部不变特征，根据这个特征使用陆地移动距离来计算两个图片的相似度，完成对图片型垃圾邮件进行检测。通过使用本发明的方法，能够提高垃圾邮件检测的精确度和召回率，节省程序运算时间和空间。

附图说明

图1基于陆地移动距离的相似度检测图像型垃圾邮件的系统原型，

图2检测阶段的分类算法流程图。

具体实施方式

基于陆地移动距离的相似度检测图像型垃圾邮件，采用VC++6.0为开发工具，其中对图像特征的处理利用opencv1.0开源库，其中详细的步骤如下：

一、获取垃圾图片特征库：

步骤1)选取M个垃圾图片并用尺度不变特征转换算法提取不变特征描述符作为垃圾图片特征库，则图片的签名为

$P=\{(p_1,{\mathrm{\ω}}_{p_1}),(p_2,{\mathrm{\ω}}_{p_2}),...,(p_m,{\mathrm{\ω}}_{p_m})\}.$

p_i为不变特征描述符，

为p_i的权重，m为不变特征描述符的个数，i＝{1，2，…m}。

二、训练阈值：

步骤1)选取N个垃圾图片作为训练阈值用的垃圾图片集，选取N个正常图片作为训练阈值用的正常图片集；

步骤2)对于垃圾图片集中的一个图片，先用尺度不变特征转换算法提取局部不变特征，然后计算与垃圾图片数据库中每一个图片的陆地移动距离，并选取其中最小值，记为Di，i＝{1，2，…，N}；

陆地移动距离公式为：

$\mathrm{EMD}(x,y)=\frac{{\mathrm{\Σ}}_{i\∈I}{\mathrm{\Σ}}_{j\∈J}{c}_{\mathrm{ij}}{f}_{\mathrm{ij}}}{{\mathrm{\Σ}}_{i\∈I}{\mathrm{\Σ}}_{j\∈J}{f}_{\mathrm{ij}}}=\frac{{\mathrm{\Σ}}_{i\∈I}{\mathrm{\Σ}}_{j\∈J}{c}_{\mathrm{ij}}{f}_{\mathrm{ij}}}{{\mathrm{\Σ}}_{j\∈J}{y}_j}$

x，y为图片的签名，c_ij为签名x的第i元素与签名y的第j元素的地面距离，f_ij由下面的约束条件得到

最小化 $\begin{array}{cccc}\underset{i}{\mathrm{\Σ}}& \underset{j}{\mathrm{\Σ}}& c_{\mathrm{ij}}& f_{\mathrm{ij}},\end{array}$

满足约束

f_ij≥0，

$\underset{i}{\mathrm{\Σ}}{f}_{\mathrm{ij}}=w_{y_j},$

$\underset{j}{\mathrm{\Σ}}{f}_{\mathrm{ij}}=w_{x_i},$

步骤3)重复步骤2)直到处理完垃圾图片集中的所有图片，选取Di，i＝{1，2，…，N}中的最大值作为阈值1；

步骤4)对于正常图片集中的一个图片，先用尺度不变特征转换算法提取局部不变特征，然后计算与垃圾图片数据库中每一个图片的陆地移动距离，并选取其中最小值，记为Dj，j＝{1，2，…，N}；

步骤5)重复步骤4)直到处理完正常图片集中的所有图片，选取Dj，j＝{1，2，…，N}中的最小值作为阈值2；

步骤6)最终阈值为阈值1和阈值2的加权平均值，权重分别为0.5和0.5；

三、检测图像型垃圾邮件：

步骤1)待检测的图片数据集为T_j，j＝{1，2...W}，其中W为待检测的图片个数；

步骤2)利用尺度不变特征转换算法提取T_j中每张图片的局部不变特征描述符；

步骤3)计算图片与垃圾图片特征库中一个图片的陆地移动距离；

步骤4)如果距离小于阈值，则该图片为正常图片；

步骤5)否则判断垃圾图片特征库中的图片是否全部跟该图片计算过陆地移动距离，如果是，则该图片为正常图片，否则重复步骤3)-步骤4)，直到得出检测结果；

步骤6)重复步骤2)-步骤5)，把待检测集合中的每一个图片都进行检测。

Claims (1)

1.一种基于陆地移动距离的相似度检测图像型垃圾邮件的方法，其特征在于该方法主要分为以下步骤：

一、首先根据样本集训练阈值：

步骤1).对待训练的图片数据集进行标签，分为垃圾图片和正常图片；

步骤2).首先对每个图片进行标准化到一样的长度和宽度，然后采用尺度不变特征转换算法分别提取每个垃圾图片和正常图片的局部不变特征描述符，构造正常图片特征库与垃圾图片特征库；

步骤3).使用陆地移动距离分别计算垃圾图片集、正常图片集与垃圾图片特征库的相似度，通过对这些相似度的分析统计分别确定垃圾图片集的阈值1和正常图片集的阈值2；

步骤4).确定最终阈值为阈值1和阈值2的加权平均值；

二、然后进行检测过程：

步骤5).对于待检测的图片，首先对图片进行标准化，然后利用尺度不变特征转换算法来提取标准化后图片的局部不变特征描述符；

步骤6).计算待检测图片局部不变特征描述符与垃圾图片特征库的陆地移动距离；计算时将遍历垃圾图片特征库中每个图片的局部不变特征描述符；

步骤7).比较步骤6)得到的距离与步骤4)得到的阈值的大小，根据比较结果进行分类，如果待检测图片与垃圾图片特征库的相似度小于该阈值，则该图片为垃圾图片，否则为正常图片。

Images