CN102571768B - 一种钓鱼网站检测方法 - Google Patents

Abstract

本发明提供一种钓鱼网站检测方法，首先通过反链接提取得到一已知可信网站集合的反链接集合和一已知钓鱼网站集合的反链接集合，并由所述各集合构成一网络拓扑结构集合；然后应用基于PageRank的网页可信度算法并结合模式识别方法计算所述网络拓扑结构集合中网站的可信度，得到一可信度数据库；再提取待测网站的反链接集合，在所述可信度数据库中查找该待测网站的反链接集合中网页的可信度，得到该待测网站的可信度，最后将可信度低于一预设阈值的待测网站确定为钓鱼网站。本发明的方法利用了网站间的互联关系，能够实时有效地检测钓鱼网站，且不易被恶意攻击攻破。

Description

一种钓鱼网站检测方法

所属技术领域

本发明属于计算机网络安全技术领域，具体涉及一种钓鱼网站检测方法。

背景技术

网络钓鱼是一种企图从电子通信中，通过伪装成信誉卓著的法人媒体以获得如用户名、密码和信用卡明细等个人敏感信息的犯罪诈骗过程。一个典型的网络钓鱼攻击是发送声称来自于某银行欺骗性垃圾邮件，引诱收信人点击到一个伪装成这个银行的网页，让用户输入如用户名、口令、银行账号或信用卡密码等个人信息。

自从钓鱼攻击出现以来，近年来钓鱼攻击的数量持续迅速增加，范围不断迅速增广，种类层出不穷，引起危害的迅速扩大。钓鱼网站(phishing site)已经成为威胁互联网安全和窃取用户隐私信息的重要因素，钓鱼网站的检测问题引起了越来越多的重视，成为了一个越来越迫切的问题。

现有的钓鱼网站检测方法主要有两种，一种是基于黑名单、白名单形式的钓鱼网站检测方式，另一种是基于网站特征的启发式检测方式。基于白名单、黑名单的检测方式主要是要维护一个已经出现的钓鱼网站的黑名单和确定是正常网址的白名单。每次要访问某个网址的时候，通过比对名单上的网址，可以知道这个网址的可疑程度。这种方法的缺点在于攻击者可以通过构造网页内容一样，但是却是新的不在黑名单上的网址来绕过检测。基于网站特征的启发式检测是主要基于页面特征、URL特征等自身特征进行机器学习，从而得到检测钓鱼邮件的系统。但是攻击者很容易通过改变钓鱼网页的特征来绕过这种检测。

以上两种方法都没有引入信用机制抵抗攻击者的恶意攻击。另外，其他一些重要的钓鱼网站检测方法也存在各种各样的缺陷。

Anthony Y.Fu等(Detecting phishing web pages with visual similarity assessment based onearth mover′s distance；Anthony Y.Fu，Liu Wenyin，Xiaotie Deng；IEEE TRANSACTIONS ONDEPENDABLEAND SECURE COMPUTING；2006)提出基于视觉相似度检测钓鱼网页的方法-EMD(earth move distance)Anti-phishing方法。这个方法将web页面转换为图片，并生成签名图片。然后，利用线性规划的EMD算法从像素级别比较两个签名图片的相似度。它与基于页面特征的方法一样，没有引入信用抵抗机制，容易被攻击者通过改变页面特征的方法来绕过。

CANTINA(Carnegie Mellon Anti-phishing and Network Analysis Tool)方法(Cantina：acontent-based approach to detecting phishing web sites；Y.Zhang，J.I.Hong，and L.F Cranor；Proc.WWW，2007，pp.639-648；2007)是对某个待检测的网站U，利用TF-IDF(term frequency-inversedocument frequency)算法(Term frequency-Inverse document frequency implementation in C#；Dao，T.；The Code Project-C#Programming Visited；Nov 20，2006)进行特征提取，然后将这些特征作为关键词通过google搜索出前N个结果，看这前N个结果是否含有U的网址。如果不含，说明U是仿冒的其他网站，疑似为钓鱼网站。CANTINA没有运用到网页间互相关联的思想，没有建立信用机制。如果某个流行网站不负责任地链接到待测嫌疑网站，CANTINA很可能不负责任地把待测嫌疑网站判断为可信网站。但是攻击者可以伪造流行网站到钓鱼网站的链接，从而造成CANTINA对钓鱼网站的漏报。所以CANTINA这种方法仍然涉及到利用网页的特征，与基于网页特征的检测方法一样，没有引入本文所述的信用抵抗机制，它容易被攻击者以改变网页内容和特征的方式绕过，从而容易导致高漏报率。

iTrustPage(Itrustpage a user-assisted anti-phishing tool；Ronda，Saroiu，Wolman；ACMSIGOPS Operating Systems Review；2008)是利用PageRank来检测钓鱼网站，其工作原理是：当用户需要在网页表格中输入信息的时候，让用户根据该表格的特征，定义该表格的搜索词，然后利用这些搜索词在Google里面搜索。如果得到的前十个结果中有用户正在填写的表格，就认为该表格不是钓鱼网站的表格；如果得到的前十个结果中没有用户正在填写的表格，而且前十个结果中有与目前表格相似的表格(由用户辅助标定)，则认为这个表格是可疑的。该方法只利用了Google的搜索结果，没用到网页间互相关联的思想。这种方法与CANTINA一样，没有引入信用抵抗机制，不能抵抗流行网站的不负责任的链接，所以容易被攻击者以改变网页内容和特征的方式绕过。

PageRank(The PageRank Citation Ranking：Bringing Order to the Web；Page，Lawrence and Brin，Sergey and Motwani，Rajeev and Winograd，Terry；Technical Report.Stanford InfoLab；1999)是Larry Page提出的一种网页排名算法。它的基本思想是：与不流行网站相比，一个流行网站的特征是连接到它的流行网站较多。这种直观想法包含两个部分：链接到一个网站的网站数目越多，这个网站越流行；链接到一个网站的网站流行度越高，这个网站越流行。换句话说，一个网站的流行度与链接到该网站的网站数目和链接到该网站的网站的流行度成正比。

发明内容

本发明的目的在于解决现有技术中钓鱼网站检测容易被绕过的问题和检测漏报率太高的问题，提出一种钓鱼网站检测方法，利用搜索技术中的PageRank思想和网站互联关系来建立网站的信用机制，能够实时有效地检测钓鱼网站，且不易被恶意攻击攻破。

在整个互联网范围内，网页相互之间经常有链接。本发明的主要原理可以概述为：链接到一个网站的安全网址越多，这个网站就越安全。该原理包括两个方面：链接到一个网站的网站数目越多，这个网站越安全；链接到一个网站的网站可信度越高，这个网站越安全。换句话说，一个网站的可信度与链接到该网站的网站数目和链接到该网站的网站的可信度成正比。具体来说，本发明采用如下技术方案：

一种钓鱼网站检测方法，其步骤包括：

1)通过反链接提取得到一已知可信网站集合的反链接集合和一已知钓鱼网站集合的反链接集合，由所述各集合构成一网络拓扑结构集合；

2)计算所述网络拓扑结构集合中网站的可信度，得到一可信度数据库；

3)通过反链接提取得到待测网站的反链接集合；

4)在所述可信度数据库中查找所述待测网站的反链接集合中网页的可信度，得到所述待测网站的可信度，

5)将可信度低于一预设阈值的所述待测网站确定为钓鱼网站。

进一步地，通过搜索引擎Google提供的Web Search Api服务或Yahoo提供的APi进行所述反链接提取。但也可以采用其它方式，本发明并不限于此。

进一步地，所述可信度的计算公式为：

$R\left(u\right)=c\underset{v\∈B\left(u\right)}{\mathrm{\Σ}}\frac{R\left(v\right)}{N\left(v\right)}$

其中，R(u)为网页u的可信度，c为相关系数(其大小只影响可信度的绝对值，不影响相对大小和对钓鱼网站的检测，一般取为1)，B(u)为链接到网页u的网页v的集合，R(v)为网页v的可信度，N(v)为网页v上正向链接的集合中元素的个数。在计算所述可信度时，将所述可信网站集合中网页的初始可信度设为1，将所述钓鱼网站集合中网页的初始可信度设为0；并采用模式识别方法进行机器学习，使得已知钓鱼网站和已知可信网站的特征得以提取，从而得到所述网络拓扑结构集合中网站的可信度。所述模式识别方法包括：线性回归方法、支持向量机方法和感知器神经网络算法。

进一步地，将检测出的经人工确认的钓鱼网站加入步骤1)中所述的钓鱼网站集合，用以提高后续检测的正确率。

本发明基于网络流行度算法PageRank，利用网络互联关系建立了一种网络信用机制，得到了一个可信度数据库，解决了钓鱼网站的识别问题。与现有技术相比，本发明具有以下优点：

1)能够检测未知的钓鱼网站，是一种启发式检测的方法，构造钓鱼网站的黑客不易通过改变网址绕过检测；

2)能够克服以往基于网页特征的检测技术容易被黑客以改变网页特征、从而迷惑机器学习网页特征得来的监测系统的方式攻破的缺点；

3)利用了网页之间的互联关系，建立了信用机制。如果某钓鱼网站A想要绕过本系统对它的检测，黑客只可能通过攻破高可信度网站，并在高可信度网站上面增加链接到钓鱼网站的链接A，才能使得系统计算出的钓鱼网站A的可信度提高。但是黑客一但攻破了高可信度网站，给该高可信度网站增加了不负责任链接，由于本发明的方法考虑到无责任链接对网站可信度的影响，该高可信度网站的可信度又会降低，黑客的攻击也会失效。因此，高可信度网站的难以攻破以及被攻破后攻击的失效，增加了黑客攻破本钓鱼网站检测技术的成本。

4)能够针对各种钓鱼网站实时、高效、高正确率地进行检测。

附图说明

图1是本发明实施例的钓鱼网站检测方法的流程图。

图2是本发明实施例的神经网络算法示意图。

具体实施方式

下文通过具体实施例，并配合附图，对本发明做详细的说明。

图1是本实施例的钓鱼网站检测方法的流程图。该方法可分为训练过程和检测过程两个阶段，在训练过程阶段主要是建立可信度数据库，在检测过程阶段主要完成对嫌疑网站的检测。该方法主要包含根据种子集合提取网络结构、根据模式识别方法得到可信度数据库、根据可信度数据库进行钓鱼网站检测三个步骤，下面描述三个步骤的具体实现方式。

1)根据种子集合提取网络结构

由于一开始并不知道整个网络的可信度和拓扑结构，所以必须根据已有的信息去提取拓扑结构和提出一种数学方法去衡量可信度的大小。

已知一个可信网站集合T和一个钓鱼网站集合P，以它们为种子文件，可以通过提取反链接的方式分别得到链接到T中网页的网页网址和链接到P中网页的网页网址的集合，从而得到一个包含T和P中网页的小型网络拓扑结构集合W。所述的提取反链接可以采用很多种方式，如搜索引擎Google提供了一个Web Search Api服务，程序员可以通过这个服务得到任意想得到的网址的反链接，或者通过Yahoo提供的APi来提取反链接。

2)根据模式识别方法得到可信度数据库

步骤1)所得的小型网络拓扑结构集合W中包含可信网站集合T和钓鱼网站集合P，可以直观地假设可信网站集合T中的网页初始可信度是1，钓鱼网站集合P中的网页初始可信度是0。有了种子集合P和T中网页的可信度假设和W中的网络拓扑结构，就可以通过适当的模式识别方法将可信度扩展到整个网络拓扑结构。

如发明内容中所说，本发明的主要思想是：链接到一个网站的安全网址越多，这个网站就越安全。一个网页的正向链接，简称链接定义为它的页面上的链接；一个网页的反向链接，简称反链接，定义为链接到它的网页的网址。令R(u)为网页u的可信度，F(u)为u上正向链接(即u网页内容里面的链接)的集合，B(u)为u网页的反向链接(即网页内容里含有到u的链接)的集合，N(u)为F(u)中元素的个数，根据基于PageRank的网页可信度算法，网页u的可信度可以定义为：

$R\left(u\right)=c\underset{v\∈B\left(u\right)}{\mathrm{\Σ}}\frac{R\left(v\right)}{N\left(v\right)}...\left(1\right)$

可以看出，如果需要算出网页u的可信度，必须得知网页集合B(u)和B(u)中网页v的N(v)值和R(v)值(由于可信度是相对值，c的大小并不影响最终结果，在实现系统的时候，可取c为1)。

假定有一些已经判别好是钓鱼网站的集合P＝{x_i|1≤i≤p}(其中p是钓鱼网站集合元素个数)和可信网站的集合T＝{x_i|1≤i≤t}(其中t是可信网站集合元素个数)。现在把T和P看做种子集合，其中，钓鱼网站x_i∈P(1≤i≤p)的可信度R(x_i)定为0，可信网站y_j∈T(1≤j≤t)的可信度R(y_j)定为1。再对每个x_i和y_j分别利用Google API找出这些网站的链接到它上面的集合B(x_i)和B(y_j)。由(1)式，可得到：

$R\left(x_i\right)=c\underset{v\∈B\left(x_i\right)}{\mathrm{\Σ}}\frac{R\left(v\right)}{N\left(v\right)}=0$ (1≤i≤p)

$R\left(y_j\right)=c\underset{v\∈B\left(y_j\right)}{\mathrm{\Σ}}\frac{R\left(v\right)}{N\left(v\right)}=1$ (1≤j≤t)

假设：

B(x_i)＝{x_in|1≤n≤N_0i}

B(y_j)＝{y_jm|1≤m≤N_1j}

则有：

$R\left(x_i\right)=c\underset{n=1}{\overset{N_{0i}}{\mathrm{\Σ}}}\frac{R\left(x_{\mathrm{in}}\right)}{N\left(x_{\mathrm{in}}\right)}=0$ (1≤i≤p)               (2)

$R\left(y_j\right)=c\underset{m=1}{\overset{N_{1j}}{\mathrm{\Σ}}}\frac{R\left(y_{\mathrm{jm}}\right)}{N\left(y_{\mathrm{jm}}\right)}=1$ (1≤j≤t)               (3)

N(x_in)(网页x_in的正向链接)和N(y_jm)(网页y_jm的正向链接)可以通过统计链接得到。如果把R(x_in)(网页x_in的可信度)和R(y_jm)(网页y_jm的可信度)看做未知数，则(2)和(3)是这些未知数的方程组。

如果x_in和y_jm中相同的个数较多，也就是说，对x_i和y_j的分析中，链接到它上面的集合B(x_i)和B(y_j)的元素重复得较多，从而把R(x_in)和R(y_jm)中的重复元素合并，最终能够使：

方程的个数p+t≥未知数R(x_in)和R(y_jm) $(1\≤i\≤p;1\≤j\≤t;\∀i,1\≤n\≤N_{0i};\∀j,1\≤m\≤N_{1j})$ 的个数，则可以解出R(x_in)和R(y_jm) $(1\≤i\≤p;1\≤j\≤t;\∀i,1\≤n\≤N_{0i};\∀j,1\≤m\≤N_{1j})$ 的值。

但是通常情况下方程的个数不够多，所以这些方程组只能得到未知数之间的关系，不能得到未知数的值。或者说，必须找到一种方法，通过这个方法算得的未知数值，能够区分开已知的钓鱼网站和可信网站。有适当的模式识别方法可以进行机器学习，使得已知钓鱼网站和可信网站的特征得以提取，从而得到网络拓扑结构中网站的可信度，即所求的未知数。例如线性回归、支持向量机、感知器神经网络算法等等。下面具体介绍其中一种方法，感知器神经网络算法。

美国计算机科学家F.Roseblatt于1957年提出感知器。这里只描述感知器神经网络算法在本发明的钓鱼网络算法上的应用。如图2所示，神经网络算法以已知的N(x_in)和N(y_jm) $(1\≤i\≤p;1\≤j\≤t;\∀i,1\≤n\≤N_{0i};\∀j,1\≤m\≤N_{1j})$ 为输入的网络信号，通过式子(2)和(3)和自身算法将式子中的钓鱼网站可信度和可信网站可信度进行分类，从而而得到权值R(x_in)和R(y_jm) $(1\≤i\≤p;1\≤j\≤t;\∀i,1\≤n\≤N_{0i};\∀j,1\≤m\≤N_{1j}).$

综上所述，可以通过适当的模式识别算法算出R(x_in)和R(y_jm) $(1\≤i\≤p;1\≤j\≤t;\∀i,1\≤n\≤N_{0i};\∀j,1\≤m\≤N_{1j}).$ 至此，可以得到整个集合W中网页的可信度，从而得到了一个可信度数据库W。如果训练集，即种子文件T和P中含有足够多的网址，那么W中的网页足够覆盖大部分因特网。

3)根据可信度数据库进行钓鱼网站检测

对于W中没有包含的网页，可以通过基于PageRank的网页可信度算法来算出它的可信度。例如对于某个待测嫌疑网页u，如果令R(u)为网页u的可信度，可以通过反链接提取得到u的反向链接B(u)(即网页内容里含有到u的链接)，通过对网页u本身的考察得到u上链接的集合(即u网页内容里面的链接的集合)F(u)。设N(u)为F(u)中元素的个数，则根据基于PageRank的网页可信度算法，网页u的可信度可以定义为公式(1)的形式。

其中，R(v)的值可以在可信度数据库W中查找到。N(v)的值可以通过考察网页v上的外链接数得到。从而可以算出网页u的可信度。如果这个可信度大于一个阈值(如0.5，根据机器学习的结果来确定)，则网页u是安全的；如果这个可信度小于这个阈值，则网页u是嫌疑的钓鱼网站。

按照上述的钓鱼网站检测方法，在第一步根据种子集合提取网络结构中，随机取了www.alexa.com维护的流行网站名单中的100个作为可信网站的种子集合，随机取了phishtank.com维护的钓鱼网站名单中的100个作为钓鱼网站的种子集合；在第二步根据模式识别方法得到可信度数据库中，选用神经网络算法来得到可信度数据库；在第三步跟据可信度数据库进行钓鱼网站检测中，为了测试系统的性能，检测了phishtank.com维护的钓鱼网站名单中的4315个钓鱼网站，其中4300个被正确检测为钓鱼网站，只有15个检测错误，正确率达99.65％。其中检测错误的网站大部分可以通过扩大训练集合(即种子集合)最终被检测正确。这些数据证明了本发明的有效性和可行性。

在上述实施例中，对已经被上述步骤检测为钓鱼网站的网站，经人工确认后如果发现该网站确实是钓鱼网站，则可以将该钓鱼网站加入步骤1)中的钓鱼网站集合，以扩大训练集合，提高后续钓鱼网站检测的正确率。

上述实施例仅是为了便于说明本发明的技术原理而举例，本发明的保护范围应以权利要求书所述为准，而非仅限于上述实施例。

Claims (7)

1.一种钓鱼网站检测方法，其特征在于，包括如下步骤：

1)通过反链接提取得到一已知可信网站集合的反链接集合和一已知钓鱼网站集合的反链接集合，由所述各集合构成一网络拓扑结构集合；

2)计算所述网络拓扑结构集合中网站的可信度，得到一可信度数据库；所述可信度的计算公式为：

$R\left(u\right)=c\underset{v\∈B\left(u\right)}{\mathrm{\Σ}}\frac{R\left(v\right)}{N\left(v\right)},$

其中，R(u)为网页u的可信度，c为相关系数，B(u)为链接到网页u的网页v的集合，R(v)为网页v的可信度，N(v)为网页v上正向链接的集合中元素的个数；

3)通过反链接提取得到待测网站的反链接集合；

4)在所述可信度数据库中查找所述待测网站的反链接集合中网页的可信度，得到所述待测网站的可信度；

5)将可信度低于一预设阈值的所述待测网站确定为钓鱼网站。

2.如权利要求1所述的方法，其特征在于，通过搜索引擎Google提供的Web Search Api服务或Yahoo提供的APi进行所述反链接提取。

3.如权利要求1所述的方法，其特征在于，在计算所述可信度时，采用模式识别方法进行机器学习，使得已知钓鱼网站和已知可信网站的特征得以提取，以得到所述网络拓扑结构集合中网站的可信度。

4.如权利要求3所述的方法，其特征在于，所述模式识别方法包括：线性回归方法、支持向量机方法和感知器神经网络算法。

5.如权利要求1所述的方法，其特征在于，所述预设阈值根据机器学习的结果来确定。

6.如权利要求5所述的方法，其特征在于，所述预设阈值为0.5。

7.如权利要求1所述的方法，其特征在于，将检测出的经人工确认的钓鱼网站加入步骤1)中所述的钓鱼网站集合，用以提高后续检测的正确率。