CN102045360A

CN102045360A - 恶意网址库的处理方法及装置

Info

Publication number: CN102045360A
Application number: CN2010106139217A
Authority: CN
Inventors: 马勺布; 郭辉; 吴朝花
Original assignee: Huawei Symantec Technologies Co Ltd
Current assignee: Huawei Digital Technologies Chengdu Co Ltd
Priority date: 2010-12-27
Filing date: 2010-12-27
Publication date: 2011-05-04
Anticipated expiration: 2030-12-27
Also published as: CN102045360B

Abstract

本发明实施例提供一种恶意网址库的处理方法及装置。恶意网址库的处理方法包括：获取恶意统一资源定位符；将恶意统一资源定位符的二级域名或三级域名作为第一统一资源定位符段；计算第一统一资源定位符段的哈希值；根据恶意统一资源定位符，获取至少一个第二统一资源定位符段；分别计算至少一个第二统一资源定位符段的哈希值；将第一统一资源定位符段的哈希值和至少一个第二统一资源定位符段分别对应的哈希值存储至恶意网址库。采用本发明的技术方案，恶意网址库中存储的哈希值的覆盖范围较宽，能够有效地增加当恶意统一资源定位符的路径或者参数发生变化时在恶意网址库中被检测到的概率，能够提高对恶意统一资源定位符的检测效率。

Description

恶意网址库的处理方法及装置

技术领域

本发明实施例涉及网络技术领域，尤其涉及一种恶意网址库的处理方法及装置。

背景技术

随着互联网的迅猛发展，网络对人们的生活越来越重要，但是各式各样的恶意网站层出不穷，例如网页木马、钓鱼网站等等。恶意网站直接威胁着用户安全，因此加强对恶意网站的监控势在必行。

现有技术中，恶意统一资源定位符(Uniform Resource Locator；URL)的监控方法主要是根据已有的恶意URL的哈希值构成的恶意网址库进行检测。通过在个人计算机(Person Computer；以下简称PC)的客户端、浏览器、安全装置以及手机终端等地方运用恶意URL的恶意网址库对恶意的URL进行检测，以对恶意的URL的访问进行阻断或者给用户提出警告。现有技术中恶意URL的恶意网址库通常是采用如下方法得到：对恶意URL进行明文规范话处理，然后计算每一个恶意URL的哈希值；并将所有恶意URL存储在数据库中构成恶意URL的恶意网址库。使用时，用户可以对待检测的URL进行规范化后，计算该待检测的URL对应的哈希值；然后检测恶意URL的恶意网址库中是否存在该待检测URL对应的哈希值，若存在，则表明该待检测的URL为恶意URL，否则为非恶意URL。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：现有技术的恶意URL的恶意网址库中需要对主域名相同的每一个恶意URL的哈希值都需要分别进行存储，检测时，当访问的恶意URL的路径或者参数随机发生变化时，该恶意网址库就检测不到。因此现有的恶意URL的恶意网址库的覆盖面较窄，检测恶意URL效率较低。

发明内容

本发明实施例提供一种恶意网址库的处理方法及装置，用以解决利用现有技术中恶意网址库检测恶意URL的检测效率较低的缺陷。

本发明实施例提供一种恶意网址库的处理方法，包括：

获取恶意统一资源定位符；

将所述恶意统一资源定位符的二级域名或三级域名作为第一统一资源定位符段；

计算所述第一统一资源定位符段的哈希值；

根据所述恶意统一资源定位符，获取至少一个包括有域名段和路径段的第二统一资源定位符段；

分别计算所述至少一个第二统一资源定位符段的哈希值；

将所述第一统一资源定位符段的哈希值和所述至少一个第二统一资源定位符段分别对应的哈希值存储至恶意网址库。

本发明实施例提供一种恶意网址库的处理装置，包括：

获取模块，用于获取恶意统一资源定位符；

处理模块，用于将所述恶意统一资源定位符的二级域名或三级域名作为第一统一资源定位符段；

计算模块，用于计算所述第一统一资源定位符段的哈希值；

所述获取模块，还用于根据所述恶意统一资源定位符，获取至少一个包括有域名段和路径段的第二统一资源定位符段；

所述计算模块，还用于分别计算所述至少一个第二统一资源定位符段的哈希值；

存储模块，用于将所述第一统一资源定位符段的哈希值和所述至少一个第二统一资源定位符段分别对应的哈希值存储至恶意网址库。

本发明实施例的恶意网址库的处理方法及装置，通过将获取的恶意统一资源定位符的二级域名或三级域名作为第一统一资源定位符段；计算所述第一统一资源定位符段的哈希值；根据所述恶意统一资源定位符，获取至少一个第二统一资源定位符段；分别计算所述至少一个第二统一资源定位符段的哈希值；并将所述第一统一资源定位符段的哈希值和所述至少一个第二统一资源定位符段分别对应的哈希值存储至恶意网址库。这样，对同一个恶意统一资源定位符，可以衍生至少一个对应的哈希值，并存储在恶意网址库中。本实施例的恶意网址库中存储的哈希值的覆盖范围较宽，能够有效地增加当恶意统一资源定位符的路径或者参数发生变化时还会在恶意网址库中被检测到的概率。因此，采用本发明实施例的技术方案，能够提高对恶意统一资源定位符的检测效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的恶意网址库的处理方法的流程图。

图2为本发明实施例二提供的恶意网址库的处理方法的流程图。

图3为本发明实施例三提供的恶意网址库的处理方法的流程图。

图4为本发明实施例四提供的恶意网址库的处理方法的流程图。

图5为本发明实施例五提供的哈希处理装置的结构示意图。

图6为本发明实施例六提供的哈希处理装置的结构示意图。

图7为本发明实施例七提供的恶意网址库的处理装置的结构示意图。

图8为本发明实施例八提供的恶意网址库的处理装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例一提供的恶意网址库的处理方法的流程图。如图1所示，本实施例的恶意网址库的处理方法，具体可以包括：

步骤100、获取恶意URL；

具体地，可以从恶意URL明文库中获取，也可以通过其他方法获取恶意URL。

步骤101、获取该恶意URL的二级域名或三级域名作为第一URL段；

例如：如果顶级域名是“.com”、“.org”、“.edu”、“.net”、“.gov”、“.int”、“.mil”、“.biz”、“.info”、“.pro”、“.name”、“.idv”等非国家顶级域名，则第一URL段可以为该恶意URL的二级域名；如提取的第一URL段可以为huawei.com；apwg.org；apwg.net；sina.com；baidu.com等等。如果顶级域名是国家或地区域名，则判断二级域名，如果二级域名是常用的顶级域名字符串，比如“.com”、“.org”、“.net”、“.gov”、“.edu”、“.biz”等，则第一URL段为该恶意URL的三级域名，这种情况下，恶意URL的域名通常是在二级域名下注册的，因此需要提取到三级域名。例如提取的第一URL段可以为huawei.com.cn；sina.com.cn；baidu.com.cn等等。如果此时仍然提取到二级域名“com.cn”没有任何针对性，因此没有实际意义。

步骤102、计算该第一URL段的哈希值；

步骤103、根据该恶意URL，获取至少一个包括有域名段和路径段的第二URL段；

具体地，可以按照任何预设规则从恶意URL中截取一段包括有域名段和路径段的URL作为第二URL段。

步骤104、分别计算至少一个第二URL段的哈希值；

步骤105、将该第一URL段的哈希值和至少一个第二URL段分别对应的哈希值存储至恶意网址库。

本实施例的恶意网址库的处理方法，主要用于创建一个恶意网址库。本实施例以根据一个恶意URL创建恶意网址库为例。实际应用中，可以将至少一个恶意URL进行上述实施例的处理，并将每一个恶意URL对应的第一URL段对应的哈希值和至少一个第二URL段分别对应的哈希值存储到恶意网址库中。

本实施例的步骤101中计算第一URL段的哈希值和步骤103中计算至少一个第二URL段分别对应的哈希值，具体可以采用信息-摘要算法5(Message-Digest Algorithm 5；以下简称MD5)进行计算；或也可以采用安全散列算法(Secure Hash Algorithm；以下简称SHA1)或其他哈希算法进行计算。

本实施例的恶意网址库的处理方法，通过将获取的恶意URL的二级域名或三级域名作为第一URL段；计算第一URL段的哈希值；根据恶意URL获取至少一个第二URL段；分别计算至少一个第二URL段的哈希值；创建包括第一URL段的哈希值和至少一个第二URL段分别对应的哈希值的恶意网址库。这样，对同一个URL，可以衍生至少一个对应的哈希值，并存储在恶意网址库中，扩大了恶意网址库中哈希值的覆盖范围，能够有效地增加当恶意URL的路径或者参数发生变化时还会在恶意网址库中被检测到的概率。因此，采用本发明实施例的技术方案，能够提高后续对恶意URL的检测效率。

图2为本发明实施例二提供的恶意网址库的处理方法的流程图。如图2所示，本实施例的恶意网址库的处理方法，具体可以包括：

步骤200、获取恶意URL；

步骤201、将该恶意URL进行规范化处理；

具体地，这里的规范化处理主要指的是将恶意URL中的包含的字母大小写统一等处理。

步骤202、获取该恶意URL的二级域名或三级域名作为第一URL段；

步骤203、计算该第一URL段的哈希值；

步骤204、按照域名对该恶意URL进行分段，获取到M个域名段；

其中M≤5，M为正整数；

具体地，按照域名对该恶意URL进行分段时，最多可以取5个域名段；例如可以取全域名、若域名级数大于5，可以取二级、三级、四级以及五级域名作为域名段。

步骤205、按照路径对恶意URL进行分段；获取到N个路径段；

其中N≤6，N为正整数；

具体地，按照路径对该恶意URL进行分段时，最多可以取6个路径段；例如可以取全路径、全路径加参数；若路径数大于4，则可以取从根路径开始的一级、二级、三级、四级路径作为路径段。

步骤206、根据M个域名段和N个路径段，获取至少一个第二URL段；

具体地，可以直接将M个域名段和N个路径段按照一域名段加一个路径段的原则进行组合，以获取至少一个第二URL段。但是这样获取的第二URL段可能过于冗余，实际应用中，可以对M个域名段和N个路径段按照一域名段加一个路径段的原则进行组合后的多个URL段进行合并处理，以减少冗余。例如步骤206可以采用如下方法实现：

(1)将M个域名段和N个路径段进行组合，得到多个组合的URL段；

(2)将多个组合的URL段进行合并处理，获取到至少一个第二URL段。

其中这里的步骤(2)可以如下方法实现：

(a)、将多个组合的URL段中的包括有域名段和路径段的URL分段进行统计处理；

具体地，在选取URL分段时，按照域名段和路径段的原则，按照由小到大即由短到长的顺序来对所有的URL段进行过滤，获取每个URL段中的URL分段。

(b)、将URL分段的数目与预设的阈值进行比较；当URL分段的数目大于预设的阈值时，执行步骤(c)；否则当URL分段的数目小于预设的阈值时，执行步骤(d)；

具体地，统计所有组合的URL段各个URL分段的数目，并与为该URL分段预设的阈值进行比较。为不同的URL分段设置不同的阈值，当某一URL分段的统计数目大于阈值时，可以认为该URL分段为恶意的。这里的阈值的大小可以是通过对恶意URL明文库中包括该URL分段的URL进行统计得到。

(c)、采用URL分段替代包括该URL分段的所有的组合的URL段；

具体地，该步骤相当于将所有包括该URL分段的所有的组合的URL段合并为一个即该URL分段。

(d)、进一步判断恶意URL明文库中是否存储有该URL分段；当存储有的时候，执行步骤(e)；否则，若未存储，执行步骤(f)；

(e)、采用URL分段替代包括该URL分段的所有的组合的URL段；

具体地，该步骤亦相当于将所有包括该URL分段的所有的组合的URL段合并为一个即该URL分段。

采用上述步骤(a)-(e)，可以将多个组合的URL段能够合并的尽量合并，如果合并不了的，仍然保留，最终剩下的都为第二URL段，这样可以得到至少一个第二URL段；经过上述方法得到的至少一个第二URL段与合并之前的多个组合的URL段相比要少一些，相应的需要存储到恶意网址库中的哈希值也相对的少一些，采用该步骤可以减少恶意网址库的容量。

例如当恶意URL为：a.b.c.d.e.f.g/1/2/3/4/5/a.html？para＝1；

根据步骤204，可以得到如下5个域名段：

a.b.c.d.e.f.g

c.d.e.f.g

d.e.f.g

e.f.g

f.g

根据步骤205，可以得到如下6个路径段：

/1/2/3/4/5/a.html？para＝1

/1/2/3/4/5/a.html

/1/2/3/

/1/2/

/1/

/

根据步骤206将域名段和路径段组合得到如下的组合的URL段：

a.b.c.d.e.f.g/1/2/3/4/5/a.html？para＝1

a.b.c.d.e.f.g/1/2/3/4/5/a.html

a.b.c.d.e.f.g/

a.b.c.d.e.f.g/1/

a.b.c.d.e.f.g/1/2/

a.b.c.d.e.f.g/1/2/3

c.d.e.f.g/1/2/3/4/5/a.html？para＝1

c.d.e.f.g/1/2/3/4/5/a.html

c.d.e.f.g/

c.d.e.f.g/1/

c.d.e.f.g/1/2/

c.d.e.f.g/1/2/3/

d.e.f.g/1/2/3/4/5/a.html？para＝1

d.e.f.g/1/2/3/4/5/a.html

d.e.f.g/

d.e.f.g/1/

d.e.f.g/1/2/

d.e.f.g/1/2/3/

e.f.g/1/2/3/4/5/a.html？para＝1

e.f.g/1/2/3/4/5/a.html

e.f.g/

e.f.g/1/

e.f.g/1/2/

e.f.g/1/2/3/

f.g/1/2/3/4/5/a.html？para＝1

f.g/1/2/3/4/5/a.html

f.g/

f.g/1/

f.g/1/2/

f.g/1/2/3/

将每条恶意URL都进行上述的处理之后，可以得到很多个URL段，由于恶意URL相似的很多，这种相似一般体现在URL的域名不变而路径部分改变或参数随机变化，当类似的URL出现次数较多时可以将它们合并。具体地，可以找出这些相似的URL段中共有的URL分段，若这些URL分段的统计次数大于一定数值后，就可以用该URL分段去表示这一系列相似的URL段。

这里合并原则可以归纳为以下三个原则：

原则1——取短原则。对于每个组合的URL段，按照【域名级数+路径级数】由小到大(由短到长)的顺序来对所有的URL分段进行过滤统计。

原则2——若URL分段的统计次数超过此URL分段的阈值，则提取该URL分段，而包含该URL分段内容的所有其他的组合的URL段予以丢弃；

原则3——若URL分段的统计次数未超过此URL分段的阈值，但此URL分段在恶意URL明文库中存在，则提取该URL分段，同时包含该URL分段内容的所有其他的组合的URL段予以丢弃不再计算；

例如：

(1)006388.com/

(2)006388.com/gp_v.asp

(3)006388.com/gp_v.asp？sid＝1

(4)006388.com/gp_v.asp？sid＝1&vid＝14901

(5)006388.com/gp_v.asp？sid＝1&vid＝16276

(6)006388.com/gp_v.asp？sid＝1&vid＝16471

(7)006388.com/gp_v.asp？sid＝1&vid＝16741

(8)006388.com/gp_v.asp？sid＝1&vid＝16866

(9)006388.com/gp_v.asp？sid＝1&vid＝17196

(10)006388.com/gp_v.asp？sid＝1&vid＝17515

(11)006388.com/gp_v.asp？sid＝1&vid＝17583

(12)006388.com/gp_v.asp？sid＝1&vid＝17971

从上述12个组合的URL段中可以提取出URL分段“006388.com/”和“006388.com/gp_v.asp”。经过过滤统计，有如下信息：

006388.com/ 阈值为：20 统计次数：12

006388.com/gp_v.asp 阈值为：10 统计次数：11

可以知道URL分段“006388.com/”最先提取，其出现次数未达到阈值，而提取的URL分段“006388.com/gp_v.asp”则符合要求，其出现次数达到阈值。但由于在恶意URL明文库中“006388.com/”也是恶意URL，因此此种情况下取“06388.com/”作为上述恶意URL段合并后的URL分段并且舍弃其他URL段的合并，如舍弃“006388.com/gpv.asp”。将每个恶意URL的多个组合的URL段进行上述合并处理后，留下的URL段或者URL分段都为该恶意URL对应的第二URL段。

步骤207、分别计算至少一个第二URL段的哈希值；

步骤208、将该第一URL段的哈希值和至少一个第二URL段分别对应的哈希值存储至恶意网址库。

采用本实施例方法可以将至少一个恶意URL分别对应的第一URL段的哈希值和至少一个第二URL段的哈希值存储到恶意网址库中。

本实施例的恶意网址库的处理方法，通过采用按照域名对恶意URL进行分段，获取到M个域名段；按照路径对恶意URL进行分段；获取到N个路径段；然后将M个域名段和N个路径段进行组合；获取到至少一个第二URL段；并存储至少一个第二URL段对应的哈希值至恶意网址库中。采用本实施例的技术方案，能够扩大恶意网址库中哈希值的覆盖范围，有效地增加当恶意URL的路径或者参数发生变化时还会在恶意网址库中被检测到的概率。因此，采用本实施例的技术方案，能够提高后续对恶意URL的检测效率。

图3为本发明实施例三提供的恶意网址库的处理方法的流程图。本实施例的恶意网址库的处理方法主要介绍如何利用上述实施例一或者二所建立的恶意网址库检测恶意URL的方法。如图3所示，本实施例的恶意网址库的处理方法，可以包括如下步骤：

步骤300、获取待检测的URL；

具体地，上述实施一或者二得到的恶意网址库存储在PC、浏览器、安全装置以及手机终端等上，使用时，需要先获取待检测的URL。

步骤301、根据恶意网址库，预检测待检测的URL是否为疑似恶意的URL；当预检测该待检测的URL为疑似恶意的URL时，执行步骤302；否则当预检测该待检测的URL为非疑似恶意的URL时，执行步骤303；

步骤302、当预检测该待检测的URL为疑似恶意的URL时，根据恶意网址库再次检测该待检测的URL是否为恶意的URL；

步骤303、结束检测。

本实施例的恶意网址库的处理方法，通过根据预先建立的恶意网址库对待检测的URL进行预检测，当在预检测的过程中待检测的URL是疑似恶意的URL，再根据恶意网址库对待检测的URL进行再次检测。当在预检测过程中待检测的URL是非疑似恶意的URL，结束检测。由于相对于大多述URL，恶意URL毕竟是少数，这样，先经过预检测，当确定为非疑似恶意URL的时候，结束检测，可以避免正常的URL都进行再次检测。采用本实施例的技术方案，可以提高检测效率。

图4为本发明实施例四提供的恶意网址库的处理方法的流程图。同上述实施例三相似，本实施例的恶意网址库的处理方法详细介绍如何利用上述实施例一或者二所建立的恶意网址库检测恶意URL的方法。如图4所示，本实施例的恶意网址库的处理方法，具体可以包括

步骤400、获取待检测的URL；执行步骤401；

步骤401、将待检测的URL的二级域名或三级域名作为第三URL段；执行步骤402；

步骤402、计算第三URL段的哈希值；执行步骤403；

步骤403、预检测恶意网址库中是否存储有第三URL段的哈希值；若存储有，确定预检测待检测的URL为疑似恶意的URL，执行步骤404；否则，若未存储有，确定预检测待检测的URL为非疑似恶意的URL，结束检测；

步骤404、按照域名对待检测的URL进行分段，获取到L个域名段；其中L≤5，L为正整数；执行步骤405；

步骤405、按照路径对待检测的URL进行分段；获取到P个路径段；其中P≤6，P为正整数；执行步骤406；

步骤406、将L个域名段和P个路径段进行组合；获取到多个第四URL段；执行步骤407；

具体地，步骤404-步骤406的执行过程与上述实施例二中的步骤203-步骤205的执行过程相似，详细可以参考上述实施例二的记载，在此不再赘述。

步骤407、计算获取多个第四URL段分别对应的哈希值；执行步骤408；

计算采用的算法与上述实施例相同，详细可以参考上述实施例的记载，在此不再赘述。

步骤408、检测恶意网址库中是否存储有其中一个第四URL段的哈希值；

若恶意网址库中存储有其中一个第四URL段的哈希值时，执行步骤409；否则当恶意网址库中没有存储多个第四URL段中任意一个第四URL段的哈希值时，执行步骤410；

步骤409、确定待检测的URL为恶意的URL；

步骤410、确定待检测的URL为非恶意的URL。

本实施例的恶意网址库的处理方法，通过根据预先建立的恶意网址库对待检测的URL进行预检测，当预检测待检测的URL是疑似恶意的URL，再根据恶意网址库对待检测的URL进行再次检测。当预检测待检测的URL是非疑似恶意的URL，结束检测。由于相对于大多述URL，恶意URL毕竟是少数，这样，先经过预检测，当确定为非疑似恶意URL的时候，结束检测，可以避免正常的URL都进行再次检测。采用本实施例的技术方案，可以提高检测效率。

上述实施例一至四所述的恶意网址库的处理方法执行主体为恶意网址库的处理装置，具体可以为PC、安全装置或者移动终端等等。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

图5为本发明实施例五提供的哈希处理装置的结构示意图。如图5所示，本实施例的哈希处理装置具体可以包括：获取模块10、处理模块11、计算模块12和存储模块13。

其中获取模块10用于获取恶意URL。处理模块11与获取模块10连接，处理模块11用于将获取模块10获取的的恶意URL的二级域名或三级域名作为第一URL段。计算模块12与处理模块11连接，计算模块12用于计算处理模块11得到的第一URL段的哈希值。处理模块11还用于根据获取模块10接收的恶意URL获取对应的至少一个第二URL段。计算模块12还用于分别计算处理模块11得到的至少一个第二URL段的哈希值。存储模块13与计算模块12连接，存储模块13用于将计算模块12计算的第一URL段的哈希值和计算模块12计算的至少一个第二URL段分别对应的哈希值存储至恶意网址库。

本实施例的哈希处理装置通过采用上述模块实现哈希处理方法的实现机制与上述相关方法实施例的实现机制相同，详细可以参考上述相关方法实施例的记载，在此不再赘述。

本实施例的恶意网址库的处理装置，通过采用上述模块实现获取恶意URL的二级域名或三级域名作为第一URL段；计算第一URL段的哈希值；根据恶意URL获取至少一个第二URL段；分别计算至少一个第二URL段的哈希值；创建包括第一URL段的哈希值和至少一个第二URL段分别对应的哈希值的恶意网址库。这样，对同一个URL，可以衍生至少一个对应的哈希值，并存储在恶意网址库中，扩大了恶意网址库中哈希值的覆盖范围，能够有效地增加当恶意URL的路径或者参数发生变化时还会在恶意网址库中被检测到的概率。因此，采用本发明实施例的技术方案，能够提高后续对恶意URL的检测效率。

图6为本发明实施例六提供的哈希处理装置的结构示意图。如图6所示，本实施例的哈希处理装置在上述图5所示实施例的基础上，本实施例的哈希处理装置还可以包括第一规范化模块14。第一规范化模块14与获取模块10连接，第一规范化模块14用于将获取模块10获取的恶意URL进行规范化处理。

其中处理模块11具体可以包括：第一获取单元111、第二获取单元112、第三获取单元113和第四获取单元114。

其中第一获取单元111与第一规范化模块14连接，第一获取单元111用于获取第一规范化模块14规范处理后得到的恶意URL的二级域名或三级域名作为第一URL段。第二获取单元112与第一规范化模块14连接，第二获取单元112用于按照域名对第一规范化模块14规范处理后得到的恶意URL进行分段，获取到M个域名段；M≤5，M为正整数。第三获取单元113与第一规范化模块14连接，第三获取单元113用于按照路径对第一规范化模块14规范处理后得到的恶意URL进行分段；获取到N个路径段；N≤6，N为正整数。第四获取单元114分别与第二获取单元112和第三获取单元113连接。第四获取单元114用于根据第二获取单元112获取的M个域名段和第三获取单元113获取的N个路径段获取至少一个第二URL段。

其中第四获取单元114具体可以包括：组合子单元1141和合并子单元1142。其中组合子单元1141分别与第二获取单元112和第三获取单元113连接，组合子单元1141用于将第二获取单元112获取的M个域名段和第三获取单元113获取的N个路径段进行组合；得到多个组合的URL段。合并子单元1142与组合子单元1141连接，合并子单元1142用于将组合子单元1141得到的多个组合的URL段进行合并处理，获取到至少一个第二URL段。其中合并子单元1142具体用于将组合子单元1141得到的多个组合的URL段中的包括有域名段和路径段的URL分段进行统计处理；并将URL分段的数目与预设的阈值进行比较；当URL分段的数目大于预设的阈值时，采用该URL分段替代包括该URL分段的所有的组合的URL段；当URL分段的数目小于预设的阈值时，进一步判断恶意URL明文库中是否存储有该URL分段；当恶意URL明文库中存储有该URL分段，采用该URL分段替代包括该URL分段的所有的组合的URL段；最终得到至少一个第二URL段。

对应地，此时计算模块12分别与第一获取单元111和第四获取单元114中的合并子单元1142连接，分别计算第一获取单元111获取的第一URL段的哈希值和合并子单元1142获取的至少一个第二URL段的哈希值。

本实施例的恶意网址库的处理装置，通过上述模块实现采用按照域名对恶意URL进行分段，获取到M个域名段；按照路径对恶意URL进行分段；获取到N个路径段；然后将M个域名段和N个路径段进行组合；获取到至少一个第二URL段；并存储至少一个第二URL段对应的哈希值至恶意网址库中。采用本实施例的技术方案，能够扩大了恶意网址库中哈希值的覆盖范围，有效地增加当恶意URL的路径或者参数发生变化时还会在恶意网址库中被检测到的概率。因此，采用本实施例的技术方案，能够提高后续对恶意URL的检测效率。

图7为本发明实施例七提供的恶意网址库的处理装置的结构示意图。本实施例的恶意网址库的处理装置在上述实施例五的基础上，还可以包括如下图7所示的结构。如图7所示，本实施例的恶意网址库的处理装置进一步还可以包括：预检测模块15和再次检测模块16。

其中获取模块10还用于获取待检测的URL。预检测模块15与获取模块10连接，预检测模块15用于根据恶意网址库，预检测获取模块10获取的待检测的URL是否为疑似恶意的URL；当预检测该待检测的URL为非疑似恶意的URL时，结束检测。再次检测模块16与预检测模块15连接，再次检测模块16用于当预检测模块15预检测获取模块10获取的待检测的URL为疑似恶意的URL时，根据恶意网址库再次检测该待检测的URL是否为恶意的URL。

同理，也可以在上述图6所示实施例六的基础上，增加本实施例的技术方案。

本实施例的恶意网址库的处理装置，通过上述模块实现根据预先建立的恶意网址库对待检测的URL进行预检测，当预检测待检测的URL是恶意的URL，再根据恶意网址库对待检测的URL进行再次检测。当预检测待检测的URL是非疑似恶意的URL，结束检测。由于相对于大多述URL，恶意URL毕竟是少数，这样，先经过预检测，当确定为非疑似恶意URL的时候，结束检测，可以避免正常的URL都进行再次检测。采用本实施例的技术方案，可以提高检测效率。

图8为本发明实施例八提供的恶意网址库的处理装置的结构示意图。如图8所示，本实施例的恶意网址库的处理装置在上述图7所示实施例的基础上，进一步还包括：第二规范化模块17。该第二规范化模块17与获取模块10连接，第二规范化模块17用于将获取模块10获取的待检测的URL进行规范化处理。

其中预检测模块15具体可以包括：第一获取单元151、第一计算单元152和第一检测单元153。

其中第一获取单元151与第二规范化模块17连接，第一获取单元151用于获取第二规范化模块17规范化处理后得到的待检测的URL的二级域名或三级域名作为第三URL段。第一计算单元152与第一获取单元151连接，第一计算单元152用于计算第一获取单元151获取的第三URL段的哈希值。第一检测单元153与第一计算单元152连接，第一检测单元153用于检测恶意网址库中是否存储有第一计算单元152计算得到的第三URL段的哈希值；若存储有，确定预检测该待检测的URL为疑似恶意的URL；否则，确定预检测该待检测的URL为非疑似恶意的URL，并结束检测。

其中再次检测模块16具体可以包括：第二获取单元161、第二计算单元162和第二检测单元163。

其中第二获取单元161分别与第一检测单元153和与第二规范化模块17连接，第二获取单元161用于当第一检测单元153确定预检测该待检测的URL为疑似恶意的URL时，按照域名对第二规范化模块17规范化处理后得到的该待检测的URL进行分段，获取到L个域名段；其中L≤5，L为正整数。第二获取单元161还用于按照路径对处理模块11获取的该待检测的URL进行分段；获取到P个路径段；其中P≤6，P为正整数。然后第二获取单元161还用于将获取的L个域名段和获取的P个路径段进行组合；获取到多个第四URL段。第二计算单元162与第二获取单元161连接，第二计算单元162用于计算第二获取单元161获取的多个第四URL段分别对应的哈希值。第二检测单元163与第二计算单元162连接。第二检测单元163用于检测恶意网址库中是否存储有第二计算单元162计算的其中一个第四URL段的哈希值；当恶意网址库中存储有其中一个第四URL段的哈希值时，确定该待检测的URL为恶意的URL；当恶意网址库中没有存储多个第四URL段中任意一个第四URL段的哈希值时，确定该待检测的URL为非恶意的URL。

本实施例的恶意网址库的处理装置，通过采用上述模块实现根据预先建立的恶意网址库对待检测的URL进行预检测，当预检测待检测的URL是疑似恶意的URL，再根据恶意网址库对待检测的URL进行再次检测。当预检测待检测的URL是非疑似恶意的URL，结束检测。由于相对于大多述URL，恶意URL毕竟是少数，这样，先经过预检测，当确定为非疑似恶意URL的时候，结束检测，可以避免正常的URL都进行再次检测。采用本实施例的技术方案，可以提高检测效率。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到至少两个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种恶意网址库的处理方法，其特征在于，包括：

获取恶意统一资源定位符；

计算所述第一统一资源定位符段的哈希值；

分别计算所述至少一个第二统一资源定位符段的哈希值；

2.根据权利要求1所述的恶意网址库的处理方法，其特征在于，所述根据所述恶意统一资源定位符，获取至少一个第二统一资源定位符段，具体包括：

按照域名对所述恶意统一资源定位符进行分段，获取到M个域名段；所述M≤5，M为正整数；

按照路径对所述恶意统一资源定位符进行分段；获取到N个路径段；所述N≤6，N为正整数；

根据所述M个域名段和所述N个路径段，获取所述至少一个第二统一资源定位符段。

3.根据权利要求2所述的恶意网址库的处理方法，其特征在于，根据所述M个域名段和所述N个路径段，获取所述至少一个第二统一资源定位符段，具体包括：

将所述M个域名段和所述N个路径段进行组合；得到多个组合的统一资源定位符段；

将所述多个组合的统一资源定位符段进行合并处理，获取到所述至少一个第二统一资源定位符段；

所述将所述多个组合的统一资源定位符段进行合并处理，获取到所述至少一个第二统一资源定位符段，具体包括：

将所述多个组合的统一资源定位符段中的包括有域名段和路径段的统一资源定位符分段进行统计处理；

将所述统一资源定位符分段的数目与预设的阈值进行比较；

当所述统一资源定位符分段的数目大于所述预设的阈值时，采用所述统一资源定位符分段替代包括所述统一资源定位符分段的所有的组合的统一资源定位符段；当所述统一资源定位符分段的数目小于所述预设的阈值时，进一步判断恶意统一资源定位符明文库中是否存储有所述统一资源定位符分段；

当所述恶意统一资源定位符明文库中存储有所述统一资源定位符分段，采用所述统一资源定位符分段替代包括所述统一资源定位符分段的所有的组合的统一资源定位符段；最终得到所述至少一个第二统一资源定位符段。

4.根据权利要求1所述的恶意网址库的处理方法，其特征在于，将所述第一统一资源定位符段的哈希值和所述至少一个第二统一资源定位符段分别对应的哈希值存储至恶意网址库之后，还包括：

获取待检测的统一资源定位符；

根据所述恶意网址库，预检测所述待检测的统一资源定位符是否为疑似恶意的统一资源定位符；当预检测所述待检测的统一资源定位符为非疑似恶意的统一资源定位符时，结束检测；

当预检测所述待检测的统一资源定位符为疑似恶意的统一资源定位符时，根据所述恶意网址库再次检测所述待检测的统一资源定位符是否为恶意的统一资源定位符；

所述根据所述恶意网址库，预检测所述待检测的统一资源定位符是否为疑似恶意的统一资源定位符，具体包括：

获取待检测的统一资源定位符的二级域名或三级域名作为第三统一资源定位符段；

计算所述第三统一资源定位符段的哈希值；

检测所述恶意网址库中是否存储有所述第三统一资源定位符段的哈希值；若存储有，确定预检测所述待检测的统一资源定位符为疑似恶意的统一资源定位符；否则，确定预检测所述待检测的统一资源定位符为非疑似恶意的统一资源定位符，并结束检测。

5.根据权利要求4所述的恶意网址库的处理方法，其特征在于，当预检测所述待检测的统一资源定位符为疑似恶意的统一资源定位符时，根据所述恶意网址库再次检测所述待检测的统一资源定位符是否为恶意的统一资源定位符，具体包括：

当预检测所述待检测的统一资源定位符为疑似恶意的统一资源定位符时，按照域名对所述待检测的统一资源定位符进行分段，获取到L个域名段；所述L≤5，L为正整数；

按照路径对所述待检测的统一资源定位符进行分段；获取到P个路径段；所述P≤6，P为正整数；

将所述L个域名段和所述P个路径段进行组合；获取到所述多个第四统一资源定位符段。

计算获取所述多个第四统一资源定位符段分别对应的哈希值；

检测所述恶意网址库中是否存储有其中一个所述第四统一资源定位符段的哈希值；当所述恶意网址库中存储有其中一个所述第四统一资源定位符段的哈希值时，确定所述待检测的统一资源定位符为恶意的统一资源定位符；当所述恶意网址库中没有存储所述多个第四统一资源定位符段的哈希值时，确定所述待检测的统一资源定位符为非恶意的统一资源定位符。

6.一种恶意网址库的处理装置，其特征在于，包括：

获取模块，用于获取恶意统一资源定位符；

计算模块，用于计算所述第一统一资源定位符段的哈希值；

所述处理模块，还用于根据所述恶意统一资源定位符，获取至少一个包括有域名段和路径段的第二统一资源定位符段；

7.根据权利要求6所述的恶意网址库的处理装置，其特征在于，所述获取模块，包括：

第一获取单元，用于获取恶意统一资源定位符的二级域名或三级域名作为第一统一资源定位符段；

第二获取单元，用于按照域名对所述恶意统一资源定位符进行分段，获取到M个域名段；所述M≤5，M为正整数；

第三获取单元，用于按照路径对所述恶意统一资源定位符进行分段；获取到N个路径段；所述N≤6，N为正整数；

第四获取单元，用于根据所述M个域名段和所述N个路径段，获取所述至少一个第二统一资源定位符段。

8.根据权利要求7所述的恶意网址库的处理装置，其特征在于，所述第四获取单元，具体包括：

组合子单元，用于将所述M个域名段和所述N个路径段进行组合；得到多个组合的统一资源定位符段；

合并子单元，用于将所述多个组合的统一资源定位符段进行合并处理，获取到所述至少一个第二统一资源定位符段；所述合并子单元，具体用于将所述多个组合的统一资源定位符段中的包括有域名段和路径段的统一资源定位符分段进行统计处理；并将所述统一资源定位符分段的数目与预设的阈值进行比较；当所述统一资源定位符分段的数目大于所述预设的阈值时，采用所述统一资源定位符分段替代包括所述统一资源定位符分段的所有的组合的统一资源定位符段；当所述统一资源定位符分段的数目小于所述预设的阈值时，进一步判断恶意统一资源定位符明文库中是否存储有所述统一资源定位符分段；当所述恶意统一资源定位符明文库中存储有所述统一资源定位符分段，采用所述统一资源定位符分段替代包括所述统一资源定位符分段的所有的组合的统一资源定位符段；最终得到所述至少一个第二统一资源定位符段。

9.根据权利要求6所述的恶意网址库的处理装置，其特征在于，还包括预检测模块和再次检测模块；

所述获取模块，还用于获取待检测的统一资源定位符；

所述预检测模块，用于根据所述恶意网址库，预检测所述待检测的统一资源定位符是否为疑似恶意的统一资源定位符；当预检测所述待检测的统一资源定位符为非疑似恶意的统一资源定位符时，结束检测；

所述再次检测模块，用于当预检测所述待检测的统一资源定位符为疑似恶意的统一资源定位符时，根据所述恶意网址库再次检测所述待检测的统一资源定位符是否为恶意的统一资源定位符；

所述预检测模块包括：第一获取单元，用于获取待检测的统一资源定位符的二级域名或三级域名作为第三统一资源定位符段；

第一计算单元，用于计算所述第三统一资源定位符段的哈希值；

第一检测单元，用于检测所述恶意网址库中是否存储有所述第三统一资源定位符段的哈希值；若存储有，确定预检测所述待检测的统一资源定位符为疑似恶意的统一资源定位符；否则，确定预检测所述待检测的统一资源定位符为非疑似恶意的统一资源定位符，并结束检测。

10.根据权利要求9所述的恶意网址库的处理装置，其特征在于，所述再次检测模块包括：

第二获取单元，用于当预检测所述待检测的统一资源定位符为疑似恶意的统一资源定位符时，按照域名对所述待检测的统一资源定位符进行分段，获取到L个域名段；所述L≤5，L为正整数；

所述第二获取单元，还用于按照路径对所述待检测的统一资源定位符进行分段；获取到P个路径段；所述P≤6，P为正整数；

所述第二获取单元，还用于将所述L个域名段和所述P个路径段进行组合；获取到所述多个第四统一资源定位符段；

第二计算单元，用于计算获取所述多个第四统一资源定位符段分别对应的哈希值；

第二检测单元，用于检测所述恶意网址库中是否存储有其中一个所述第四统一资源定位符段的哈希值；当所述恶意网址库中存储有其中一个所述第四统一资源定位符段的哈希值时，确定所述待检测的统一资源定位符为恶意的统一资源定位符；当所述恶意网址库中没有存储所述多个第四统一资源定位符段的哈希值时，确定所述待检测的统一资源定位符为非恶意的统一资源定位符。