CN105306462B - 网页链接检测方法及装置 - Google Patents

Abstract

本发明提供了网页链接检测方法及装置，该方法包括：获取待检测网页网址及待检测链接；判断所述待检测网页网址是否符合第一预设条件；在所述待检测网页网址符合第一预设条件的情况下，判断所述待检测链接是否符合第二预设条件，所述第一预设条件至少包括：所述待检测网页网址格式正确，所述第二预设条件至少包括：所述待检测链接存在于所述待检测网页a标签中；在所述待检测链接符合所述第二预设条件的情况下，所述待检测链接有效。因此，本发明实施例提供的网页链接检测方法中，先通过判断网页网址格式是否正确的方式，筛选掉网页格式错误的网页，进而避免对这些网页上的链接进行检测，提高了检测的效率，节省了服务器的开销。

Description

网页链接检测方法及装置

技术领域

本发明属于互联网安全技术领域，更具体的说，尤其涉及网页链接检测方法及装置。

背景技术

随着互联网的发展，人们越来越多地通过网络链接对互联网进行访问，以获取所需信息和服务，例如用户可通过互联网访问电子邮箱，在电子邮箱界面中浏览接收到的邮件，或者用户可以直接访问运营商提供的浏览器首页面，在浏览器首页面中点击相应的主题来进入主题对应的网页页面。

目前任意互联网的网站为了推广的需要，通常需要将自己网站的链接添加到其他的网页上，以增加自己网站被点击的次数。但是，为了避免某些虚假网站或者恶意网站利用这一技术，当用户有需求时，需要检测添加到网页中的链接是有效的，而现有的检测链接是否有效的方法，一般采用先解析网页内容，在用目标网址链接做关键词检测网页内容中是否含有该目标网址链接，进行精确匹配，如果有一处匹配成功，就表示检测成功。

但是，现有的检测技术中，在检测链接的效率较低，还无法实现快速对链接进行检测的目的。

发明内容

有鉴于此，本发明的目的在于提供网页链接检测方法及装置，以解决现有技术中检测链接的效率低，无法实现对链接进行快速检测的目的。

本发明提供一种网页链接检测方法，包括：

获取待检测网页网址及待检测链接；

判断所述待检测网页网址是否符合第一预设条件；

在所述待检测网页网址符合第一预设条件的情况下，判断所述待检测链接是否符合第二预设条件，所述第一预设条件至少包括：所述待检测网页网址格式正确，所述第二预设条件至少包括：所述待检测链接存在于所述待检测网页a标签中；

在所述待检测链接符合所述第二预设条件的情况下，所述待检测链接有效；

在所述待检测网页网址不符合第一预设条件，或，所述待检测链接不符合所述第二预设条件的情况下，所述待检测链接无效。

优选地，判断所述待检测网页网址是否符合第一预设条件的过程包括：

判断所述待检测网页网址是否以预设字符为开头，以预设域名后缀为结尾，若是，则所述待检测网页网址符合所述预设第一条件，若否，则所述待检测网页网址不符合所述第一预设条件。

优选地，所述第一预设条件还包括：所述待检测网页网址的域名等级为独立域名等级或二级域名等级。

优选地，所述判断所述待检测网页网址是否符合第一预设条件的过程包括：

判断所述待检测网页网址是否以预设字符为开头，以预设域名后缀为结尾；

在所述待检测网页网址以预设字符为开头，以预设域名后缀为结尾的情况下，判断所述待检测网页网址的域名等级是否为预设等级；

在所述待检测网页网址的域名等级为预设等级的情况下，所述待检测网页网址符合所述预设第一条件；

在所述待检测网页网址不以预设字符为开头或不以预设域名后缀为结尾的情况下，或者，在所述待检测网页的域名等级不为预设等级的情况下，所述待检测网页网址不符合所述预设第一条件。

优选地，所述第二预设条件还包括：所述待检测网页标签没有隐藏属性。

本发明还提供一种网页链接检测方法，包括：

获取待检测网页网址及待检测链接；

判断所述待检测网页网址格式是否正确；

在所述待检测网页网址格式正确的情况下，判断所述待检测网页网址的域名等级是否为预设等级；

若所述待检测网页的域名等级为预设等级，则所述待检测链接有效；

若所述待检测网页网址格式不正确，或，所述待检测网页的域名等级不为预设等级，所述待检测链接无效，所述预设等级为独立域名等级或二级域名等级。

本发明还提供一种网页链接检测装置，包括：

获取模块，用于获取待检测网页网址及待检测链接；

第一判断模块，用于判断所述待检测网页网址是否符合第一预设条件，所述第一预设条件至少包括：所述待检测网页网址格式正确；

第二判断模块，用于在第一判断模块判断出所述待检测网页网址符合所述第一预设条件时，判断所述待检测链接是否符合第二预设条件，所述第二预设条件至少包括：所述待检测链接存在于所述待检测网页a标签中；

第一结果确定模块，用于在所述待检测链接符合所述第二预设条件的情况下，所述待检测链接有效；

第二结果确定模块，用于在所述待检测网页网址不符合第一预设条件，或，所述待检测链接不符合所述第二预设条件的情况下，所述待检测链接无效。

优选地，所述第一判断模块包括：

第一判断单元，用于判断所述待检测网页网址是否以预设字符为开头，以预设域名后缀为结尾。

优选地，所述第一判断模块包括：

第一判断单元，用于判断所述待检测网页网址是否以预设字符为开头，以预设域名后缀为结尾；

第二判断单元，用于在所述待检测网页网址以预设字符为开头，以预设域名后缀为结尾的情况下，判断所述待检测网页网址的域名等级是否为预设等级。

本发明还提供一种网页链接检测装置，包括：

获取模块，用于获取待检测网页网址及待检测链接；

格式判断模块，用于判断所述待检测网页网址格式是否正确；

域名等级判断模块，用于在所述待检测网页网址格式正确的情况下，判断所述待检测网页网址的域名等级是否为预设等级，所述预设等级为独立域名等级或二级域名等级；

第三结果确定模块，用于若所述待检测网页的域名等级为预设等级，则所述待检测链接有效；

第四结果确定模块，用于若所述待检测网页网址格式不正确，或，所述待检测网页的域名等级不为预设等级，所述待检测链接无效。

与现有技术相比，本发明提供的上述技术方案具有如下优点：通过对网页网址的格式进行判断，对于格式不正确的网页网址，则直接确定为链接无效，因为，对于格式错误的网页网址，即便通过解析该网页得到待检测链接，但是由于网页网址存在格式错误，则必然导致添加在网页上的链接无法访问，从而导致待检测链接无效，因此，本发明实施例提供的网页链接检测方法中，先通过判断网页网址格式是否正确的方式，筛选掉网页格式错误的网页，进而避免对这些网页上的链接进行检测，提高了检测的效率，节省了服务器的开销。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种网页链接检测方法的流程图；

图2是本发明实施例提供的又一网页链接检测方法的流程图；

图3是本发明实施例提供的又一网页链接检测方法的流程图；

图4是本发明实施例提供的又一网页链接检测方法的流程图；

图5是本发明实施例提供的又一网页链接检测方法的流程图；

图6是本发明实施例提供的一种网页链接检测装置的结构示意图；

图7是本发明实施例提供的又一网页链接检测装置的结构示意图；

图8是本发明实施例提供的又一网页链接检测装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供的一种网页链接检测方法如图1所示，包括：

步骤S101：获取待检测网页网址及待检测链接；

例如：待检测链接http://ch.gongchang.com

待检测网址http://www.xidibuy.com/about/info/

待检测链接设置在所述待检测网址上。

步骤S102：判断所述待检测网页网址是否符合第一预设条件，若是，则执行步骤S103，若否，则执行步骤S105；

所述第一预设条件至少包括：所述待检测网页网址格式正确。

本实施例中，首先判断待检测网页网址格式是否正确。因为，如果不考虑待检测网页网址的格式是否正确，直接对该网页内容进行解析，则即便解析结果中有待检测链接，则也会因为网页格式不正确而无法被访问，因此该过程是毫无意义的，而且，浪费了服务器的资源，降低了整个检测过程的效率。

步骤S103：判断所述待检测链接是否符合第二预设条件，若是，则执行步骤S104，若否，则执行步骤S105；

所述第二预设条件至少包括：所述待检测链接存在于所述待检测网页a标签中；

在保证网页网址正确的前提下，判断待检测链接是否存在于待检测网页的a标签中。a标签用于定义超链接，用于实现从一张页面链接到另一张页面。如果待检测链接只是在网页上所有显示，但是并没有存在于a标签中，则该链接是无效的，是不具有被访问的功能的。

步骤S104：所述待检测链接有效；

步骤S105：所述待检测链接无效。

本发明实施例提供的网页链接检测方法中，先通过判断网页网址格式是否正确的方式，筛选掉网页格式错误的网页，进而避免对这些网页上的链接进行检测，提高了检测的效率，节省了服务器的开销。

并且，本发明实施例中，对于待检测链接的检测过程，通过判断待检测链接是否存在于a标签中，来准确的判断该链接是否有效，进一步提升了检测结果的准确性。

在上述实施例中，判断所述待检测网页网址是否符合第一预设条件的过程如图2所示，包括：

步骤S201：判断所述待检测网页网址是否以预设字符为开头，若是，则执行步骤S202，若否，则执行步骤S204；

本实施例中的预设字符为http://。

步骤S202：判断所述待检测网页网址是否以预设域名后缀为结尾，若是，则执行步骤S203，若否，则执行步骤S204。

本实施例中的预设域名后缀可以为.com，.cn等。

步骤S203：所述待检测网页网址符合第一预设条件；

步骤S204：所述待检测网页网址不符合第一预设条件。

只有当网页网址为以http://为开头，以.com，.cn等域名等级后缀为结尾时，才能认定该网页网址的格式为正确。

本发明提供的又一实施例中，第一预设条件除包括：所述待检测网页网址格式正确外，还包括：待检测网页网址的域名等级为预设等级。

结合该特征，在本实施例中，判断所述待检测网页网址是否符合第一预设条件的过程如图3所示，包括：

步骤S301：判断所述待检测网页网址是否以预设字符为开头，以预设域名后缀为结尾，若是，则执行步骤S302，若否，则执行步骤S304；

步骤S302：判断所述待检测网页网址的域名等级是否为预设等级，若是，则执行步骤S303，若否，则执行步骤S304；

在本实施例中，在网页网址格式正确的基础上，再次判断该网页网址的域名等级，如果其等级为预设等级，例如独立域名等级或二级域名等级，则确定其符合条件。

步骤S303：所述待检测网页网址符合所述预设第一条件；

步骤S304：所述待检测网页网址不符合所述预设第一条件。

本实施例中设定的预设等级为独立域名等级或二级域名等级。之所以设置该预设等级，是因为，当前页面在搜索引擎中，有些域名等级拥有较高的权重，例如，独立域名等级和二级域名等级，如果网页网址为独立域名等级或者二级域名等级，则说明该网页具有一定的权威性，相应的，添加在其上的链接同理具有较高的可靠性和有效性。所以，对于网页网址不为预设等级的情况，则说明，网页的等级较低，待检测链接无效的可能性较高，因此，可以利用这一特征，删除一部分网页，不对其进行后续处理，进一步降低了工作量，提高了处理效率。

在本实施例中，可以通过检测待检测网页网址中的出现的字符“.”的次数来判断。如果字符“.”出现1次，则可以确定为独立域名等级。如果字符“.”出现两次，则可以确定为二级域名等级。

本发明实施例并不限定预设等级为独立域名等级或二级域名等级，其也可以为其他等级的域名等级。

在上述各个实施例中，第二预设条件还可以包括所述待检测网页标签没有隐藏属性。

则判断所述待检测链接符合所述第二预设条件的过程如图4所示，包括：

步骤S401：判断所述待检测链接是否存在于所述待检测网页a标签中，若是，则执行步骤S402，若否，则执行步骤S404；

步骤S402：判断所述待检测网页标签是否有隐藏属性，若是，则执行步骤S403，若否，则执行步骤S404。

隐藏属性是指待检测链接被放置于JavaScript、frame框架等html语法中或者使用了nofollow标签语法，这些在网页源码中可以通过检测获取到。如果网页标签有隐藏属性，则隐藏属性中的内容不能被搜索引擎的爬虫阅读或者检测到，意味着隐藏属性中的内容对搜索引擎的爬虫不可见，也就是说，存在于a标签内的待检测链接不能被正常显示，因而也就不能被访问。而如果a标签内没有隐藏属性，则该标签可以有效显示，待检测链接也可以被正常访问。

步骤S403：所述待检测链接符合所述第二预设条件；

步骤S404：所述待检测链接不符合所述第二预设条件。

本实施例提供的方案中，通过判断a标签是否有隐藏属性，进一步筛选了待检测链接，筛除掉了不能被正常显示的情况，从而使得检测结果的准确性进一步提升。

本发明实施例还提供了另一网页链接检测方法，其流程如图5所示，包括：

步骤S501：获取待检测网页网址及待检测链接；

步骤S502：判断所述待检测网页网址格式是否正确，若是，则执行步骤S503，若否，则执行步骤S506；

步骤S503：判断所述待检测网页网址的域名等级是否为预设等级，若是，则执行步骤S504，若否，则执行步骤S505；

所述预设等级为独立域名等级或二级域名等级。

步骤S504：所述待检测链接有效。

步骤S505：所述待检测链接无效。

本发明实施例提供的网页链接检测方法中，本发明实施例提供的网页链接检测方法中，先通过判断网页网址格式是否正确的方式，筛选掉网页格式错误的网页，进而避免对这些网页上的链接进行检测，提高了检测的效率。并且，本实施例中，对网页格式正确的待检测网页进行进一步的判断，当其域名等级为预设等级时，则可以通过域名等级来确定该网页包含的待检测链接的有效性。即，可以直接确定待检测链接为有效。从而大大缩短了检测过程，减小了服务器的开销。

本发明同时提供了一种网页链接检测装置，其结构如图6所示，包括：

获取模块601，用于获取待检测网页网址及待检测链接；

第一判断模块602，用于判断所述待检测网页网址是否符合第一预设条件，所述第一预设条件至少包括：所述待检测网页网址格式正确；

第二判断模块603，用于在第一判断模块判断出所述待检测网页网址符合所述第一预设条件时，判断所述待检测链接是否符合第二预设条件，所述第二预设条件至少包括：所述待检测链接存在于所述待检测网页a标签中；

第一结果确定模块604，用于在所述待检测链接符合所述第二预设条件的情况下，所述待检测链接有效；

第二结果确定模块605，用于在所述待检测网页网址不符合第一预设条件，或，所述待检测链接不符合所述第二预设条件的情况下，所述待检测链接无效。

进一步的，所述第一判断模块包括：

第一判断单元，用于判断所述待检测网页网址是否以预设字符为开头，以预设域名后缀为结尾。

可替换的，所述第一判断模块如图7所示，包括：

第一判断单元6031，用于判断所述待检测网页网址是否以预设字符为开头，以预设域名后缀为结尾；

第二判断单元6032，用于在所述待检测网页网址以预设字符为开头，以预设域名后缀为结尾的情况下，判断所述待检测网页网址的域名等级是否为预设等级。

本发明实施例提供的网页链接检测装置中，先通过判断网页网址格式是否正确的方式，筛选掉网页格式错误的网页，进而避免对这些网页上的链接进行检测，提高了检测的效率，节省了服务器的开销。

本发明实施例提供的网页链接检测装置的工作原理可参考图1-4中方法实施例所示，在此不再赘述。

同理，本发明实施例还提供了另一种网页链接检测装置，其结构如图8所示，包括：

获取模块801，用于获取待检测网页网址及待检测链接；

格式判断模块802，用于判断所述待检测网页网址格式是否正确；

域名等级判断模块803，用于在所述待检测网页网址格式正确的情况下，判断所述待检测网页网址的域名等级是否为预设等级，所述预设等级为独立域名等级或二级域名等级；

第三结果确定模块804，用于若所述待检测网页的域名等级为预设等级，则所述待检测链接有效。

第四结果确定模块805，用于若所述待检测网页网址格式不正确，或，所述待检测网页的域名等级不为预设等级，所述待检测链接无效。

本发明实施例提供的网页链接检测装置中，先通过判断网页网址格式是否正确的方式，筛选掉网页格式错误的网页，进而避免对这些网页上的链接进行检测，提高了检测的效率。并且，本实施例中，对网页格式正确的待检测网页进行进一步的判断，当其域名等级为预设等级时，则可以通过域名等级来确定该网页包含的待检测链接的有效性。即，可以直接确定待检测链接为有效。从而大大缩短了检测过程，减小了服务器的开销。

本实施例提供的网页链接检测装置的工作原理可参考图5所示实施例，在此不再赘述。

对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所提供的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种网页链接检测方法，其特征在于，包括：

获取待检测网页网址及待检测链接；

判断所述待检测网页网址是否符合第一预设条件；

在所述待检测网页网址符合第一预设条件的情况下，判断所述待检测链接是否符合第二预设条件，所述第一预设条件至少包括：所述待检测网页网址格式正确，所述第二预设条件至少包括：所述待检测链接存在于所述待检测网页a标签中；

在所述待检测链接符合所述第二预设条件的情况下，所述待检测链接有效；

在所述待检测网页网址不符合第一预设条件，或，所述待检测链接不符合所述第二预设条件的情况下，所述待检测链接无效；

判断所述待检测网页网址是否符合第一预设条件的过程包括：

判断所述待检测网页网址是否以预设字符为开头，以预设域名后缀为结尾，若是，则所述待检测网页网址符合所述预设第一条件，若否，则所述待检测网页网址不符合所述第一预设条件；所述第二预设条件还包括：所述待检测网页标签没有隐藏属性。

2.根据权利要求1所述的方法，其特征在于，所述第一预设条件还包括：所述待检测网页网址的域名等级为独立域名等级或二级域名等级。

3.根据权利要求2所述的方法，其特征在于，所述判断所述待检测网页网址是否符合第一预设条件的过程包括：

判断所述待检测网页网址是否以预设字符为开头，以预设域名后缀为结尾；

在所述待检测网页网址以预设字符为开头，以预设域名后缀为结尾的情况下，判断所述待检测网页网址的域名等级是否为预设等级；

在所述待检测网页网址的域名等级为预设等级的情况下，所述待检测网页网址符合所述预设第一条件；

在所述待检测网页网址不以预设字符为开头或不以预设域名后缀为结尾的情况下，或者，在所述待检测网页的域名等级不为预设等级的情况下，所述待检测网页网址不符合所述预设第一条件。

4.一种网页链接检测装置，其特征在于，包括：

获取模块，用于获取待检测网页网址及待检测链接；

第一判断模块，用于判断所述待检测网页网址是否符合第一预设条件，所述第一预设条件至少包括：所述待检测网页网址格式正确；

第二判断模块，用于在第一判断模块判断出所述待检测网页网址符合所述第一预设条件时，判断所述待检测链接是否符合第二预设条件，所述第二预设条件至少包括：所述待检测链接存在于所述待检测网页a标签中；

第一结果确定模块，用于在所述待检测链接符合所述第二预设条件的情况下，所述待检测链接有效；

第二结果确定模块，用于在所述待检测网页网址不符合第一预设条件，或，所述待检测链接不符合所述第二预设条件的情况下，所述待检测链接无效；

所述第一判断模块包括：

第一判断单元，用于判断所述待检测网页网址是否以预设字符为开头，以预设域名后缀为结尾；所述第二预设条件还包括：所述待检测网页标签没有隐藏属性。

5.根据权利要求4所述的装置，其特征在于，所述第一判断模块包括：

第一判断单元，用于判断所述待检测网页网址是否以预设字符为开头，以预设域名后缀为结尾；

第二判断单元，用于在所述待检测网页网址以预设字符为开头，以预设域名后缀为结尾的情况下，判断所述待检测网页网址的域名等级是否为预设等级。