CN110708270B - 异常链接检测方法以及装置 - Google Patents

异常链接检测方法以及装置 Download PDF

Info

Publication number
CN110708270B
CN110708270B CN201810748487.XA CN201810748487A CN110708270B CN 110708270 B CN110708270 B CN 110708270B CN 201810748487 A CN201810748487 A CN 201810748487A CN 110708270 B CN110708270 B CN 110708270B
Authority
CN
China
Prior art keywords
page
abnormal
link
abnormal link
web page
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810748487.XA
Other languages
English (en)
Other versions
CN110708270A (zh
Inventor
郭斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201810748487.XA priority Critical patent/CN110708270B/zh
Publication of CN110708270A publication Critical patent/CN110708270A/zh
Application granted granted Critical
Publication of CN110708270B publication Critical patent/CN110708270B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425Traffic logging, e.g. anomaly detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441Countermeasures against malicious traffic

Abstract

本申请公开了一种异常链接检测方法以及装置,所述异常链接检测方法包括:确定网络页面中具有触发事件的一个或多个页面元素;执行所述页面元素的触发事件;如果执行所述触发事件后产生对其他网络资源的访问请求,则基于所述访问请求来判断所述页面元素是否对应异常链接。所述异常链接检测方法,通过对网络页面中每个具有触发事件的页面元素进行异常链接检测,以此实现更加全面和更加准确的异常链接检测。

Description

异常链接检测方法以及装置
技术领域
本申请涉及网络技术领域,具体涉及一种异常链接检测方法。本申请同时涉及一种异常链接检测装置,以及一种电子设备。
背景技术
随着互联网技术的发展,涌现出越来越多的网站,网站又提供了丰富的网页,由于网页具有较强的时效性,因此搜索引擎收录的大量网站的网页中难免会存在一定数量的异常链接。网站中异常链接的存在会降低访问用户的体验,同时也会导致网站被搜索引擎降权重。因此针对网站进行异常链接检测是十分必要的。
目前,常规的异常链接检测方法是通过爬取网站的网页内容,通过文本解析的方式识别页面中的链接标签,然后对链接标签的地址进行检测,通过检测链接标签的地址是否可达,来检测链接标签的地址是否为异常链接。但是,在利用浏览器来实现页面渲染的一些网站(典型地,单页应用网站)中,其网页上的链接标签不一定有地址属性,网页中的链接的点击效果由网页上JavaScript脚本动态控制,比如控制页面转向、打开新页面或者局部修改当前页面主体内容等,常规的异常链接检测方法无法对此类网站中的链接进行检测。
因此,如何提供一种能够针对此类网站的异常链接检测处理方法,已成为本领域技术人员亟待解决的技术问题。
发明内容
本申请提供一种异常链接检测方法,以解决现有技术存在的缺陷。本申请同时涉及一种异常链接检测装置,以及一种电子设备。
本申请提供一种异常链接检测方法,包括:
确定网络页面中具有触发事件的一个或多个页面元素;
执行页面元素的触发事件;如果执行触发事件后产生对其他网络资源的访问请求,则基于访问请求来判断页面元素是否对应异常链接。
具体实施时,在确定网络页面中具有触发事件的一个或多个页面元素步骤之前,异常链接检测方法还包括步骤:通过执行网络页面所包含的特定对象来获得网络页面中的页面元素。
具体实施时,基于访问请求来判断页面元素是否对应异常链接的步骤包括:判断对其他网络资源的加载是否正常,若否,则确定页面元素对应异常链接。
具体实施时,异常链接检测方法还包括步骤:若对其他网络资源的加载正常,则对于加载其他网络资源得到的网络页面重复上述获取具有触发事件的页面元素、执行触发事件和判断页面元素是否对应异常链接的步骤。
具体实施时,异常链接检测方法还包括步骤:通过文本解析获取网络页面所包含的链接地址;判断链接地址是否可达,以确定链接地址是否对应异常链接;如果不对应异常链接,则对于链接地址指向的网络页面重复上述获取具有触发事件的页面元素、执行触发事件和判断页面元素是否对应异常链接的步骤。
具体实施时,网络页面所包含的特定对象,包括:JavaScript脚本。
具体实施时,网络页面包括单页应用的网络页面。
具体实施时,异常链接检测方法在浏览器内核中执行。
本申请还提供一种异常链接检测装置,包括:
页面元素确定单元,用于确定网络页面中具有触发事件的一个或多个页面元素;
触发事件执行单元,用于执行页面元素的触发事件;
异常链接判断单元,如果执行触发事件后产生对其他网络资源的访问请求,则基于访问请求来判断页面元素是否对应异常链接。
具体实施时,异常链接检测装置还包括:执行单元,用于通过执行网络页面所包含的特定对象来获得网络页面中的页面元素。
具体实施时,异常链接判断单元,具体用于判断对其他网络资源的加载是否正常,若否,则确定页面元素对应异常链接。
本申请还提供一种电子设备,包括:存储器和处理器;存储器用于存储计算机可执行指令,处理器用于执行下述计算机可执行指令:确定网络页面中具有触发事件的一个或多个页面元素;执行页面元素的触发事件;如果执行触发事件后产生对其他网络资源的访问请求,则基于访问请求来判断页面元素是否对应异常链接。
本申请异常链接检测方法,包括:确定网络页面中具有触发事件的一个或多个页面元素;执行页面元素的触发事件;如果执行触发事件后产生对其他网络资源的访问请求,则基于访问请求来判断页面元素是否对应异常链接。
异常链接检测方法,确定网络页面中具有触发事件的页面元素,对具有触发事件的页面元素的触发事件进行执行,根据触发事件的执行结果确定触发事件执行后是否产生对其他网络资源的访问请求,不遗漏异常链接,使异常链接检测更加全面;同时,在执行页面元素的触发事件的基础上,根据触发事件执行后产生的其他网络资源的访问请求来判断页面元素是否对应异常链接,从而实现对网络页面中页面元素对应的异常链接的检测,以此实现了更加准确的异常链接检测。
附图说明
附图1是本申请提供的一种异常链接检测方法实施例的处理流程图;
附图2是本申请提供的一种异常链接检测过程的处理流程图;
附图3是本申请提供的一种异常链接检测的示意图;
附图4是本申请提供的一种异常链接检测装置实施例的示意图;
附图5是本申请提供的一种电子设备的示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其他方式来实施,本领域技术人员可以在不违背本申请内涵的情况下做类似推广,因此本申请不受下面公开的具体实施的限制。
本申请提供一种异常链接检测方法,本申请还提供一种异常链接检测装置,以及一种电子设备。以下分别结合本申请提供的实施例的附图逐一进行详细说明,并且对方法的各个步骤进行说明。
本申请提供的一种异常链接检测方法实施例如下:
参照附图1,其示出了本申请提供的一种异常链接检测方法实施例的处理流程图,参照附图2,其示出了本申请提供的一种异常链接检测过程的处理流程图,参照附图3,其示出了本申请提供的一种异常链接检测的示意图。
步骤S101,确定网络页面中具有触发事件的一个或多个页面元素。
对于一些传统的应用来说,其网络页面由服务器渲染,浏览器仅负责将服务器渲染完成的网络页面呈现。此类网络页面可以通过常规的异常链接检测方法来检测异常链接。例如,通过文本解析的方式识别网络页面中的链接标签,然后对链接标签的地址进行检测。通过检测链接标签的地址是否可达,来检测链接标签的地址是否为异常链接。
然而,对于目前一些在浏览器完成网络页面组装和渲染的应用来说,服务器仅需要负责按照约定的数据格式向浏览器提供可调用的接口服务,浏览器调用接口服务获取到数据后,进行页面的组装和渲染,最终呈现页面。单页应用即是一个典型的在浏览器完成网络页面的组装和渲染的应用。
对于此类网络页面,网络页面上的链接标签不一定有地址属性,网络页面中的链接的点击效果由网络页面上的特定对象来动态控制,比如控制页面转向、打开新页面或者局部修改当前页面主体内容等,因此,无法通过识别网络页面上链接标签并检测该链接标签是否可达,来确定网络页面对应的链接地址是否为异常链接。
本申请提供的异常链接检测方法,通过网页运行环境来执行网络页面上的特定对象,并进一步对网络页面所包含的特定对象执行后生成的网络页面中页面元素的执行效果进行检测,从而实现对网络页面包含的特定对象动态所控制的链接进行检测,不会遗漏异常链接,提升异常链接检测的全面性和准确性。
需要说明的是,本申请提供的异常链接检测方法依赖于网页运行环境实现,网页运行环境可以是浏览器内核,还可以是浏览器内核之外的无界面浏览器或者Web OS内核等。
进一步,本申请提供的异常链接检测方法,可以在服务器配置的网页运行环境中执行,比如,对于云计算集群中的服务器,可以在这些服务器配置的浏览器内核或者无界面浏览器中执行异常链接检测方法;这一实现方式对应的实际应用场景包括:用户在浏览网络页面的过程中,由服务器通过配置的浏览器内核或者无界面浏览器对网络页面进行异常链接检测,然后根据异常链接检测结果向用户给出相应提示;或者,云计算集群中的服务器通过配置的浏览器内核或者无界面浏览器对网络页面进行检测。
特别要强调的是,在云计算集群中的服务器通过配置的浏览器内核或者无界面浏览器对网络页面进行检测这一实际应用场景中,尤其是在面对批量甚至海量的异常链接需要检测时,结合云计算集群的强大运算能力,能够更加高效的对批量甚至海量异常链接进行检测,甚至在网络允许的条件下可实现异常链接的实时在线检测,可见,在待检测的异常链接的数目较大的情况下,由云计算集群中配置有浏览器内核或者无界面浏览器的服务器执行异常链接检测方法为较佳的实现方式。
除此之外,本申请提供的异常链接检测方法可以在移动终端等终端设备内置的Web OS操作系统中执行,也可以在移动终端等终端设备配置的浏览器、无界面浏览器或者浏览器内核中执行,这一实现方式对应的实际应用场景包括:用户在通过移动终端上安装的浏览器或者配置的Web OS操作系统浏览网络页面的过程中,由移动终端上安装的浏览器或者配置的Web OS操作系统后台对用户当前浏览或者已经浏览的网络页面进行异常链接检测。
在具体实施时,还可通过在浏览器或者Web OS操作系统上设置异常链接检测按钮,用户在浏览网络页面的过程中通过触发异常链接检测按钮进入异常链接检测模式;或者,在浏览器或者Web OS操作系统的设置列表中加入异常链接检测项,用户在浏览网络页面的过程中通过配置异常链接检测项进入异常链接检测模式。
如上,本申请提供的异常链接检测方法,可以在服务器配置的网页运行环境中执行,还可以在移动终端等终端设备配置的网页运行环境中执行,除这两种实现方式之外,本申请提供的异常链接检测方法还可以同时在服务器和终端设备配置的网页运行环境中执行:异常链接检测方法的一部分步骤在服务器配置的网页运行环境中执行,另一部分步骤在移动终端等终端设备配置的网页运行环境中运行。
本申请实施例以针对单页应用的异常链接检测方法为例进行说明,单页应用(single page web application,SPA),是指只有一张网络页面的应用,是加载单个HTML页面并在用户与应用程序交互时动态更新该网络页面的应用程序。
具体地,通过执行单页应用的网络页面所包含的特定对象来获得网络页面中的页面元素,并进一步对网络页面中页面元素进行执行以获得其执行效果。而在这其中,针对网络页面所包含的特定对象进行执行,以及针对网络页面中的页面元素进行执行,都必须依赖于网页运行环境实现。网络页面中页面元素,是指网络页面中使用到的一切用于组织结构和表达内容的对象,其中,网络页面中组织结构的对象包括:表格、布局、层、导航条、链接等,网络页面中表达内容的对象包括:文字、图像、音频、动画、视频等。
本申请实施例中,网页运行环境是指浏览器内核,即:在浏览器内核中执行本申请提供的异常链接检测方法,具体包括在浏览器内核中执行单页应用中网络页面所包含的特定对象,根据执行结果获得网络页面中的页面元素,以及,执行网络页面中的页面元素,获得网络页面中的页面元素的执行效果。网络页面所包含的特定对象,包括JavaScript脚本,本实施例以JavaScript脚本为例进行说明。需要说明的是,除上述提供的浏览器内核之外,还可以在其他能够执行单页应用中网络页面所包含的特定对象以及网络页面中的页面元素的网页运行环境中执行,比如无界面浏览器或者Web OS内核等,对此不做限定。
本申请实施例提供的一种优选实施方式中,通过执行网络页面所包含的特定对象来获得网络页面中的页面元素,比如利用网页运行环境对单页应用的网络页面的JavaScript脚本进行执行,具体包括加载网络页面的链接地址对应的页面数据,基于加载的页面数据执行网络页面所包含的JavaScript脚本,从而获得网络页面中的页面元素。上述获得的网络页面中的页面元素,可能包含能够被触发的页面元素,即:页面元素具有相应的触发事件,该页面元素的触发事件能够被触发和执行,执行后能获得相应执行效果。比如某页面元素具有点击事件,该页面元素被点击后会执行并获得相应执行效果。除此之外,上述获得的网络页面中的页面元素,还可能包含无法被触发的页面元素,比如网络页面中的静态文字元素或者图像元素,而对于这类无法被触发的静态页面元素而言,也不存在被执行后获得的执行效果,因此没有必要对网络页面中这类静态页面元素进行检测。
在具体实施时,本步骤确定单页应用的网络页面中具有触发事件的一个或者多个页面元素,即:确定单页应用的网络页面中具有触发事件的所有页面元素,为下述步骤针对页面元素进行检测做准备。本实施例中的异常链接,包括不能正常访问的链接地址,以及存在访问异常的链接地址。
在实际应用中,一方面单页应用的网络页面可能对应一个或者多个对应的链接地址,另一方面单页应用的网络页面的页面数据中也可能包含一个或者多个链接地址;在网络页面中进行异常链接检测过程中,需要对单页应用的网络页面中包含的所有链接地址都进行检测,检测其是否为异常链接。
如附图3所示,待检测的链接地址存储在数据库(用于存储链接地址的数据库302)中,在进行异常链接检测的具体实现过程中,逐一从数据库302中读取链接地址,并进一步对读取的链接地址进行异常链接检测。同时,如果在异常链接检测过程中发现新的链接地址,将发现的链接地址放入数据库302中以待进一步异常链接检测。
步骤S102,执行页面元素的触发事件。
上述步骤S101确定网络页面中具有触发事件的所有页面元素,本步骤针对网络页面中具有触发事件的页面元素,执行页面元素对应的触发事件,获得页面元素对应的触发事件的执行效果,下述步骤S103在本步骤的执行基础上进行异常链接检测。
在实际应用中,页面元素的触发事件被执行后,页面元素的触发事件执行后获得的执行效果中,也可能包含链接地址,这对这一情形,如果网络页面中的页面元素被执行后获得的执行效果中包含链接地址,还可以对执行效果中包含链接地址进行进一步的异常链接检测。本申请实施例提供的一种优选实施方式中,通过文本解析获取网络页面所包含的链接地址,判断链接地址是否可达,以确定链接地址是否对应异常链接;如果不对应异常链接,则对于链接地址指向的网络页面进行异常链接检测。
步骤S103,如果执行触发事件后产生对其他网络资源的访问请求,则基于访问请求来判断页面元素是否对应异常链接。
本步骤根据上述网络页面中页面元素的触发事件的执行结果,如果执行触发事件后产生对其他网络资源的访问请求,则基于访问请求来判断页面元素是否对应异常链接。其中,其他网络资源具有与上述网络页面不同的链接地址。
优选的,本申请实施例通过判断对其他网络资源的加载是否正常,若否,则确定页面元素对应异常链接;如果确定页面元素并无对应异常链接,则对于加载其他网络资源得到的网络页面的链接地址进行异常链接检测即可。
如上,在单页应用中,网络页面上的链接标签不一定有地址属性,网络页面中的链接的点击效果由网络页面上的特定对象来动态控制,比如控制页面转向、打开新页面或者局部修改当前页面主体内容等,因此,无法通过识别网络页面上链接标签并检测该链接标签是否可达,来确定网络页面对应的链接地址是否为异常链接。面对单页应用的上述特点,本申请提供的异常链接检测方法,能够有针对性的对单页应用中网络页面中包含的链接地址以及网络页面上的特定对象对应的链接地址进行异常链接的检测,因此在对单页应用的网络页面进行异常检测这一实现场景中能够达到较佳的实现效果。下述提供一个完整的检测实例对上述步骤执行过程进行进一步解释说明:
参见附图2和附图3,在控制器305的控制下,从网络页面的出处301(比如单页应用的网络页面)读取其中的网络页面,针对读取到的网络页面进行异常链接检测,并具体利用网页运行环境303(比如,浏览器内核或者无界面浏览器)对读取到的网络页面进行异常链接检测。同时,在异常链接检测过程中还预先设置存储链接地址的数据库302,链接地址具体存储在数据库302当中的待检测链接列表中,以及预先设置存储页面元素的数据库304,页面元素具体存储在数据库304当中的待检测页面元素列表中,具体是针对待检测链接列表中的每个链接地址,在数据库304当中分别设置与每个链接地址一一对应的待检测页面元素列表。
步骤S201,初始化待检测链接列表,将网络页面中已知的全部链接地址均加入数据库302的待检测链接列表中以待后续进一步的异常链接检测。
步骤S202,逐一从待检测链接列表中读取链接地址,针对读取到每个链接地址均进行后续进一步的异常链接检测;同时,在从待检测链接列表中读取链接地址的过程中,判断待检测链接列表中的链接地址是否全部检测完毕,如果全部检测完毕,则表明网络页面的链接地址均已完成异常链接检测,结束检测过程即可;如果检测链接列表中还存在未检测的链接地址,则重复上述逐一从待检测链接列表中读取链接地址进行异常链接检测过程。
步骤S203,针对上述步骤S202逐一从待检测链接列表中读取链接地址,通过网页运行环境303加载读取到的该链接地址对应网络页面的页面数据。
步骤S204,在网页运行环境303中执行链接地址对应网络页面中包含的JavaScript脚本,获得JavaScript脚本的执行效果。
步骤S205,根据步骤S203通过网页运行环境303加载的网络页面的页面数据,以及步骤S204在网页运行环境303中执行的JavaScript脚本的执行效果,识别网络页面中具有触发事件的所有页面元素。
步骤S206,将识别获得的具有触发事件的所有页面元素加入数据库304的待检测页面元素列表中。
步骤S207,对每个链接地址对应的待检测页面元素列表中的页面元素进行异常链接检测,具体在检测过程中,需要对每个链接地址对应的待检测页面元素列表中的所有页面均进行异常链接检测,因此需要判断每个链接地址对应的待检测页面元素列表中是否存在未检测的页面元素,如果不存在未检测的页面元素,则表明当前链接地址对应的待检测页面元素列表中的所有页面元素均已完成异常链接检测,执行步骤S208,结束当前链接地址的检测,并返回执行上述步骤S202;
如果当前链接地址对应的待检测页面元素列表中存在未检测的页面元素,则逐一从数据库304中读取页面元素,针对读取的页面元素执行步骤S209,即执行页面元素的触发事件。
步骤S210,在页面元素的触发事件执行后,判断页面元素的触发事件执行前后网络页面的链接地址是否发生变化,如果网络页面的链接地址在页面元素的触发事件执行前后发生变化,页面元素的触发事件执行后生成的新链接地址即为当前执行的页面元素的对应的链接地址,则执行步骤S211,进一步检测当前页面元素的加载是否正常,若加载正常,则表明当前检测的页面元素对应的链接地址不是异常链接,执行步骤S214结束当前页面元素的检测,并返回上述步骤S207;若当前页面元素的加载出现异常,则表明当前检测的页面元素对应的链接地址为异常链接,执行步骤S212,将当前检测的页面元素对应的链接地址记录为异常链接,并执行步骤S214结束当前页面元素的检测。如果网络页面的链接地址在页面元素的触发事件执行前后没有发生变化,则表明当前检测的页面元素不存在对应的链接地址,执行步骤S214结束当前页面元素的检测即可。
综上,本申请提供的异常链接检测方法,确定网络页面中具有触发事件的页面元素,对具有触发事件的页面元素的触发事件进行执行,根据触发事件的执行结果确定触发事件执行后是否产生对其他网络资源的访问请求,不遗漏异常链接,使异常链接检测更加全面;同时,在执行页面元素的触发事件的基础上,根据触发事件执行后产生的其他网络资源的访问请求来判断页面元素是否对应异常链接,从而实现对网络页面中页面元素对应的异常链接的检测,以此实现了更加准确的异常链接检测。
本申请提供的一种异常链接检测装置实施例如下:
在上述的实施例中,提供了一种异常链接检测方法,与之相对应的,本申请还提供了一种异常链接检测装置,下面结合附图进行说明。由于装置实施例基本相似于方法实施例,所以描述得比较简单,相关的部分请参见上述提供的方法实施例的对应说明即可。下述描述的装置实施例仅仅是示意性的。
参照附图4,其示出了本申请提供的一种异常链接检测装置实施例的示意图。
本申请提供一种异常链接检测装置,包括:
页面元素确定单元401,用于确定网络页面中具有触发事件的一个或多个页面元素;
触发事件执行单元402,用于执行页面元素的触发事件;
异常链接判断单元403,如果执行触发事件后产生对其他网络资源的访问请求,则基于访问请求来判断页面元素是否对应异常链接。
具体实施时,异常链接检测装置,还包括:执行单元,用于通过执行网络页面所包含的特定对象来获得网络页面中的页面元素。
具体实施时,异常链接判断单元,具体用于判断对其他网络资源的加载是否正常,若否,则确定页面元素对应异常链接。
具体实施时,若异常链接判断单元403输出的判断结果为对其他网络资源的加载正常,则对于加载其他网络资源得到的网络页面运行上述页面元素确定单元401、触发事件执行单元402以及异常链接判断单元403。
具体实施时,异常链接检测装置,还包括:
链接地址获取单元,用于通过文本解析获取网络页面所包含的链接地址;
链接地址判断单元,用于判断链接地址是否可达,以确定链接地址是否对应异常链接;如果不对应异常链接,则对于链接地址指向的网络页面运行上述页面元素确定单元401、触发事件执行单元402以及异常链接判断单元403。
具体实施时,网络页面所包含的特定对象,包括:JavaScript脚本。
具体实施时,网络页面包括单页应用的网络页面。
具体实施时,异常链接检测装置在浏览器内核中运行。
本申请提供的一种电子设备实施例如下:
在上述的实施例中,提供了一种异常链接检测方法,此外,本申请还提供了一种用于实现异常链接检测方法的电子设备,下面结合附图进行说明。本申请提供的电子设备实施例描述得比较简单,相关的部分请参见上述提供的异常链接检测方法实施例的对应说明即可。下述描述的实施例仅仅是示意性的。
参照附图5,其示出了本实施例提供的一种电子设备的示意图。
需要说明的是,本申请提供的电子设备,是指用于实现上述异常链接检测方法的载体,如上,异常链接检测方法依赖于网页运行环境实现,因此,用于实现异常链接检测方法的载体(电子设备)包括能够承载或者配置网页运行环境的电子设备。
进一步,能够承载或者配置网页运行环境的电子设备可以是服务器,比如,对于云计算集群中的服务器,可以在这些服务器配置的浏览器内核或者无界面浏览器中执行异常链接检测方法,这一实现方式对应的实际应用场景包括:用户在浏览网络页面的过程中,由服务器通过配置的浏览器内核或者无界面浏览器对网络页面进行异常链接检测,然后根据异常链接检测结果向用户给出相应提示;或者,云计算集群中的服务器通过配置的浏览器内核或者无界面浏览器对网络页面进行检测。
特别要强调的是,在云计算集群中的服务器通过配置的浏览器内核或者无界面浏览器对网络页面进行检测这一实际应用场景中,尤其是在面对批量甚至海量的异常链接需要检测时,结合云计算集群的强大运算能力,能够更加高效的对批量甚至海量异常链接进行检测,甚至在网络允许的条件下可实现异常链接的实时在线检测,可见,在待检测的异常链接的数目较大的情况下,由云计算集群中配置有浏览器内核或者无界面浏览器的服务器执行异常链接检测方法为较佳的实现方式。
除此之外,能够承载或者配置网页运行环境的电子设备还可以是移动终端等终端设备,比如,在移动终端等终端设备内置的Web OS操作系统中执行异常链接检测方法,或者在移动终端等终端设备配置的浏览器、无界面浏览器或者浏览器内核中执行异常链接检测方法,这一实现方式对应的实际应用场景包括:用户在通过移动终端上安装的浏览器或者配置的Web OS操作系统浏览网络页面的过程中,由移动终端上安装的浏览器或者配置的Web OS操作系统后台对用户当前浏览或者已经浏览的网络页面进行异常链接检测。
在具体实施时,还可通过在浏览器或者Web OS操作系统上设置异常链接检测按钮,用户在浏览网络页面的过程中通过触发异常链接检测按钮进入异常链接检测模式;或者,在浏览器或者Web OS操作系统的设置列表中加入异常链接检测项,用户在浏览网络页面的过程中通过配置异常链接检测项进入异常链接检测模式。
另一方面,还可以在同时在服务器和终端设备配置的网页运行环境中执行异常链接检测方法,在这种情况下,异常链接检测方法的一部分步骤依赖于终端设备中配置的网页运行环境执行,另一部分步骤依赖于服务器中配置的网页运行环境执行。
本申请提供一种电子设备,包括:存储器501和处理器502;存储器501用于存储计算机可执行指令,处理器502用于执行如下计算机可执行指令:确定网络页面中具有触发事件的一个或多个页面元素;执行页面元素的触发事件;如果执行触发事件后产生对其他网络资源的访问请求,则基于访问请求来判断页面元素是否对应异常链接。
具体实施时,在确定网络页面中具有触发事件的一个或多个页面元素的计算机可执行指令执行之前,处理器502还用于执行如下计算机可执行指令:通过执行网络页面所包含的特定对象来获得网络页面中的页面元素。
具体实施时,基于访问请求来判断页面元素是否对应异常链接的指令包括:判断对其他网络资源的加载是否正常,若否,则确定页面元素对应异常链接。
具体实施时,若对其他网络资源的加载正常,则对于加载其他网络资源得到的网络页面重复上述获取具有触发事件的页面元素、执行触发事件和判断页面元素是否对应异常链接的指令。
具体实施时,处理器502还用于执行如下计算机可执行指令:
通过文本解析获取网络页面所包含的链接地址;判断链接地址是否可达,以确定链接地址是否对应异常链接;如果不对应异常链接,则对于链接地址指向的网络页面重复上述获取具有触发事件的页面元素、执行触发事件和判断页面元素是否对应异常链接的指令。
具体实施时,网络页面所包含的特定对象,包括:JavaScript脚本。
具体实施时,网络页面包括单页应用的网络页面。
具体实施时,异常链接检测方法在浏览器内核中执行。
本申请虽然以较佳实施例公开如上,但其并不是用来限定本申请,任何本领域技术人员在不脱离本申请的精神和范围内,都可以做出可能的变动和修改,因此本申请的保护范围应当以本申请权利要求所界定的范围为准。
在一个典型的配置中,计算设备包括一个或多个处理器、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括非暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

Claims (10)

1.一种异常链接检测方法,包括:
确定网络页面中具有触发事件的一个或多个页面元素;
执行所述页面元素的触发事件;
如果执行所述触发事件后产生对其他网络资源的访问请求,则基于所述访问请求来判断所述页面元素是否对应异常链接,具体包括:判断对所述其他网络资源的加载是否正常,若否,则确定所述页面元素对应异常链接;
其中,所述页面元素包括网络页面中用于组织结构和表达内容的对象,所述网络页面中组织结构的对象至少包括以下一种或多种:表格、布局、层、导航条、链接,所述网络页面中表达内容的对象至少包括以下一种或多种:文字、图像、音频、动画、视频。
2.根据权利要求1所述的异常链接检测方法,其中,在所述确定网络页面中具有触发事件的一个或多个页面元素步骤之前,所述方法还包括步骤:
通过执行所述网络页面所包含的特定对象来获得所述网络页面中的页面元素。
3.根据权利要求1所述的异常链接检测方法,其中,所述方法还包括步骤:
若对所述其他网络资源的加载正常,则对于加载所述其他网络资源得到的网络页面重复获取具有触发事件的页面元素、执行触发事件和判断页面元素是否对应异常链接的步骤。
4.根据权利要求3所述的异常链接检测方法,其中,所述方法还包括步骤:
通过文本解析获取所述网络页面所包含的链接地址;
判断所述链接地址是否可达,以确定所述链接地址是否对应异常链接;
如果不对应异常链接,则对于所述链接地址指向的网络页面重复上述获取具有触发事件的页面元素、执行触发事件和判断页面元素是否对应异常链接的步骤。
5.根据权利要求2所述的异常链接检测方法,其中,所述网络页面所包含的特定对象,包括:JavaScript脚本。
6.根据权利要求1至5任意一项所述的异常链接检测方法,其中,所述网络页面包括单页应用的网络页面。
7.根据权利要求6所述的异常链接检测方法,其中,所述异常链接检测方法在浏览器内核中执行。
8.一种异常链接检测装置,包括:
页面元素确定单元,用于确定网络页面中具有触发事件的一个或多个页面元素;
触发事件执行单元,用于执行所述页面元素的触发事件;
异常链接判断单元,如果执行所述触发事件后产生对其他网络资源的访问请求,则基于所述访问请求来判断所述页面元素是否对应异常链接,具体包括:判断对所述其他网络资源的加载是否正常,若否,则确定所述页面元素对应异常链接;
其中,所述页面元素包括网络页面中用于组织结构和表达内容的对象,所述网络页面中组织结构的对象至少包括以下一种或多种:表格、布局、层、导航条、链接,所述网络页面中表达内容的对象至少包括以下一种或多种:文字、图像、音频、动画、视频。
9.根据权利要求8所述的异常链接检测装置,其中,所述装置还包括:
执行单元,用于通过执行所述网络页面所包含的特定对象来获得所述网络页面中的页面元素。
10.一种电子设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行如权利要求1-7中任一项所述的异常链接检测方法的计算机可执行指令。
CN201810748487.XA 2018-07-10 2018-07-10 异常链接检测方法以及装置 Active CN110708270B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810748487.XA CN110708270B (zh) 2018-07-10 2018-07-10 异常链接检测方法以及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810748487.XA CN110708270B (zh) 2018-07-10 2018-07-10 异常链接检测方法以及装置

Publications (2)

Publication Number Publication Date
CN110708270A CN110708270A (zh) 2020-01-17
CN110708270B true CN110708270B (zh) 2022-06-03

Family

ID=69192213

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810748487.XA Active CN110708270B (zh) 2018-07-10 2018-07-10 异常链接检测方法以及装置

Country Status (1)

Country Link
CN (1) CN110708270B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113542047B (zh) * 2020-04-21 2023-04-07 北京沃东天骏信息技术有限公司 异常请求的检测方法、装置、电子设备及计算机可读介质
CN113221035A (zh) * 2021-05-13 2021-08-06 北京百度网讯科技有限公司 用于确定异常网页的方法、装置、设备、介质和程序产品

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105528370A (zh) * 2014-09-30 2016-04-27 北京奇虎科技有限公司 页面检测方法及客户端
CN106326485A (zh) * 2016-09-05 2017-01-11 郑州悉知信息科技股份有限公司 检测网站链接的方法和装置
CN107832428A (zh) * 2017-11-14 2018-03-23 北京知行锐景科技有限公司 基于网站页面的网页状态监控方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8458227B1 (en) * 2010-06-24 2013-06-04 Amazon Technologies, Inc. URL rescue by identifying information related to an item referenced in an invalid URL
CN104408204A (zh) * 2014-12-18 2015-03-11 北京国双科技有限公司 网页页面链接地址的获取方法和装置
CN104978529B (zh) * 2015-03-10 2018-12-07 腾讯科技(深圳)有限公司 网页前端的异常处理方法、异常处理系统及异常处理服务器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105528370A (zh) * 2014-09-30 2016-04-27 北京奇虎科技有限公司 页面检测方法及客户端
CN106326485A (zh) * 2016-09-05 2017-01-11 郑州悉知信息科技股份有限公司 检测网站链接的方法和装置
CN107832428A (zh) * 2017-11-14 2018-03-23 北京知行锐景科技有限公司 基于网站页面的网页状态监控方法及系统

Also Published As

Publication number Publication date
CN110708270A (zh) 2020-01-17

Similar Documents

Publication Publication Date Title
JP6898452B2 (ja) データ取得方法およびデバイス
US9756140B2 (en) Tracking user behavior relative to a network page
JP2019520624A (ja) ページコンポーネント動的レイアウト
CN107590228B (zh) 一种页面内容处理方法及移动终端
CN107147645B (zh) 网络安全数据的获取方法及装置
CN110968314B (zh) 一种页面生成方法及装置
US9503551B2 (en) Hybrid native networked applications
US9648078B2 (en) Identifying a browser for rendering an electronic document
CN111651703A (zh) 一种页面跳转方法、装置、电子设备及可读存储介质
CN110708270B (zh) 异常链接检测方法以及装置
CN107391534B (zh) 页面显示、页面文件返回方法及装置、计算机存储介质
CN114157568B (zh) 一种浏览器安全访问方法、装置、设备及存储介质
US20220078161A1 (en) Method and apparatus for advertisement anti-blocking
JP6505849B2 (ja) 要素識別子の生成
CN112749351B (zh) 链接地址确定方法、装置、计算机可读存储介质及设备
CN108268298B (zh) 桌面图标的生成方法、装置、存储介质及电子设备
CN111046308A (zh) 一种页面加载方法及装置
CN112667934A (zh) 动态模拟图展示方法、装置、电子设备和计算机可读介质
CN104407979A (zh) 脚本检测方法和装置
CN110825976B (zh) 网站页面的检测方法、装置、电子设备及介质
CN110971578B (zh) 一种用户身份的确认方法及装置
CN113392353A (zh) 网站页面的加载方法、装置、电子设备及存储介质
US10229095B2 (en) Expanded icon navigation
CN113127788A (zh) 页面处理方法、对象处理方法、装置及设备
CN110955854A (zh) 一种热力图生成方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant