链接安全检测方法及客户端
技术领域
本发明涉及链接安全领域,特别是涉及一种链接安全检测方法及客户端。
背景技术
随着网络科技的发展,人们对于网络的依赖性也日渐增加。这种依赖性不仅体现在人们的日常学习工作需要通过网络获取或者分享或者传递信息,还体现在人们通过网络进行经济财政类的操作,如网络购物或者网上汇款等操作。而随着这种依赖性的增加,特别是人们依赖网络进行信息传递以及财务操作,直接导致网络安全也日渐受到人们的重视。
现有技术中,为保证网络安全通常采取的手段是对请求报中的链接进行安全性检测,例如漏洞扫描。但是,现有技术中,在进行安全性检测时,由于存在大量无效和/或重复的网络链接,并且现有技术中无法及时去除无效和/或重复的连接,常常出现链接过多无法及时处理的问题,造成安全性检测操作的效率低下。另外,由于无效和/或重复链接过多除导致安全性检测的操作效率低下之外,也直接影响了安全性检测的实时性,降低安全性检测对网络安全的保护作用。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的链接安全检测方法和相应的客户端。
依据本发明的一个方面,提供了一种链接安全检测方法,包括:针对网络数据进行旁路侦听,抓取超文本传输协议请求包;提取所述超文本传输协议请求包中的链接;针对所述链接进行有效性过滤,获取待检测链接;针对所述待检测链接进行安全性检测。
可选地,针对所述链接进行有效性过滤,获取待检测链接,包括:确定所述链接是否为扫描器链接,针对扫描器链接进行过滤;和/或,确定所述链接是否为无效链接,针对无效链接进行过滤;和/或,确定所述链接是否为黑名单链接,针对黑名单链接进行过滤。
可选地,所述确定所述链接是否为扫描器链接,针对扫描器链接进行过滤,包括:确定所述超文本传输协议请求包中是否包含扫描器特征信息,所述扫描器特征信息包括用户代理User-Agent;根据扫描器特征信息确定相应的链接是否为扫描器链接;针对所述扫描器链接进行过滤。
可选地,所述确定所述链接是否为无效链接,针对无效链接进行过滤,包括:根据所述链接中是否包含域名信息、网络互联协议IP地址信息或通用资源标识符URI信息确定所述链接是否为无效链接;针对所述无效链接进行过滤。
可选地,所述确定所述链接是否为黑名单链接,针对黑名单链接进行过滤包括:根据所述链接或所述链接的域名是否包含在黑名单库中确定所述链接是否为黑名单链接;针对所述黑名单链接进行过滤。
可选地,在针对所述链接进行有效性过滤,获取待检测链接之前,还包括:针对所述超文本传输协议请求包的发起端IP地址进行统计,若所述发起端在预定时间内发起的请求数超过预定阈值,则将所述发起端发起的所有请求进行有效性过滤。
依据本发明的另一个方面,还提供了一种连接安全检测客户端,包括:获取模块,适于针对网络数据进行旁路侦听,抓取超文本传输协议请求包;提取模块,适于提取所述超文本传输协议请求包中的链接;过滤模块,适于针对所述链接进行有效性过滤,获取待检测链接;检测模块,适于针对所述待检测链接进行安全性检测。
可选地,所述过滤模块还适于:确定所述链接是否为扫描器链接,针对扫描器链接进行过滤;和/或,确定所述链接是否为无效链接,针对无效链接进行过滤;和/或,确定所述链接是否为黑名单链接,针对黑名单链接进行过滤。
可选地,所述过滤模块还适于:确定所述超文本传输协议请求包中是否包含扫描器特征信息,所述扫描器特征信息包括用户代理User-Agent;根据扫描器特征信息确定相应的链接是否为扫描器链接;针对所述扫描器链接进行过滤。
可选地,所述过滤模块还适于:根据所述链接中是否包含域名信息、网络互连协议IP地址信息或通用资源标识符URI信息确定所述链接是否为无效链接;针对所述无效链接进行过滤。
可选地,所述过滤模块还适于:根据所述链接或所述链接的域名是否包含在黑名单库中确定所述链接是否为黑名单链接;针对所述黑名单链接进行过滤。
可选地,所述链接安全检测客户端还包括:统计模块,适于针对所述超文本传输协议请求包的发起端IP地址进行统计;所述过滤模块,还适于若所述发起端在预定时间内发起的请求数超过预定阈值,则将所述发起端发起的所有请求进行有效性过滤。
本发明实施例中,针对网络数据进行旁路侦听,抓取超文本传输协议请求包,提取超文本传输协议请求包中的链接,并针对链接进行有效性过滤,获取待检测链接。之后,针对待检测链接进行安全性检测。现有技术中,获取到链接之后,直接对链接进行安全性检测。而由于获取到的链接中存在大量重复的链接和/或无效的链接,导致进行安全性检测所需的时间被延长,降低安全性检测的效率,另外,安全性检测所需的时间被延长也导致了安全性检测的实时性变差。因此,现有技术中,由于直接对获取到的链接进行安全性检测,造成安全性检测效率低下、实时性差的问题,降低用户体验。
而本发明实施例中,获取到链接之后,首先针对链接进行有效性过滤。在对链接进行有效性过滤的过程中,去除重复链接和/或无效链接等影响安全检测效率的链接,获取待检测链接。其次,对获取到的待检测链接进行安全性检测。由此可知,本发明实施例中,在去除无效和/或重复链接等延长安全性检测时间,影响安全性检测效率的链接之后,对剩余的待检测链接进行安全性检测,提高安全性检测的实时性,并且极大地提升了安全性检测的效率,进而能够更加合理地保证网络安全,提升用户体验。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
根据下文结合附图对本发明具体实施例的详细描述,本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本发明一个实施例的链接安全检测方法的处理流程图;
图2示出了根据本发明一个实施例的通过确定链接是否为扫描器链接进行有效性过滤的处理流程图;
图3示出了根据本发明一个实施例的确定链接是否为无效链接的方式进行有效性过滤的处理流程图;
图4示出了根据本发明一个实施例的确定链接是否为黑名单链接的方式进行有效性过滤的处理流程图;
图5示出了根据本发明一个优选实施例的链接安全检测方法的处理流程图;
图6示出了根据本发明一个实施例的链接安全检测客户端;以及
图7示出了根据本发明一个优选实施例的链接安全检测客户端的结构示意图。
具体实施方式
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
相关技术中提及,由于无效和/或重复链接过多除导致安全性检测的操作效率低下之外,也直接影响了安全性检测的实时性,降低安全性检测对网络安全的保护作用。
为解决上述技术问题,本发明实施例提供了一种链接安全检测方法。图1示出了根据本发明一个实施例的链接安全检测方法的处理流程图。参见图1,该流程至少包括步骤S102至步骤S108。
步骤S102、针对网络数据进行旁路侦听,抓取超文本传输协议请求包。
步骤S104、提取超文本传输协议请求包中的链接。
步骤S106、针对链接进行有效性过滤,获取待检测链接。
步骤S108、针对待检测链接进行安全性检测。
本发明实施例中,针对网络数据进行旁路侦听,抓取超文本传输协议请求包,提取超文本传输协议请求包中的链接,并针对链接进行有效性过滤,获取待检测链接。之后,针对待检测链接进行安全性检测。相对于现有技术中提及的“直接对抓取的超文本传输协议请求包中的链接进行安全性检测”导致安全性检测效率较低,本发明实施例中的有效性过滤操作能够过滤到链接中存在的不具备有效性的链接(例如大量重复的链接、无效的链接、恶意链接等等),使得后续进行安全性检测的样本数量大大减少,缩短安全性检测所需时间,提高安全性检测的效率。并且,在不具备有效性链接的过滤过程中,可以将部分存在安全隐患的链接(例如恶意链接)过滤掉,大大增加了安全检测的安全性和可靠性。另外,因安全性检测所需时间相对相有技术明显缩短,进一步提高安全性检测的实时性。因此,本发明实施例能够极大地提升了安全性检测的效率,能够更加合理地保证网络安全,提升用户体验。
由图1所示的流程可知,本发明实施例中,在提取到超文本传输协议请求包中的链接之后,通过对提取到的链接进行有效性过滤,获取到待检测链接。本发明实施例中,对链接进行有效性过滤的方式,可以是能够去除提取到的链接中降低安全性检测效率的链接(如重复链接、无效链接)的任意方式,本发明实施例对此并不加以限定。优选地,本发明实施例提供三种有效性过滤的方式,分别为通过确定提取到的链接是否为扫描器链接对链接进行过滤(即过滤扫描器链接)、通过确定提取到的链接是否为无效链接对链接进行过滤(即过滤无效链接)、通过确定提取到的链接是否为黑名单链接对链接进行过滤(即过滤黑名单链接)。现对这三种方式分别进行介绍。
首先,对通过确定提取到的链接是否为扫描器链接进行过滤。此处的扫描器是指网络扫描器,对于网络中的任意链接,扫描器扫描过后会添加已扫描标识,已扫描过的链接已进行了安全性检测,无须再次检测。由于若确定提取到的链接是扫描器链接,即能够确定该链接为扫描器已扫描过的链接,则能够确定该链接为重复链接,因此,为提高安全性检测的效率,本发明实施例中需要去除已被扫描过的、重复的扫描器链接。
图2示出了根据本发明一个实施例的通过确定链接是否为扫描器链接进行有效性过滤的处理流程图。参见图2,该流程至少包括步骤S202至步骤S206。步骤S202中,确定超文本传输协议请求包中是否包含扫描器特征信息。之后,执行步骤S204,根据扫描器特征信息确定相应的链接是否为扫描器链接。具体地,若请求包中存在扫描器特征信息,则能够确定相应的链接为扫描器链接,若请求包中不存在扫描器特征信息,则确定相应的链接非扫描器链接。确定之后,如图2中的步骤S206所示,针对扫描器链接进行过滤,即对于确定为扫描器链接的链接直接进行过滤。另外,本发明实施例中,扫描器特征信息包括用户代理(User-Agent,以下简称UA)。UA为超文本传输协议(即http协议)中头域的组成部分。根据图2所示的流程图,若请求包中存在UA,则能够确定相应的链接为扫描器链接,之后,能够直接对该链接进行过滤。例如,若webscan的UA为Mozilla/4.0(compatible;MSIE7.0;WindowsNT6.0;.NETCLR1.1.4322)360webscan,当确定请求包中包含该UA,则能够确定相应链接为webscan扫描器扫描的链接,可以直接对该链接进行过滤。
上文依照图2对本发明实施例提供的通过确定链接是否为扫描器链接进行有效性过滤的方式进行了介绍,现对第二种有效性过滤的方式进行介绍,即通过确定提取到的链接是否为无效链接对链接进行过滤。
图3示出了根据本发明一个实施例的确定链接是否为无效链接的方式进行有效性过滤的处理流程图。参见图3,该流程至少包括步骤S302至步骤S304。步骤S302中,依据链接中是否包含域名信息和/或网络互联协议(InternetProtocol,以下简称IP)地址信息和/或通用资源标识符(UniformResourceIdentifier,以下简称URI)信息确定链接是否为无效链接。之后,根据确定结果,在步骤S304中,对无效链接进行过滤。
本发明实施例提供的第三种有效性过滤的方式为通过确定提取到的链接是否为黑名单链接对链接进行过滤。图4示出了根据本发明一个实施例的确定链接是否为黑名单链接的方式进行有效性过滤的处理流程图。参见图4,首先执行步骤S402,根据链接或者链接的域名是否包含在黑名单库中确定链接是否为黑名单链接。其次,执行步骤S404,针对黑名单链接进行过滤。
上文对本发明实施例优选的三种对链接进行有效性过滤的方式进行了介绍。本发明实施例中,对链接进行有效性过滤,以去除从请求包中提取的链接中的重复链接或者无效链接或者黑名单链接,进而提高安全性检测的效率。另外,为进一步提高安全性检测的效率,优选地,本发明实施例针对超文本传输协议请求包的发起端IP地址进行统计,若统计到发起端在预定时间内发起的请求数超过预定阈值(例如,在30秒内请求数超过300次),则提取发起端发起的所有请求的链接,在进行有效性过滤之后,进行安全性检测。
实施例一
为将上文各优选实施例提供的链接安全检测方法阐述得更加清楚明白,现以一个优选实施例对本发明实施例提供的链接安全检测方法进行介绍。图5示出了根据本发明一个优选实施例的链接安全检测方法的处理流程图。参见图5,该流程至少包括步骤S502至步骤S516。
步骤S502、针对网络数据进行旁路侦听,抓取超文本传输协议请求包。
步骤S504、针对步骤S502中抓取的请求包的发起端IP地址进行统计。
具体地,抓取到请求包之后,对请求包的发起端在预定时间内发起的请求数进行统计。
步骤S506、判断发起端在预定时间内发起的请求数是否超过预定阈值。若超过,则继续执行步骤S506。若未超过,则流程结束。
具体地,在步骤S504中,对抓取的请求包的发起端在预定时间内发起的请求数进行统计。而在步骤S506中,判断统计得到的请求数是否超过预定阈值。例如,预定时间为60秒,预定阈值为800,而抓取到的请求包的发起端在60秒内发起的请求数为2000次,超过预定阈值,则该发起端可能为木马病毒等威胁网络安全的恶意发起端。因此,本例中,当判断得到预定时间内发起端发起的请求数超过预定阈值时,继续执行下一步。
步骤S508、确定抓取的请求包中是否包含扫描器特征信息。若是,执行步骤S510。若否,执行步骤S512。优选地,本例中的扫描器特征信息包括UA。
步骤S510、过滤整个请求包,即抓取的请求包中的所有链接均被过滤。
根据步骤S508中的判断操作,确定抓取的请求包中包含UA,则能够直接确定该请求包中的所有链接均为扫描器已扫描的链接,因此能够直接被过滤。
例如,若webscan的UA为Mozilla/4.0(compatible;MSIE7.0;WindowsNT6.0;.NETCLR1.1.4322)360webscan,当确定请求包中包含该UA,则能够确定相应链接为webscan扫描器扫描的链接,可以直接对该链接进行过滤。
步骤S512、当确定抓取的请求包中并不包含UA等扫描器特征信息,则通过确定链接是否为无效链接对请求包中提取的链接进行有效性过滤。
具体地,本例中,根据链接中是否包含域名信息、IP地址信息或者URI信息确定连接是否为无效链接。若是,则对链接进行过滤,若否,则保留链接。
步骤S514、通过确定链接是否为黑名单链接对请求包中提取的链接进行过滤。
具体地,本优选实施例根据连接或链接中的域名是否包含在黑名单库中确定链接是否为黑名单。若是,则过滤该链接,若否,则保留该链接。
步骤S516、根据步骤S508、步骤S512以及步骤S514抓取的请求包中提取的链接进行有效性过滤之后,获取到待检测链接,并对待检测链接进行安全性检测,流程结束。
需要说明的是,本发明实施例中,“通过确定链接是否为无效链接对链接进行过滤”这一操作(即图5中步骤S512所示的操作)与“通过确定链接是否为黑名单链接对链接进行过滤”这一操作(即图5中步骤S512所示的操作)并无确定的先后顺序。即本发明实施例中,可以如图5所示,首先根据链接是否为无效链接对链接进行过滤,其次,对剩下的链接根据链接是否为黑名单链接进行过滤,还可以是首先根据链接是否为黑名单链接进行过滤,其次,根据链接是否为无效链接对链接进行过滤,本发明实施例对此并不加以限定。
基于上文各优选实施例提供的链接安全检测方法,基于同一发明构思,本发明实施例提供了一种链接安全检测客户端,用于实现上述任意一个实施例或其组合所提供的链接安全检测方法。图6示出了根据本发明一个实施例的链接安全检测客户端。参见图6,本发明实施例的链接安全检测客户端至少包括获取模块610、提取模块620、过滤模块630以及检测模块640。
现介绍本发明实施例的链接安全检测客户端的各器件或组成的功能以及各部分间的连接关系:
获取模块610,适于针对网络数据进行旁路侦听,抓取超文本传输协议请求包。
提取模块620,与获取模块610以及过滤模块630分别耦合,适于提取超文本传输协议请求包中的链接。
过滤模块630,与提取模块620以及检测模块640分别耦合,适于针对链接进行有效性过滤,获取待检测链接。
检测模块640,与过滤模块630相耦合,适于针对待检测链接进行安全性检测。
在一个优选的实施例中,过滤模块630还适于:确定链接是否为扫描器链接,针对扫描器链接进行过滤;和/或,确定链接是否为无效链接,针对无效链接进行过滤;和/或,确定链接是否为黑名单链接,针对黑名单链接进行过滤。
在一个优选的实施例中,过滤模块630还适于:确定超文本传输协议请求包中是否包含扫描器特征信息,扫描器特征信息包括用户代理User-Agent;根据扫描器特征信息确定相应的链接是否为扫描器链接;针对扫描器链接进行过滤。
在一个优选的实施例中,过滤模块630还适于:根据链接中是否包含域名信息、IP地址信息或通用资源标识符URI信息确定链接是否为无效链接;针对无效链接进行过滤。
在一个优选的实施例中,过滤模块630还适于:根据链接或链接的域名是否包含在黑名单库中确定链接是否为黑名单链接;针对黑名单链接进行过滤。
图7示出了根据本发明一个优选实施例的链接安全检测客户端的结构示意图。参见图7,本发明实施例的链接安全检测客户端还包括:
统计模块650,适于针对超文本传输协议请求包的发起端IP地址进行统计;
过滤模块630,还适于若发起端在预定时间内发起的请求数超过预定阈值,则将发起端发起的所有请求进行有效性过滤。
根据上述任意一个优选实施例或多个优选实施例的组合,本发明实施例能够达到如下有益效果:
本发明实施例中,针对网络数据进行旁路侦听,抓取http请求包,提取超文本传输协议请求包中的链接,并针对链接进行有效性过滤,获取待检测链接。之后,针对待检测链接进行安全性检测。相对于现有技术中提及的“直接对抓取的http请求包中的链接进行安全性检测”导致安全性检测效率较低,本发明实施例中的有效性过滤操作能够过滤到链接中存在的不具备有效性的链接(例如大量重复的链接、无效的链接、恶意链接等等),使得后续进行安全性检测的样本数量大大减少,缩短安全性检测所需时间,提高安全性检测的效率。并且,在不具备有效性链接的过滤过程中,可以将部分存在安全隐患的链接(例如恶意链接)过滤掉,大大增加了安全检测的安全性和可靠性。另外,因安全性检测所需时间相对相有技术明显缩短,进一步提高安全性检测的实时性。因此,本发明实施例能够极大地提升了安全性检测的效率,能够更加合理地保证网络安全,提升用户体验。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的装置或者设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
至此,本领域技术人员应认识到,虽然本文已详尽示出和描述了本发明的多个示例性实施例,但是,在不脱离本发明精神和范围的情况下,仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此,本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。