CN113518077A - 一种恶意网络爬虫检测方法、装置、设备及存储介质 - Google Patents

一种恶意网络爬虫检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113518077A
CN113518077A CN202110577313.3A CN202110577313A CN113518077A CN 113518077 A CN113518077 A CN 113518077A CN 202110577313 A CN202110577313 A CN 202110577313A CN 113518077 A CN113518077 A CN 113518077A
Authority
CN
China
Prior art keywords
data
server
data request
proxy server
request initiating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110577313.3A
Other languages
English (en)
Inventor
温延龙
范渊
杨勃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DBAPPSecurity Co Ltd
Original Assignee
DBAPPSecurity Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DBAPPSecurity Co Ltd filed Critical DBAPPSecurity Co Ltd
Priority to CN202110577313.3A priority Critical patent/CN113518077A/zh
Publication of CN113518077A publication Critical patent/CN113518077A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H04L63/145—Countermeasures against malicious traffic the attack involving the propagation of malware through the network, e.g. viruses, trojans or worms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers

Abstract

本申请公开了一种恶意网络爬虫检测方法、装置、设备及存储介质，包括：获取数据请求发起端发送的与数据报文；对数据报文进行解析，得到反映所述数据请求发起端的服务器类型的目标信息，基于目标信息判定数据请求发起端的服务器是否为代理服务器；如果是，则获取代理服务器在预设时间段内请求访问本地的访问时间及相应的数据报文，基于访问时间和相应的数据报文对代理服务器的恶意爬取数据行为进行检测。本申请通过对请求发起端的数据报文进行解析得到反映该发起端服务器类型的目标信息，在通过该目标信息判定该发起端为代理服务器的基础上，进一步对其访问时间和数据报文进行检测，避免网站数据被代理IP恶意抓取，提高网络数据安全度。

Description

一种恶意网络爬虫检测方法、装置、设备及存储介质
技术领域
本发明涉及计算机技术领域，特别涉及一种恶意网络爬虫检测方法、装置、设备及存储介质。
背景技术
随着互联网的发展，爬虫技术也日益强大。为了防止恶意的数据抓取，网站通过很多方式来防止爬虫抓取数据。
现有技术中，互联网上的网站，大多数防止恶意爬虫的方式是记录IP的访问次数，然后根据次数添加验证码，或者通过黑白名单的方式来防止爬取。但是随着爬虫技术的发展，验证法识别已不是难事，抓取数据者往往会运用大量的代理IP来对网站发起请求。针对大量不同代理IP，网站原有的规则不能识别代理IP，没有智能分析系统，大量数据被抓取，恶意的数据抓取为网站带来数据泄露等危害。
因此，如何防止利用代理IP进行数据恶意抓取，从而保护网站数据是本领域技术人员亟待解决的技术问题。
发明内容
有鉴于此，本发明的目的在于提供一种恶意网络爬虫检测方法、装置、设备及存储介质，能够避免网站数据被代理IP恶意抓取，提高网络数据安全度。其具体方案如下：
本申请的第一方面提供了一种恶意网络爬虫检测方法，包括：
获取数据请求发起端发送的与数据请求对应的数据报文；
对所述数据报文进行解析，以得到与解析后的所述数据报文对应的反映所述数据请求发起端的服务器类型的目标信息，并基于所述目标信息判定所述数据请求发起端的服务器是否为代理服务器；
如果所述数据请求发起端的服务器为代理服务器，则获取所述代理服务器在预设时间段内请求访问本地的访问时间及相应的数据报文，并基于所述访问时间和相应的数据报文对所述代理服务器的恶意爬取数据行为进行检测。
可选的，所述对所述数据报文进行解析，以得到与解析后的所述数据报文对应的反映所述数据请求发起端的服务器类型的目标信息，包括：
对所述数据报文进行解析，以得到与解析后的所述数据报文对应的反映所述数据请求发起端的服务器类型的目标信息；其中，所述目标信息为所述数据请求发起端的IP地址信息、XFF头信息、keep-alive组件配置信息。
可选的，所述基于所述目标信息判定所述数据请求发起端的服务器是否为代理服务器，包括：
通过判断所述数据请求发起端的IP地址信息、所述XFF头信息、所述keep-alive组件配置信息是否满足第一预设条件，按照预设评分规则对所述数据请求发起端的服务器为代理服务器的概率进行评分；其中，概率值与评分值正相关；
根据评分结果判定所述数据请求发起端的服务器是否为代理服务器。
可选的，所述通过判断所述数据请求发起端的IP地址信息、所述XFF头信息、所述keep-alive组件配置信息是否满足第预设条件，按照预设评分规则对所述数据请求发起端的服务器为代理服务器的概率进行评分，包括：
将所述数据请求发起端的IP地址信息与包含代理IP地址信息的数据库进行匹配，如果匹配成功，则利用第一评分值进行评分；
利用端口扫描技术判断与所述通过判断所述数据请求发起端的IP地址信息对应的IP开放端口是否有大于10000的端口，如果是，则利用第二评分值进行评分；
判断所述XFF头信息是否为空值，如果否，则利用第三评分值进行评分；
判断所述keep-alive组件配置信息中是否含有Proxy-Connection配置，如果有，则利用第四评分值进行评分；
利用所述通过判断所述数据请求发起端的IP地址信息模仿代理访问网站，根据访问结果利用第五评分值进行评分；
相应的，所述根据评分结果判定所述数据请求发起端的服务器是否为代理服务器，包括：
根据第一评分值、第二评分值、第三评分值、第四评分值及第五评分值得到总评分值，如果所述总评分值大于预设值，则判定所述数据请求发起端的服务器为代理服务器。
可选的，所述判定所述数据请求发起端的服务器为代理服务器之后，还包括：
利用表征所述数据请求发起端的服务器为代理服务器的标签对所述数据请求发起端的服务器进行标记。
可选的，所述基于访问时间和相应的数据报文对所述代理服务器的恶意爬取数据行为进行检测，包括：
根据所述访问时间得到访问频次，如果所述访问频次满足第二预设条件且相邻所述访问时间的数据报文对应的统一资源定位符均不相同，则将所述代理服务器引流至验证界面或返回无效信息。
可选的，所述基于访问时间和相应的数据报文对所述代理服务器的恶意爬取数据行为进行检测之后，还包括：
将检测到的具有恶意爬取数据行为的所述代理服务器在所述数据库的黑名单中进行更新，以得到包含所述代理服务器的黑名单。
本申请的第二方面提供了一种网络爬虫检测装置，包括：
获取模块，用于获取数据请求发起端发送的与数据请求对应的数据报文；
解析模块，用于对所述数据报文进行解析，以得到解析后的所述数据报文中反映所述数据请求发起端的服务器类型的检测信息，并基于所述检测信息判定所述数据请求发起端的服务器是否为代理服务器；
检测模块，用于如果所述数据请求发起端的服务器为代理服务器，则获取所述代理服务器在预设时间段内请求访问本地的访问时间，并基于所述访问时间和与所述访问时间对应的数据报文对所述代理服务器的恶意爬取数据行为进行检测。
本申请的第三方面提供了一种电子设备，所述电子设备包括处理器和存储器；其中所述存储器用于存储计算机程序，所述计算机程序由所述处理器加载并执行以实现前述网络爬虫检测方法。
本申请的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现前述网络爬虫检测方法。
本申请中，先获取数据请求发起端发送的与数据请求对应的数据报文；然后对所述数据报文进行解析，以得到与解析后的所述数据报文对应的反映所述数据请求发起端的服务器类型的目标信息，并基于所述目标信息判定所述数据请求发起端的服务器是否为代理服务器；如果所述数据请求发起端的服务器为代理服务器，则获取所述代理服务器在预设时间段内请求访问本地的访问时间及相应的数据报文，并基于所述访问时间和相应的数据报文对所述代理服务器的恶意爬取数据行为进行检测。本申请通过对请求发起端的数据报文进行解析得到反映该发起端服务器类型的目标信息，在通过该目标信息判定该发起端为代理服务器的基础上，进一步根据该代理服务器在预设时间段内的访问时间和数据报文检测恶意爬取数据行为，避免网站数据被代理IP恶意抓取，提高网络数据安全度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请提供的一种恶意网络爬虫检测方法流程图；
图2为本申请提供的一种具体的恶意网络爬虫检测示意图；
图3为本申请提供的一种恶意网络爬虫检测装置结构示意图；
图4为本申请提供的一种恶意网络爬虫检测电子设备结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有的大多数防止恶意爬虫的方式是记录IP的访问次数，然后根据次数添加验证码，或者通过黑白名单的方式来防止爬取。但是随着爬虫技术的发展，验证法识别已不是难事，抓取数据者往往会运用大量的代理IP来对网站发起请求。针对大量不同代理IP，网站原有的规则不能识别代理IP，没有智能分析系统，大量数据被抓取，恶意的数据抓取为网站带来数据泄露等危害。针对上述技术缺陷，本申请提供一种恶意网络爬虫检测方案，通过对请求发起端的数据报文进行解析得到反映该发起端服务器类型的目标信息，在通过该目标信息判定该发起端为代理服务器的基础上，进一步根据该代理服务器在预设时间段内的访问时间和数据报文检测恶意爬取数据行为，避免网站数据被代理IP恶意抓取，提高网络数据安全度。
图1为本申请实施例提供的一种恶意网络爬虫检测方法流程图。参见图1所示，该恶意网络爬虫检测方法包括：
S11：获取数据请求发起端发送的与数据请求对应的数据报文。
本实施例中，首先获取数据请求发起端发送的与数据请求对应的数据报文。在此基础上，利用代理IP识别系统以及智能上报分析系统识别数据请求发起端的服务器类型是否是恶意抓取数据的代理IP，从而对属于恶意抓取信息的数据请求进行引流返回无效数据，防止利用代理IP进行数据恶意抓取以起到保护网站数据的目的。需要说明的是，所述代理IP识别系统为步骤S12依托的系统，所述智能上报分析系统为步骤S13依托的系统，利用各个系统实现各个步骤的功能。所述代理IP识别系统和所述智能上报分析系统可根据步骤S12和步骤S13的具体功能自行开发实现。
S12：对所述数据报文进行解析，以得到与解析后的所述数据报文对应的反映所述数据请求发起端的服务器类型的目标信息，并基于所述目标信息判定所述数据请求发起端的服务器是否为代理服务器。
本实施例中，在获取到数据请求发起端发送的与数据请求对应的数据报文后，对所述数据报文进行解析，以得到与解析后的所述数据报文对应的反映所述数据请求发起端的服务器类型的目标信息，并基于所述目标信息判定所述数据请求发起端的服务器是否为代理服务器。进一步的，所述目标信息为所述数据请求发起端的IP地址信息、XFF头信息、keep-alive组件配置信息。进而通过判断所述数据请求发起端的IP地址信息、所述XFF头信息、所述keep-alive组件配置信息是否满足第一预设条件，按照预设评分规则对所述数据请求发起端的服务器为代理服务器的概率进行评分，其中，概率值与评分值正相关。所述评分规则可以自行设定，本实施例对此不进行限定。最后根据评分结果判定所述数据请求发起端的服务器是否为代理服务器。此时，所述代理IP识别系统即为代理IP评分系统。
本申请实施例主要从威胁情报分析、访问IP的开放端口(port)查询(反向探测技术)、访问IP请求的HTTP头部的X_Forward_For(XFF)信息、Keep-alive报文、模拟代理访问网站技术进行综合评分，包括但不限于上述所列的五个层面，只要能识别出是否是代理IP的信息都属于本申请实施例中所述的目标信息。具体如图2所示，将所述数据请求发起端的IP地址信息与包含代理IP地址信息的数据库进行匹配，如果匹配成功，则利用第一评分值进行评分；利用端口扫描技术判断与所述通过判断所述数据请求发起端的IP地址信息对应的IP开放端口是否有大于10000的端口，如果是，则利用第二评分值进行评分；判断所述XFF头信息是否为空值，如果否，则利用第三评分值进行评分；判断所述keep-alive组件配置信息中是否含有Proxy-Connection配置，如果有，则利用第四评分值进行评分；利用所述通过判断所述数据请求发起端的IP地址信息模仿代理访问网站，根据访问结果利用第五评分值进行评分。最后根据第一评分值、第二评分值、第三评分值、第四评分值及第五评分值得到总评分值，如果所述总评分值大于预设值，则判定所述数据请求发起端的服务器为代理服务器。
例如，将代理IP评分系统的总分设置为10分，其中评分大于等于4分的记为代理IP，评分小于4分的记为其它。关于所述第一评分值，将请求网站的IP与威胁情报系统中的IOC(Indicators of Compromise)进行匹配，如果匹配成功，加2分，否则不加分。其中，所述威胁情报系统中基于先验经验预先存储了大量的代理IP信息。关于所述第二评分值，利用扫描技术查看IP开放端口是否有大于10000的端口，如果有则加2分，如果有开放端口但是没有大于10000的加1分，否则不计分。可以理解，为了提高效率可以指定固定的IP进行扫描，例如80、8080等。关于所述第三评分值，解析HTTP头部的X_Forward_For如果带有XFF头信息加2分，否则不加分。关于所述第三评分值，解析报文中Keep-alive报文如果带有Proxy-Connection的加1分。关于所述第四评分值，利用访问IP模拟代理访问网站，如果可以访问则加3分。最后对全部评分值加和计算出总评分，如果大于等于4分，则判定所述数据请求发起端的服务器为代理服务器。进一步的，判定所述数据请求发起端的服务器为代理服务器之后，还可以在利用表征所述数据请求发起端的服务器为代理服务器的标签对所述数据请求发起端的服务器进行标记。例如，利用“tag＝proxy”对该代理IP进行标记。
S13：如果所述数据请求发起端的服务器为代理服务器，则获取所述代理服务器在预设时间段内请求访问本地的访问时间及相应的数据报文，并基于所述访问时间和相应的数据报文对所述代理服务器的恶意爬取数据行为进行检测。
本实施例中，如果所述数据请求发起端的服务器为代理服务器，则获取所述代理服务器在预设时间段内请求访问本地的访问时间及相应的数据报文，并基于所述访问时间和相应的数据报文对所述代理服务器的恶意爬取数据行为进行检测。进一步的，根据所述访问时间得到访问频次，如果所述访问频次满足第二预设条件且相邻所述访问时间的数据报文对应的统一资源定位符均不相同，则将所述代理服务器引流至验证界面或返回无效信息。也即，所述智能上报分析系统会对打上“proxy”的IP信息以及请求的报文(包括请求的时间、请求的URL、请求的参数等)进行分析。所述智能上报分析系统根据时间段内不同代理IP访问的间隔时间以及请求网站URL的变化来判断是否为恶意抓取数据。由于恶意抓取网站数据为了绕过网站的一些规则，往往会使用多个IP进行切换爬取，所述智能上报分析系统有一个很重要的分析特点就是，通过代理IP访问的时间间隔，频率、请求的URL、和请求的参数变化来判断这段时间段内是否有大量代理IP进行数据抓取。当然如果使用单个代理IP抓取数据，根据频次和访问参数很容易识别到。
具体的，首先获取到代理IP在预设时间段内的访问时间、访问次数以及报文信息(包括请求的参数、URL等)。所述预设时间段根据业务需求自行设定，本实施例对此不进行限定。例如，在5分钟内每10秒有一个代理IP访问网站，并且访问的URL都不同，也即参数都是变化的，那么可以将这种代理IP的数据请求确定为恶意爬取数据的行为，进而进行引流到验证页面、错误页面或者返回和网站无关的信息(也即无效信息)，起到防护的作用。不难理解，在确定代理IP的数据请求为恶意爬取数据的行为后，还可以进一步将检测到的具有恶意爬取数据行为的所述代理服务器在所述数据库的黑名单中进行更新，以得到包含所述代理服务器的黑名单，以便下次检测时能够根据所述黑名单直接对代理IP的恶意爬取数据的请求进行引流操作。
可见，本申请实施例先获取数据请求发起端发送的与数据请求对应的数据报文；然后对所述数据报文进行解析，以得到与解析后的所述数据报文对应的反映所述数据请求发起端的服务器类型的目标信息，并基于所述目标信息判定所述数据请求发起端的服务器是否为代理服务器；如果所述数据请求发起端的服务器为代理服务器，则获取所述代理服务器在预设时间段内请求访问本地的访问时间及相应的数据报文，并基于所述访问时间和相应的数据报文对所述代理服务器的恶意爬取数据行为进行检测。本申请实施例通过对请求发起端的数据报文进行解析得到反映该发起端服务器类型的目标信息，在通过该目标信息判定该发起端为代理服务器的基础上，进一步根据该代理服务器在预设时间段内的访问时间和数据报文检测恶意爬取数据行为，避免网站数据被代理IP恶意抓取，提高网络数据安全度。
参见图3所示，本申请实施例还相应公开了一种恶意网络爬虫检测装置，包括：
获取模块11，用于获取数据请求发起端发送的与数据请求对应的数据报文；
解析模块12，用于对所述数据报文进行解析，以得到解析后的所述数据报文中反映所述数据请求发起端的服务器类型的检测信息，并基于所述检测信息判定所述数据请求发起端的服务器是否为代理服务器；
检测模块13，用于如果所述数据请求发起端的服务器为代理服务器，则获取所述代理服务器在预设时间段内请求访问本地的访问时间，并基于所述访问时间和与所述访问时间对应的数据报文对所述代理服务器的恶意爬取数据行为进行检测。
可见，本申请实施例先获取数据请求发起端发送的与数据请求对应的数据报文；然后对所述数据报文进行解析，以得到与解析后的所述数据报文对应的反映所述数据请求发起端的服务器类型的目标信息，并基于所述目标信息判定所述数据请求发起端的服务器是否为代理服务器；如果所述数据请求发起端的服务器为代理服务器，则获取所述代理服务器在预设时间段内请求访问本地的访问时间及相应的数据报文，并基于所述访问时间和相应的数据报文对所述代理服务器的恶意爬取数据行为进行检测。本申请实施例通过对请求发起端的数据报文进行解析得到反映该发起端服务器类型的目标信息，在通过该目标信息判定该发起端为代理服务器的基础上，进一步根据该代理服务器在预设时间段内的访问时间和数据报文检测恶意爬取数据行为，避免网站数据被代理IP恶意抓取，提高网络数据安全度。
在一些具体实施例中，所述解析模块12，具体包括：
目标信息获取子模块，用于对所述数据报文进行解析，以得到与解析后的所述数据报文对应的反映所述数据请求发起端的服务器类型的目标信息；其中，所述目标信息为所述数据请求发起端的IP地址信息、XFF头信息、keep-alive组件配置信息；
判定子模块，用于通过判断所述数据请求发起端的IP地址信息、所述XFF头信息、所述keep-alive组件配置信息是否满足第一预设条件，按照预设评分规则对所述数据请求发起端的服务器为代理服务器的概率进行评分；其中，概率值与评分值正相关；根据评分结果判定所述数据请求发起端的服务器是否为代理服务器。
相应的，所述判定子模块，具体包括：
第一评分单元，用于将所述数据请求发起端的IP地址信息与包含代理IP地址信息的数据库进行匹配，如果匹配成功，则利用第一评分值进行评分；
第二评分单元，用于利用端口扫描技术判断与所述通过判断所述数据请求发起端的IP地址信息对应的IP开放端口是否有大于10000的端口，如果是，则利用第二评分值进行评分；
第三评分单元，用于判断所述XFF头信息是否为空值，如果否，则利用第三评分值进行评分；
第四评分单元，用于判断所述keep-alive组件配置信息中是否含有Proxy-Connection配置，如果有，则利用第四评分值进行评分；
第五评分单元，用于利用所述通过判断所述数据请求发起端的IP地址信息模仿代理访问网站，根据访问结果利用第五评分值进行评分；
判定单元，用于根据第一评分值、第二评分值、第三评分值、第四评分值及第五评分值得到总评分值，如果所述总评分值大于预设值，则判定所述数据请求发起端的服务器为代理服务器。
在一些具体实施例中，所述恶意网络爬虫检测装置还包括：
标记模块，用于利用表征所述数据请求发起端的服务器为代理服务器的标签对所述数据请求发起端的服务器进行标记。
在一些具体实施例中，所述检测模块13，具体用于根据所述访问时间得到访问频次，如果所述访问频次满足第二预设条件且相邻所述访问时间的数据报文对应的统一资源定位符均不相同，则将所述代理服务器引流至验证界面或返回无效信息。
进一步的，本申请实施例还提供了一种电子设备。图4是根据一示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本申请的使用范围的任何限制。
图4为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的恶意网络爬虫检测方法中的相关步骤。另外，本实施例中的电子设备20具体可以为服务器。
本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源可以包括操作系统221、计算机程序222及数据223等，存储方式可以是短暂存储或者永久存储。
其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，以实现处理器21对存储器22中海量数据223的运算与处理，其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的恶意网络爬虫检测方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。数据223可以包括电子设备20收集到的目标信息。
进一步的，本申请实施例还公开了一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行时，实现前述任一实施例公开的恶意网络爬虫检测方法步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的恶意网络爬虫检测方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种恶意网络爬虫检测方法，其特征在于，包括：
获取数据请求发起端发送的与数据请求对应的数据报文；
对所述数据报文进行解析，以得到与解析后的所述数据报文对应的反映所述数据请求发起端的服务器类型的目标信息，并基于所述目标信息判定所述数据请求发起端的服务器是否为代理服务器；
如果所述数据请求发起端的服务器为代理服务器，则获取所述代理服务器在预设时间段内请求访问本地的访问时间及相应的数据报文，并基于所述访问时间和相应的数据报文对所述代理服务器的恶意爬取数据行为进行检测。
2.根据权利要求1所述的恶意网络爬虫检测方法，其特征在于，所述对所述数据报文进行解析，以得到与解析后的所述数据报文对应的反映所述数据请求发起端的服务器类型的目标信息，包括：
对所述数据报文进行解析，以得到与解析后的所述数据报文对应的反映所述数据请求发起端的服务器类型的目标信息；其中，所述目标信息为所述数据请求发起端的IP地址信息、XFF头信息、keep-alive组件配置信息。
3.根据权利要求2所述的恶意网络爬虫检测方法，其特征在于，所述基于所述目标信息判定所述数据请求发起端的服务器是否为代理服务器，包括：
通过判断所述数据请求发起端的IP地址信息、所述XFF头信息、所述keep-alive组件配置信息是否满足第一预设条件，按照预设评分规则对所述数据请求发起端的服务器为代理服务器的概率进行评分；其中，概率值与评分值正相关；
根据评分结果判定所述数据请求发起端的服务器是否为代理服务器。
4.根据权利要求3所述的恶意网络爬虫检测方法，其特征在于，所述通过判断所述数据请求发起端的IP地址信息、所述XFF头信息、所述keep-alive组件配置信息是否满足第预设条件，按照预设评分规则对所述数据请求发起端的服务器为代理服务器的概率进行评分，包括：
将所述数据请求发起端的IP地址信息与包含代理IP地址信息的数据库进行匹配，如果匹配成功，则利用第一评分值进行评分；
利用端口扫描技术判断与所述通过判断所述数据请求发起端的IP地址信息对应的IP开放端口是否有大于10000的端口，如果是，则利用第二评分值进行评分；
判断所述XFF头信息是否为空值，如果否，则利用第三评分值进行评分；
判断所述keep-alive组件配置信息中是否含有Proxy-Connection配置，如果有，则利用第四评分值进行评分；
利用所述通过判断所述数据请求发起端的IP地址信息模仿代理访问网站，根据访问结果利用第五评分值进行评分；
相应的，所述根据评分结果判定所述数据请求发起端的服务器是否为代理服务器，包括：
根据第一评分值、第二评分值、第三评分值、第四评分值及第五评分值得到总评分值，如果所述总评分值大于预设值，则判定所述数据请求发起端的服务器为代理服务器。
5.根据权利要求4所述的恶意网络爬虫检测方法，其特征在于，所述判定所述数据请求发起端的服务器为代理服务器之后，还包括：
利用表征所述数据请求发起端的服务器为代理服务器的标签对所述数据请求发起端的服务器进行标记。
6.根据权利要求1至5任一项所述的恶意网络爬虫检测方法，其特征在于，所述基于访问时间和相应的数据报文对所述代理服务器的恶意爬取数据行为进行检测，包括：
根据所述访问时间得到访问频次，如果所述访问频次满足第二预设条件且相邻所述访问时间的数据报文对应的统一资源定位符均不相同，则将所述代理服务器引流至验证界面或返回无效信息。
7.根据权利要求4或5所述的恶意网络爬虫检测方法，其特征在于，所述基于访问时间和相应的数据报文对所述代理服务器的恶意爬取数据行为进行检测之后，还包括：
将检测到的具有恶意爬取数据行为的所述代理服务器在所述数据库的黑名单中进行更新，以得到包含所述代理服务器的黑名单。
8.一种恶意网络爬虫检测装置，其特征在于，包括：
获取模块，用于获取数据请求发起端发送的与数据请求对应的数据报文；
解析模块，用于对所述数据报文进行解析，以得到解析后的所述数据报文中反映所述数据请求发起端的服务器类型的检测信息，并基于所述检测信息判定所述数据请求发起端的服务器是否为代理服务器；
检测模块，用于如果所述数据请求发起端的服务器为代理服务器，则获取所述代理服务器在预设时间段内请求访问本地的访问时间，并基于所述访问时间和与所述访问时间对应的数据报文对所述代理服务器的恶意爬取数据行为进行检测。
9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器；其中所述存储器用于存储计算机程序，所述计算机程序由所述处理器加载并执行以实现如权利要求1至7任一项所述的恶意网络爬虫检测方法。
10.一种计算机可读存储介质，其特征在于，用于存储计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如权利要求1至7任一项所述的恶意网络爬虫检测方法。
CN202110577313.3A 2021-05-26 2021-05-26 一种恶意网络爬虫检测方法、装置、设备及存储介质 Pending CN113518077A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110577313.3A CN113518077A (zh) 2021-05-26 2021-05-26 一种恶意网络爬虫检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110577313.3A CN113518077A (zh) 2021-05-26 2021-05-26 一种恶意网络爬虫检测方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113518077A true CN113518077A (zh) 2021-10-19

Family

ID=78064876

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110577313.3A Pending CN113518077A (zh) 2021-05-26 2021-05-26 一种恶意网络爬虫检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113518077A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114095224A (zh) * 2021-11-12 2022-02-25 湖北天融信网络安全技术有限公司 报文检测方法、装置、电子设备和存储介质
CN114401104A (zh) * 2021-11-30 2022-04-26 中国建设银行股份有限公司 网络爬虫处置方法、装置、服务器及存储介质
CN114640538A (zh) * 2022-04-01 2022-06-17 北京明略昭辉科技有限公司 一种爬虫程序的检测方法、装置、可读介质及电子设备
CN114826959A (zh) * 2022-04-19 2022-07-29 浙江大学 一种针对音频数据反爬虫技术脆弱性分析方法及系统
CN115225385A (zh) * 2022-07-20 2022-10-21 深信服科技股份有限公司 一种流量监控方法、系统、设备及计算机可读存储介质
CN115242669A (zh) * 2022-06-30 2022-10-25 北京华顺信安科技有限公司 一种网络质量监测方法
CN114401104B (zh) * 2021-11-30 2024-04-30 中国建设银行股份有限公司 网络爬虫处置方法、装置、服务器及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180041530A1 (en) * 2015-04-30 2018-02-08 Iyuntian Co., Ltd. Method and system for detecting malicious web addresses
CN110602111A (zh) * 2019-09-19 2019-12-20 湖南快乐阳光互动娱乐传媒有限公司 一种基于长连接的接口防刷方法及系统
CN112383513A (zh) * 2020-10-27 2021-02-19 杭州数梦工场科技有限公司 基于代理ip地址池的爬虫行为检测方法、装置及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180041530A1 (en) * 2015-04-30 2018-02-08 Iyuntian Co., Ltd. Method and system for detecting malicious web addresses
CN110602111A (zh) * 2019-09-19 2019-12-20 湖南快乐阳光互动娱乐传媒有限公司 一种基于长连接的接口防刷方法及系统
CN112383513A (zh) * 2020-10-27 2021-02-19 杭州数梦工场科技有限公司 基于代理ip地址池的爬虫行为检测方法、装置及存储介质

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114095224A (zh) * 2021-11-12 2022-02-25 湖北天融信网络安全技术有限公司 报文检测方法、装置、电子设备和存储介质
CN114401104A (zh) * 2021-11-30 2022-04-26 中国建设银行股份有限公司 网络爬虫处置方法、装置、服务器及存储介质
CN114401104B (zh) * 2021-11-30 2024-04-30 中国建设银行股份有限公司 网络爬虫处置方法、装置、服务器及存储介质
CN114640538A (zh) * 2022-04-01 2022-06-17 北京明略昭辉科技有限公司 一种爬虫程序的检测方法、装置、可读介质及电子设备
CN114826959A (zh) * 2022-04-19 2022-07-29 浙江大学 一种针对音频数据反爬虫技术脆弱性分析方法及系统
CN114826959B (zh) * 2022-04-19 2023-10-13 浙江大学 一种针对音频数据反爬虫技术脆弱性分析方法及系统
CN115242669A (zh) * 2022-06-30 2022-10-25 北京华顺信安科技有限公司 一种网络质量监测方法
CN115242669B (zh) * 2022-06-30 2023-10-03 北京华顺信安科技有限公司 一种网络质量监测方法
CN115225385A (zh) * 2022-07-20 2022-10-21 深信服科技股份有限公司 一种流量监控方法、系统、设备及计算机可读存储介质
CN115225385B (zh) * 2022-07-20 2024-02-23 深信服科技股份有限公司 一种流量监控方法、系统、设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN109768992B (zh) 网页恶意扫描处理方法及装置、终端设备、可读存储介质
US10491614B2 (en) Illegitimate typosquatting detection with internet protocol information
CN113518077A (zh) 一种恶意网络爬虫检测方法、装置、设备及存储介质
CN107294982B (zh) 网页后门检测方法、装置及计算机可读存储介质
KR100723867B1 (ko) 피싱웹페이지 차단 장치 및 방법
CN103888490B (zh) 一种全自动的web客户端人机识别的方法
Ismail et al. A proposal and implementation of automatic detection/collection system for cross-site scripting vulnerability
CN104348803B (zh) 链路劫持检测方法、装置、用户设备、分析服务器及系统
US8949990B1 (en) Script-based XSS vulnerability detection
KR100619178B1 (ko) 인터넷 검색 엔진에 있어서의 무효 클릭 검출 방법 및 장치
KR100732689B1 (ko) 웹 보안방법 및 그 장치
CN103279710B (zh) Internet信息系统恶意代码的检测方法和系统
CN101964025A (zh) Xss检测方法和设备
CN107733699B (zh) 互联网资产安全管理方法、系统、设备及可读存储介质
CN111835777B (zh) 一种异常流量检测方法、装置、设备及介质
US8789177B1 (en) Method and system for automatically obtaining web page content in the presence of redirects
CN111079138A (zh) 异常访问检测方法、装置、电子设备及可读存储介质
CN113810381B (zh) 一种爬虫检测方法、web应用云防火墙、装置和存储介质
CN114244564A (zh) 攻击防御方法、装置、设备及可读存储介质
CN111131166B (zh) 一种用户行为预判方法及相关设备
US10313127B1 (en) Method and system for detecting and alerting users of device fingerprinting attempts
CN102801740A (zh) 木马病毒的阻止方法及装置
CN111131236A (zh) 一种web指纹检测装置、方法、设备及介质
CN115102781A (zh) 网络攻击处理方法、装置、电子设备和介质
KR100619179B1 (ko) 인터넷 검색 엔진에 있어서의 무효 클릭 검출 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20211019

RJ01 Rejection of invention patent application after publication