CN109660532B - 一种分布式农业网络数据采集方法及其采集系统 - Google Patents

一种分布式农业网络数据采集方法及其采集系统 Download PDF

Info

Publication number
CN109660532B
CN109660532B CN201811532961.1A CN201811532961A CN109660532B CN 109660532 B CN109660532 B CN 109660532B CN 201811532961 A CN201811532961 A CN 201811532961A CN 109660532 B CN109660532 B CN 109660532B
Authority
CN
China
Prior art keywords
defense
network data
attack
type
acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811532961.1A
Other languages
English (en)
Other versions
CN109660532A (zh
Inventor
王乐乐
杨自尚
韩宇星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Agricultural University
Original Assignee
South China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Agricultural University filed Critical South China Agricultural University
Priority to CN201811532961.1A priority Critical patent/CN109660532B/zh
Publication of CN109660532A publication Critical patent/CN109660532A/zh
Application granted granted Critical
Publication of CN109660532B publication Critical patent/CN109660532B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H04L63/145—Countermeasures against malicious traffic the attack involving the propagation of malware through the network, e.g. viruses, trojans or worms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H04L63/1466—Active attacks involving interception, injection, modification, spoofing of data unit addresses, e.g. hijacking, packet injection or TCP sequence number attacks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Virology (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明涉及网络数据采集的技术领域，具体涉及一种分布式网络数据采集方法及其采集系统，该方法包括通过调度器对请求队列中的链接进行去重，并将请求队列分配给相应的从机节点进行网络数据采集；在某一采集节点的网络数据采集行为遭到所采集的网站的攻击行为时，触发相应的防御机制；防御机制根据攻击行为判断攻击类型，并判断攻击类型与该采集节点所对应的从机节点预设的防御类型是否匹配；匹配时，执行与防御类型对应的防御措施来解除攻击；不匹配时，取消该采集节点的网络数据采集行为，并将未采集的请求队列返回至调度器等待重新分配，解决了在正常的网络数据采集工作遭到所采集的网站错误攻击时，能够及时的采取相应的措施解除危机。

Description

一种分布式农业网络数据采集方法及其采集系统
技术领域
本发明涉及网络数据采集的技术领域，具体涉及一种分布式农业网络数据采集方法及其采集系统。
背景技术
网络数据采集是指利用互联网搜索引擎技术实现有针对性、行业性和精准性的数据抓取，并按照相应的规则进行数据归类，形成数据库文件的一个过程。
公开号为CN108121706A的专利一种分布式爬虫的优化方法，所述该分布式爬虫的优化方法具体步骤如下：调度中心下发任务；爬虫按URL抓取网页内容；解析器解析网页内容；如果网页更新较多，则把网页内容返回给数据仓库；解析器解析网页中的链接，在本地先用布隆过滤器进行去重；把通过了本地去重的URL进行Hash，该发明爬虫系统在对网页更新频率的处理上，规避了复杂的算法，提高爬虫的工作效率。
发明人在实践中，发现上述现有技术中存在以下缺陷：
在采集农业网站站点的数据信息时，爬虫工作虽然遵从了Robots协议与网站进行交互，但长时间的和/或者频繁的正常的爬虫工作可能会被该网站的反爬虫错误的攻击，无法进行正常的抓取工作。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种分布式农业网络数据采集方法，所采用的技术方案如下：
一种分布式农业网络数据采集方法，该采集方法包括以下步骤：
调度器对请求队列中的链接进行去重，并将所述请求队列分配给相应的从机节点进行网络数据采集；
在某一采集节点的网络数据采集行为遭到所采集的网站的攻击行为时，触发相应的防御机制；
所述防御机制根据所述攻击行为判断攻击类型，并判断所述攻击类型与该采集节点所对应的从机节点预设的防御类型是否相匹配；
在所述攻击类型与防御类型相匹配时，执行与所述防御类型对应的防御措施来解除攻击，进而继续进行网络数据采集；
在所述攻击类型与防御类型不匹配时，取消该采集节点的网络数据采集行为，并将未采集的请求队列返回至调度器等待重新分配。
进一步，在所述采集节点的网络数据采集行为未遭到所采集的网站的攻击行为或者在解除攻击之后时，还包括：
判断所述采集节点是否捕捉到新链接；
在捕捉到新链接时，对所述新链接进行相关性评估，在所述新链接通过相关性评估后，将所述新链接发送给所述调度器进行去重，并将去重后的新链接加入到请求队列中；
在没有捕捉到新链接时，将采集到的数据结果进行存储。
进一步，所述调度器包括Redis数据库和MongoDB数据库，Redis数据库用于存放所述请求队列，MongoDB数据库用于存放采集的数据结果。
进一步，在所述调度器对请求队列中的链接进行去重之前，还包括根据实际任务获取种子链接。
进一步，所述防御机制至少包括以下防御机制中的一种或者多种：
在所述攻击类型为基于Headers反爬虫时，则采取的防御措施为将浏览器的User-Agent添加到所述Scrapy的Headers中或者将Referer值修改为目标网站域名；
在所述攻击类型为基于图形验证码反爬虫时，则采取的防御措施为利用Tesseract-OCR识别图形验证码，或者对相应的验证码进行二值化预处理、分割、模式训练后识别验证码；
在所述攻击类型为动态页面反爬虫时，则采取的防御措施为利用Selenium+Phantomjs框架，调用浏览器内核，并利用Phantomjs执行脚本语言来模拟人为操作以及触发页面中的脚本语言；
在所述攻击类型为基于虚假信息反爬虫时，则采取的防御措施为通过数据内容相关性判断剔除一些因被反爬虫机制感知而故意返回的虚假信息。
本发明的另一个目的在于提供一种分布式农业网络数据采集系统，所采用的技术方案如下：
一种分布式农业网络数据采集系统，该采集系统包括：
调度模块，用于对请求队列中的链接进行去重，并将所述请求队列分配给相应的从机节点进行网络数据采集。
防御检测模块，用于检测相应的采集节点的网络数据采集行为是否遭到所采集的网站的攻击行为，在遭遇攻击行为时，触发相应的防御机制；
判断模块，用于在所述防御机制被触发时，根据所述攻击行为判断攻击类型，并判断所述攻击类型与该采集节点所对应的从机节点预设的防御类型是否相匹配；
防御执行模块，用于在所述攻击类型与防御类型相匹配时，执行与所述防御类型对应的防御措施来解除攻击，进而继续进行网络数据采集；在所述攻击类型与防御类型不匹配时，取消该采集节点的网络数据采集行为，并将未采集的请求队列返回至调度器等待重新分配。
进一步，该系统还包括：
新链接检测模块，用于判断所述采集节点是否捕捉到新链接；
相关性评估模块，用于在捕捉到新链接时，对所述新链接进行相关性评估，在所述新链接通过相关性评估后，将所述新链接发送给所述调度器进行去重，并将去重后的新链接加入到请求队列中；
数据存储模块，用于在未捕捉到新链接时，将所述采集节点采集到的数据信息进行存储。
进一步，所述调度器包括Redis数据库和MongoDB数据库，Redis数据库用于存放所述请求队列，MongoDB数据库用于存放采集的数据结果。
进一步，该系统还包括防御措施选择模块，根据所需采集的网络数据的特点与实际任务需求选择合适的防御措施；
进一步，该系统还包括种子链接获取模块，采集与实际任务需求相符合的初始链接加入请求队列中。
本发明具有如下有益效果：
本发明实施例通过调度器对请求队列中的链接进行去重，并将所述请求队列分配给相应的从机节点进行网络数据采集；在某一采集节点的网络数据采集行为遭到所采集的网站的攻击行为时，触发相应的防御机制，根据攻击行为判断攻击类型，并判断攻击类型与该采集节点所对应的从机节点预设的防御类型是否相匹配；匹配时，执行对应的防御措施来解除攻击，进而继续进行网络数据采集；不匹配时，取消该采集节点的网络数据采集行为，并将未采集的请求队列返回至调度器等待重新分配，进而解决在正常的网络数据采集工作遭到所采集的网站错误攻击时，能够及时的采取相应的措施解除危机。
附图说明
图1为本发明各个实施例所涉及的实施环境图；
图2为本发明实施例提供的一种分布式农业网络数据采集方法的方法流程图；
图3为本发明另一个实施例所提供的一种分布式农业网络数据采集方法的方法流程图；
图4为与图3相对应的逻辑流程图；
图5为关于Scrapy-Redis调度器的工作整体框架图；
图6本发明实施例提供的一种分布式农业网络数据采集系统的结构框图。
具体实施方式
下面通过具体实施例结合附图来详细说明本发明，需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合，本发明的保护范围并不限于此。
请参阅图1，其示出了本发明各个实施例所涉及的实施环境图，该实施环境包括主机100、从机200和互联网300。
主机100是指发布主要命令的计算机，可以是台式计算机、便携式计算机、平板电脑、或者其他能够用作发布主要命令的智能终端等等。在该主机100中设有Scrapy框架，该Scrapy框架主要包括引擎、通过调度中间件与引擎交互的调度器、通过下载中间件与引擎交互的下载器、与引擎交互的项目管道、通过采集端中间件与引擎交互的网络数据采集端。所述引擎用来处理整个系统的数据流处理，触发事务。所述调度器接收引擎发送的链接，并将其放入请求队列中，在引擎再次请求时返回；其中，调度中间件处于引擎和调度器之间，用于处理从引擎发送到调度器的请求和响应。下载器用于下载网页的内容，并将该内容返回给网络数据采集端；其中，下载中间件用于处理引擎和下载器之间的请求及响应。网络数据采集端用于从特定的网页中提取所需数据信息或者提取新链接，让引擎继续抓取下一个页面；其中，采集端中间件处于引擎和采集端之间，用于处理引擎和采集端的相应输入和请求输出。项目管道用于将所提取的数据信息进行进一步的处理，清除不需要的信息。
从机200是指用于接收主机发布的命令，并执行相应命令的计算机，从机200可以是一台服务器，或者由若干台服务器组成的服务器集群，例如图1中所示出的第一服务器21、第二服务器22、第三服务器23和第N服务器2N等。从机中设有与所述主机相应的网络数据采集端，用于采集互联网300中的数据信息。在从机中还设有防御机制，在检测到相应的网络数据采集端遭受到所采集的网站的攻击时，触发相应的防御机制，以防被网站错误的攻击，影响正常的网络数据采集工作。
互联网300是指网络数据采集端采集目标数据的目标网站。
主机100与从机200之间可以通过无线或者有线网络相连，从机200与互联网300之间可以通过无线或者有线网络相连。
请参阅图2，其示出了本发明实施例提供的一种分布式农业网络数据采集方法的方法流程图，该采集方法包括以下步骤：
步骤201，调度器对请求队列中的链接进行去重，并将该请求队列分配给相应的从机节点进行网络数据采集。
去重是指已经被采集过的或者在请求队列中的链接，不再添加至请求队列，避免重复采集同一链接的相同数据信息。
步骤202，在某一采集节点的网络数据采集行为遭到所采集的网站的攻击行为时，触发相应的防御机制。
在进行正常的网络数据采集时，客户端遇到了Http错误，例如出现错误代码为403的禁止访问错误，可能目前所采集的网站的反爬虫机制已经启动，将正常的网络数据采集行为所对应的IP认定为机器人，此时该网站将不会接受来自这个IP的任何请求，也有可能接受完请求之后返回虚假数据。
步骤203，该防御机制根据攻击行为判断攻击类型，并判断攻击类型与该采集节点所对应的从机节点预设的防御类型是否相匹配。
在正常的网络数据采集的行为遭受攻击后，触发相应的防御机制，判断该网站所采取的攻击类型。攻击类型有很多种，例如基于图形验证码反爬虫、基于动态页面反爬虫、基于Headers反爬虫或者返回虚假信息反爬虫等。面对这些攻击类型，单一的防御措施不再适用。为了保证农业网络数据采集工作的顺利进行，针对常见的反爬虫的攻击类型，在防御机制中预先设定了针对不同攻击类型的防御措施，在遭遇到攻击时，首先判断攻击类型是否能够与预设防御类型中的一种进行匹配。
步骤204，在该攻击类型与防御类型相匹配时，执行与该防御类型对应的防御措施来解除攻击，进而继续进行网络数据采集。
在判断出攻击类型在预先设定的防御类型中时，则采用预设的防御措施来解除危机，以便尽快回复正常的数据采集工作。
步骤205，在该攻击类型与防御类型不匹配时，取消该采集节点的网络数据采集行为，并将未采集的请求队列返回至调度器等待重新分配。
在判断出攻击类型不在预先设定的防御类型中时，由于该采集点遭遇到未知的反爬虫的攻击，因此取消该采集点的采集工作。
综上所述，本发明实施例通过调度器对请求队列中的链接进行去重，并将所述请求队列分配给相应的从机节点进行网络数据采集；在某一采集节点的网络数据采集行为遭到所采集的网站的攻击行为时，触发相应的防御机制，根据攻击行为判断攻击类型，并判断攻击类型与该采集节点所对应的从机节点预设的防御类型是否相匹配；匹配时，执行对应的防御措施来解除攻击，进而继续进行网络数据采集；不匹配时，取消该采集节点的网络数据采集行为，并将未采集的请求队列返回至调度器等待重新分配，进而解决在进行正常的网络数据采集工作时遭到所采集的网站错误攻击时，能够及时的采取相应的措施解除危机。
请参阅图3和图4，图3示出了本发明另一个实施例所提供的一种分布式农业网络数据采集方法的方法流程图，图4示出了与图3相对应的逻辑流程图。该采集方法以采集农业网站的数据信息为例来具体说明本实施例，该采集方法包括以下步骤：
步骤301，根据农业网络数据与实际任务需求选定合适的防御策略，并获取合适的种子链接。
常见的网络爬虫策略有深度优先和广度优先两种防御策略算法，根据常见的爬虫，选择合适的防御策略。
步骤302，调度器对请求队列中的链接进行去重，并将所述请求队列分配给相应的从机节点进行网络数据采集。
优选的，本发明实施例中的调度器是在Scrapy框架的基础上，将主机内存替换为Redis数据库搭建的分布式架构的Scrapy-Redis调度器，Scrapy-Redis调度器包括Redis数据库和MongoDB数据库，Redis数据库用于存放所述请求队列，MongoDB数据库用于存放采集的数据结果。该调度器主要负责对请求队列去重，将请求队列分配给相应的从机节点进行网络数据的采集工作。将主机内存替换为Redis数据库搭建的分布式架构的方法为，在原单机爬虫代码的基础上，在settings.py 中作如下设置：
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
REDIS_START_URLS_AS_SET = True
REDIS_URL = ‘redis://用户名:密码@IP:6379 '
其中，SCHEDULER负责任务分发与调度，把所有的爬虫开始的URL请求都存放在Redis数据库中，所有爬虫节点都去Redis数据库中读取请求；DUPEFILTER_CLASS是去重队列，主要负责所有请求的去重；REDIS_START_URLS_AS_SET指的是使用Redis数据库中的set类型，默认设置是list；REDIS_URL是指改为自己设置的Redis的名称、密码与IP，端口号默认为6379。
在Scrapy框架的基础上使用Redis数据库替换单机内存变成Scrapy-Redis调度器开展分布式爬虫工作，在分布式的基础上增设防御节点来应对影响正常爬虫工作的反爬虫行为，以此来保证网络爬虫高效、稳定的工作状态。
请参阅图5，其示出了该Scrapy-Redis调度器的工作整体框架图，图中引擎501通过调度中间件502与调度器503进行信息交互，通过下载中间件505与下载器505进行信息交互，通过Spider中间件506与爬虫507进行信息交互，直接与项目管道组件508进行信息交互，下载器505对网络509中的内容进行下载。下面结合附图对该工作框架进行详细的介绍，其中引擎用Scrapy Engine表示，调度器用Scheduler表示，调度中间件用SchedulerMiddlewares表示，项目管道组件用Item Pipeline表示，爬虫或者数据网络采集用Spider表示，Spider中间件或者数据采集端中间件用Spider Middlewares表示，下载器用Downloader表示，下载中间件用Downloader Middlewares表示，其工作流程如下：
第一步，Spider解析Downloader返回的对象是Item或者URL Links，该URL Links是指网址链接。
第二步，Item或者URL Links经过Spider中间件交给Scrapy Engine。
第三步，Scrapy Engine将Item交给Item Pipeline，将URL Links交给Scheduler；
第四步，在Scheduler中，先将request对象利用Scrapy内置的指纹函数，生成一个指纹对象。该request对象是指将待采集的URL链接进行封装后的请求对象。
第五步，如果request对象中的dont_filter参数设置为False，并且该request对象的指纹不在信息指纹的请求队列中，那么就把该request对象放到请求队列中，完成去重，避免重复抓取同一个链接的数据，并且按照优先级进行排序等待。
第六步，从请求队列中获取request对象，交给Scrapy Engine。
第七步，Scrapy Engine将request对象通过Downloader Middlewares交给Downloader进行下载。
第八步，Downloader完成下载，获得response对象，将该response对象交给ScrapyEngine。
第九步，Scrapy Engine将获得的response对象通过Spider Middlewares交给Spider进行解析。
第十步，从第一~十步开始循环，直至爬虫工作结束。
以上就是Scrapy-Redis调度器的工作整体框架，与现有的Scrapy框架的区别是将Scrapy的内置的去重的队列和待采集的Request队列换成了Redis的集合，这就使得Scrapy-Redis实现了分布式爬虫。
步骤303，判断该采集节点的网络数据采集行为是否遭到所采集的网站的攻击行为。
在任意一个采集节点出现错误或者采集工作被关闭的现象，则立即检测采集工作是否被攻击，若被攻击立即启动防御机制。这里所说的攻击行为是指所采集的目标网站启动的反爬虫机制，当该目标网站检测到同一个IP进行多次频繁或者长时间的采集数据的行为时，对该采集行为所对应的IP的后续行为设置验证码、账号及Cookie验证、User-Agent+Referer检测、IP限制频次等方法限制或者阻止该IP的行为。
步骤304，在遭到攻击行为时，触发相应的防御机制。
在Spider被所采集的网站的反爬虫机制攻击时，则Scrapy中的防御机制启动。
步骤3041，该防御机制根据攻击行为判断攻击类型，并判断该攻击类型与该采集节点所对应的从机节点预设的防御类型是否相匹配。
步骤3042，在该攻击类型与防御类型相匹配时，执行与该防御类型对应的防御措施来解除攻击，进而继续进行网络数据采集。
优选的，攻击类型及其相应的预设的防御措施至少包括以下类型中的一种或者多种：
第一种，攻击类型为基于Headers的反爬虫。基于Headers反爬虫是网站反爬行为中最常见的反爬虫策略。相应的被攻击的从机节点的信息设定为Chrome Headless或者来将Referer值修改为目标网站域名模拟浏览器环境。多数网站会对Headers的User-Agent和Referer进行检测，若该攻击类型属于此类反爬虫行为，则采用的防御措施为：直接在Scrapy中将浏览器的User-Agent添加到Scrapy的Headers中或者将Referer值修改为目标网站域名。
第二种，攻击类型为基于图形验证码反爬虫。基于图形验证码反爬虫主要针对数字、字母或者图片验证码。相应的被攻击的从机节点采用的防御措施为利用Tesseract-OCR识别图形验证码，也可对验证码进行二值化预处理、分割、模式训练后，识别验证码。
第三种，攻击类型为基于动态页面反爬虫。针对该攻击类型的反爬虫，采用的防御措施为：调用浏览器内核，利用Selenium+Phantomjs框架，调用浏览器内核，并利用Phantomjs执行脚本语言来模拟人为操作以及触发页面中的脚本语言。
第四种，攻击类型为基于虚假信息反爬虫。针对该攻击类型的反爬虫，采用的防御措施为：通过数据内容相关性判断，剔除一些因被反爬虫机制感知而故意返回的虚假信息。
步骤3043，在该攻击类型与防御类型不匹配时，取消该采集节点的网络数据采集行为，并将未采集的请求队列返回至调度器等待重新分配。
在没有预设与该攻击类型相应的防御措施时，则取消该Spider的数据采集任务，并将未采集的request对象返回至调度器等待重新分配。
步骤305，在未遭到攻击行为或者在解除攻击之后，则进行正常的数据采集工作，判断采集节点是否捕捉到新的链接。
在Spider未遭到网站的反爬虫机制攻击时，则进行正常的采集数据的工作。
步骤3051，在捕捉到新链接时，对所述新链接进行相关性评估，在所述新链接通过相关性评估后，将所述新链接发送给所述调度器进行去重，并将去重后的新链接加入到请求队列中。
在Spider捕捉到新链接后，将该新链接通过Spider中间件发送给Scrapy Engine，在Redis数据库接收该新链接后，对该新链接进行去重，并将其加入到相应的请求队列中。
步骤3052，在没有捕捉到新链接时，将采集到的数据结果进行存储。
在Spider没有捕捉到新链接时，Spider将采集到的数据信息发送给MongoDB数据库进行存储。
综上所述，本发明实施例通过选择合适的爬虫策略和种子链接，构建分布式网络数据采集的框架，主机通过调度器向从机发布命令，调度器向一个或者多个从机分配网络数据采集的任务，通过Spider进行网络数据的采集工作，每一个Spider作为一个采集节点，在检测到相应的采集节点被所采集的网站攻击时，触发相应的防御机制，根据攻击行为判断攻击类型，进而判断该攻击类型是否与防御机制中预设的防御类型相匹配，在相匹配的情况下，执行相应的命令接触危机，继续进行正常的采集工作；在所述攻击类型与防御类型不匹配时，取消相应的采集节点。在Spider正常工作时，未检测出攻击行为时，判断采集节点是否捕捉到新链接，在未捕捉到新链接时，将Spider采集到的数据存储到MongoDB数据库中；在判断出捕捉到新链接时，将该新链接进行URL相关性评估，在相关性评估通过时，将该新链接发送给调度器去重，然后加入到请求队列中，等待分配，进而解决在进行正常的网络数据采集工作时遭到所采集的网站错误攻击时，能够及时的采取相应的措施解除危机。利用Scrapy-Redis组件搭建分布式架构，不仅能够实现高效采集，而且在防御反爬虫的攻击上，使用分布式的防御措施能够有效避免单个主机的压力，同时防止该主机故障造成的损失，增强了该系统的健壮性，保证爬虫工作的稳定进行。
请参阅图6，其示出了本发明实施例提供的一种分布式农业网络数据采集系统的结构框图，该采集系统包括调度模块601、防御检测模块602、判断模块603和防御执行模块604。
调度模块601对请求队列中的链接进行去重，并将该请求队列分配给相应的从机节点进行网络数据采集。
优选的，调度模块为Scrapy-Redis模块，其是在Scrapy框架的基础上，将主机内存替换为Redis数据库搭建的分布式架构作为Scrapy-Redis调度模块，Scrapy-Redis调度模块的主机端设置一个Redis数据库和一个MongoDB数据库，Redis数据库用于存放请求队列并对从机节点提交的任务进行去重及放入待爬取的队列，MongoDB数据库用于存放采集的数据结果。从机节点接收主机分配的采集任务，并将采集到的数据结果或者新链接传递给主机，主机将数据结果放入MongoDB数据库，将新链接放入Redis数据库进行处理。
优选的，该系统还包括防御措施选择模块60，在搭建分布式架构之前，根据所需采集的网络数据的特点与实际任务需求选择合适的防御措施。
防御检测模块602检测相应的采集节点的网络数据采集行为是否遭到所采集的网站的攻击行为，在遭遇攻击行为时，触发相应的防御机制。在任意一个采集节点出现错误或者采集工作被关闭的现象，则立即检测采集工作是否被攻击，若被攻击立即启动防御机制。
在该防御机制被触发时，判断模块603根据攻击行为判断攻击类型，并判断攻击类型与该采集节点所对应的从机节点预设的防御类型是否相匹配；
在攻击类型与防御类型相匹配时，防御执行模块604执行与防御类型对应的防御措施来解除攻击，进而继续进行网络数据采集；在攻击类型与防御类型不匹配时，取消该采集节点的网络数据采集行为，并将未采集的请求队列返回至调度器等待重新分配。
优选的，在进行正常的数据采集工作的情况下或者在接触危机后恢复正常工作之后，该系统还包括新链接检测模块606、相关性评估模块606和数据存储模块607。
新链接检测模块606判断采集节点是否捕捉到新链接；在捕捉到新链接时，相关性评估模块606对该新链接进行相关性评估，在新链接通过相关性评估后，将新链接发送给调度器进行去重，并将去重后的新链接加入到请求队列中；在未捕捉到新链接时，数据存储模块将所述采集节点采集到的数据信息进行存储。
优选的，该系统还包括种子链接获取模块61，在进行网络数据采集之前，采集与实际任务需求相符合的初始链接加入请求队列中。
综上所述，本发明实施例通过调度模块对请求队列中的链接去重，并将请求队列分配给相应的从机节点进行网络数据采集；防御检测模块检测相应的采集节点的网络数据采集行为是否遭到所采集的网站的攻击行为，在遭遇攻击行为时，触发相应的防御机制，判断模块判断攻击类型，在判断出存在匹配类型时，防御执行模块执行相应的防御措施来解除攻击，进而继续进行网络数据采集；在判断出不存在匹配类型时，取消该采集节点的网络数据采集行为，并将未采集的请求队列返回至调度器等待重新分配。该实施例利用Scrapy-Redis组件搭建分布式架构实现高效采集，在应对反爬虫的攻击上，使用分布式的防御措施可以有效避免单个主机的压力与故障，增强平台的健壮性，从而保证爬虫工作的稳定进行。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种分布式农业网络数据采集方法，其特征在于，该采集方法包括以下步骤：
调度器对请求队列中的链接进行去重，并将所述请求队列分配给相应的从机节点进行网络数据采集；
在某一采集节点的网络数据采集行为遭到所采集的网站的攻击行为时，触发相应的防御机制；
所述防御机制根据所述攻击行为判断攻击类型，并判断所述攻击类型与该采集节点所对应的从机节点预设的多种防御类型中的一种是否相匹配，其中，所述多种防御类型中的每种防御类型都对应于一个防御措施；
在所述攻击类型与防御类型相匹配时，执行与所述防御类型对应的防御措施来解除攻击，进而继续进行网络数据采集；
在所述攻击类型与防御类型不匹配时，取消该采集节点的网络数据采集行为，并将未采集的请求队列返回至调度器等待重新分配；
其中，所述执行与所述防御类型对应的防御措施来解除攻击，具体为：
在所述攻击类型为基于Headers反爬虫时，则采取的防御措施为将浏览器的User-Agent添加到Scrapy的Headers中或者将Referer值修改为目标网站域名；
在所述攻击类型为动态页面反爬虫时，则采取的防御措施为利用Selenium+Phantomjs框架，调用浏览器内核，并利用Phantomjs执行脚本语言来模拟人为操作以及触发页面中的脚本语言；
在所述攻击类型为基于虚假信息反爬虫时，则采取的防御措施为通过数据内容相关性判断剔除一些因被反爬虫机制感知而故意返回的虚假信息。
2.根据权利要求1所述的一种分布式农业网络数据采集方法，其特征在于，在所述采集节点的网络数据采集行为未遭到所采集的网站的攻击行为或者在解除攻击之后时，还包括：
判断所述采集节点是否捕捉到新链接；
在捕捉到新链接时，对所述新链接进行相关性评估，在所述新链接通过相关性评估后，将所述新链接发送给所述调度器进行去重，并将去重后的新链接加入到请求队列中；
在没有捕捉到新链接时，将采集到的数据结果进行存储。
3.根据权利要求1或2所述的一种分布式农业网络数据采集方法，其特征在于，所述调度器包括Redis数据库和MongoDB数据库，Redis数据库用于存放所述请求队列，MongoDB数据库用于存放采集的数据结果。
4.根据权利要求3所述的一种分布式农业网络数据采集方法，其特征在于，在所述调度器对请求队列中的链接进行去重之前，还包括根据实际任务获取种子链接。
5.一种分布式农业网络数据采集系统，其特征在于，该采集系统包括：
调度模块，用于对请求队列中的链接进行去重，并将所述请求队列分配给相应的从机节点进行网络数据采集；
防御检测模块，用于检测相应的采集节点的网络数据采集行为是否遭到所采集的网站的攻击行为，在遭遇攻击行为时，触发相应的防御机制；
判断模块，用于在所述防御机制被触发时，根据所述攻击行为判断攻击类型，并判断所述攻击类型与该采集节点所对应的从机节点预设的多种防御类型中的一种是否相匹配，其中，所述多种防御类型中的每种防御类型都对应于一个防御措施；
防御执行模块，用于在所述攻击类型与防御类型相匹配时，执行与所述防御类型对应的防御措施来解除攻击，进而继续进行网络数据采集；在所述攻击类型与防御类型不匹配时，取消该采集节点的网络数据采集行为，并将未采集的请求队列返回至调度器等待重新分配；
其中，所述执行与所述防御类型对应的防御措施来解除攻击，具体为：
在所述攻击类型为基于Headers反爬虫时，则采取的防御措施为将浏览器的User-Agent添加到Scrapy的Headers中或者将Referer值修改为目标网站域名；
在所述攻击类型为动态页面反爬虫时，则采取的防御措施为利用Selenium+Phantomjs框架，调用浏览器内核，并利用Phantomjs执行脚本语言来模拟人为操作以及触发页面中的脚本语言；
在所述攻击类型为基于虚假信息反爬虫时，则采取的防御措施为通过数据内容相关性判断剔除一些因被反爬虫机制感知而故意返回的虚假信息。
6.根据权利要求5所述的一种分布式农业网络数据采集系统，其特征在于，该系统还包括：
新链接检测模块，用于判断所述采集节点是否捕捉到新链接；
相关性评估模块，用于在捕捉到新链接时，对所述新链接进行相关性评估，在所述新链接通过相关性评估后，将所述新链接发送给所述调度器进行去重，并将去重后的新链接加入到请求队列中；
数据存储模块，用于在未捕捉到新链接时，将所述采集节点采集到的数据信息进行存储。
7.根据权利要求5或6所述的一种分布式农业网络数据采集系统，其特征在于，所述调度器包括Redis数据库和MongoDB数据库，Redis数据库用于存放所述请求队列，MongoDB数据库用于存放采集的数据结果。
8.根据权利要求7所述的一种分布式农业网络数据采集系统，其特征在于，该系统还包括：
防御措施选择模块，根据所需采集的网络数据的特点与实际任务需求选择合适的防御措施。
9.根据权利要求7所述的一种分布式农业网络数据采集系统，其特征在于，该系统还包括：
种子链接获取模块，采集与实际任务需求相符合的初始链接加入请求队列中。
CN201811532961.1A 2018-12-14 2018-12-14 一种分布式农业网络数据采集方法及其采集系统 Active CN109660532B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811532961.1A CN109660532B (zh) 2018-12-14 2018-12-14 一种分布式农业网络数据采集方法及其采集系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811532961.1A CN109660532B (zh) 2018-12-14 2018-12-14 一种分布式农业网络数据采集方法及其采集系统

Publications (2)

Publication Number Publication Date
CN109660532A CN109660532A (zh) 2019-04-19
CN109660532B true CN109660532B (zh) 2021-08-24

Family

ID=66114293

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811532961.1A Active CN109660532B (zh) 2018-12-14 2018-12-14 一种分布式农业网络数据采集方法及其采集系统

Country Status (1)

Country Link
CN (1) CN109660532B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110310158B (zh) * 2019-07-08 2023-10-31 雨果跨境(厦门)科技有限公司 用户网络行为分析过程中精确匹配消费数据的工作方法
CN110737647B (zh) * 2019-08-20 2023-07-25 广州宏数科技有限公司 一种互联网大数据清洗方法
CN111522847A (zh) * 2020-04-16 2020-08-11 山东贝赛信息科技有限公司 一种用于分布式爬虫网址去重的方法
CN111865977A (zh) * 2020-07-20 2020-10-30 北京丁牛科技有限公司 一种信息处理方法及系统
CN112948493A (zh) * 2021-03-04 2021-06-11 电信科学技术第五研究所有限公司 一种组网数据同步系统数据安全保护机制实现方法
CN113660312A (zh) * 2021-07-23 2021-11-16 中建材（合肥）粉体科技装备有限公司 一种水泥厂设备数据采集系统及方法
CN116074280B (zh) * 2021-10-29 2024-08-16 腾讯科技（深圳）有限公司 应用入侵防御系统识别方法、装置、设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103957203A (zh) * 2014-04-19 2014-07-30 盐城工学院 一种网络安全防御系统
CN106897357A (zh) * 2017-01-04 2017-06-27 北京京拍档科技股份有限公司 一种用于带验证分布式智能爬取网络信息的方法
CN107046509A (zh) * 2016-12-30 2017-08-15 上海三零卫士信息安全有限公司 一种基于镜像口解析的智能工控网络数据整合方法
CN107103242A (zh) * 2017-05-11 2017-08-29 北京安赛创想科技有限公司 数据的获取方法及装置
CN108205541A (zh) * 2016-12-16 2018-06-26 北大方正集团有限公司 分布式网络爬虫任务的调度方法及装置
CN108712503A (zh) * 2018-05-30 2018-10-26 南京邮电大学 一种网络负载均衡的多代理分布式爬虫系统和方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9854057B2 (en) * 2014-05-06 2017-12-26 International Business Machines Corporation Network data collection and response system
CN105007539A (zh) * 2015-07-17 2015-10-28 孙巍 一种基于html模板通过电视发布图文信息的方法、设备及系统
CN106156370B (zh) * 2016-08-29 2019-06-18 携程计算机技术（上海）有限公司 基于浏览器内置爬虫系统的爬虫实现方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103957203A (zh) * 2014-04-19 2014-07-30 盐城工学院 一种网络安全防御系统
CN108205541A (zh) * 2016-12-16 2018-06-26 北大方正集团有限公司 分布式网络爬虫任务的调度方法及装置
CN107046509A (zh) * 2016-12-30 2017-08-15 上海三零卫士信息安全有限公司 一种基于镜像口解析的智能工控网络数据整合方法
CN106897357A (zh) * 2017-01-04 2017-06-27 北京京拍档科技股份有限公司 一种用于带验证分布式智能爬取网络信息的方法
CN107103242A (zh) * 2017-05-11 2017-08-29 北京安赛创想科技有限公司 数据的获取方法及装置
CN108712503A (zh) * 2018-05-30 2018-10-26 南京邮电大学 一种网络负载均衡的多代理分布式爬虫系统和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
恶意代码云主动防御系统设计与实现;邹航等;《重庆理工大学学报( 自然科学)》;20140531;全文 *

Also Published As

Publication number Publication date
CN109660532A (zh) 2019-04-19

Similar Documents

Publication Publication Date Title
CN109660532B (zh) 一种分布式农业网络数据采集方法及其采集系统
CN105184159B (zh) 网页篡改的识别方法和装置
CN107241296B (zh) 一种Webshell的检测方法及装置
CN100595778C (zh) 鉴定病毒文件的方法、装置
CN110020062B (zh) 一种可定制的网络爬虫方法及系统
KR20190022431A (ko) 랜덤 포레스트 모델의 훈련 방법, 전자장치 및 저장매체
CN105243159A (zh) 一种基于可视化脚本编辑器的分布式网络爬虫系统
CN107092826B (zh) 网页内容安全实时监测方法
US10762437B2 (en) Self-learning based crawling and rule-based data mining for automatic information extraction
CN108647329B (zh) 用户行为数据的处理方法、装置及计算机可读存储介质
CN103455600B (zh) 一种视频url抓取方法、装置及服务器设备
US20120143844A1 (en) Multi-level coverage for crawling selection
CN114528457B (zh) Web指纹检测方法及相关设备
CN105260388A (zh) 一种分布式垂直爬虫服务系统的优化方法
KR102424014B1 (ko) 사이버 위협 정보 처리 장치, 사이버 위협 정보 처리 방법 및 사이버 위협 정보 처리하는 프로그램을 저장하는 저장매체
KR102362516B1 (ko) 사이버 위협 정보 처리 장치, 사이버 위협 정보 처리 방법 및 사이버 위협 정보 처리하는 프로그램을 저장하는 저장매체
CN114244564B (zh) 攻击防御方法、装置、设备及可读存储介质
CN107547490A (zh) 一种扫描器识别方法、装置及系统
CN113656673A (zh) 面向广告投放的主从分布内容爬取机器人
CN111597557A (zh) 恶意应用程序的检测方法、系统、装置、设备及存储介质
CN110263283A (zh) 网站检测方法和装置
KR101803225B1 (ko) 멀티 서버, 멀티도커 기반 고속 악성 웹사이트 탐지 시스템 및 방법
CN106326419B (zh) 网络自动机处理方法及装置
KR102420884B1 (ko) 사이버 위협 정보 처리 장치, 사이버 위협 정보 처리 방법 및 사이버 위협 정보 처리하는 프로그램을 저장하는 저장매체
KR102411383B1 (ko) 사이버 위협 정보 처리 장치, 사이버 위협 정보 처리 방법 및 사이버 위협 정보 처리하는 프로그램을 저장하는 저장매체

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant