CN110147475B - 一种分布式部署的网络数据采集系统 - Google Patents

一种分布式部署的网络数据采集系统 Download PDF

Info

Publication number
CN110147475B
CN110147475B CN201910246570.1A CN201910246570A CN110147475B CN 110147475 B CN110147475 B CN 110147475B CN 201910246570 A CN201910246570 A CN 201910246570A CN 110147475 B CN110147475 B CN 110147475B
Authority
CN
China
Prior art keywords
task
crawler
module
url
commodity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910246570.1A
Other languages
English (en)
Other versions
CN110147475A (zh
Inventor
钟证业
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huitongda Network Co ltd
Original Assignee
Huitongda Network Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huitongda Network Co ltd filed Critical Huitongda Network Co ltd
Priority to CN201910246570.1A priority Critical patent/CN110147475B/zh
Publication of CN110147475A publication Critical patent/CN110147475A/zh
Application granted granted Critical
Publication of CN110147475B publication Critical patent/CN110147475B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9566—URL specific, e.g. using aliases, detecting broken or misspelled links

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种分布式部署的网络数据采集系统，包括任务管理模块、爬虫模块、分布式存储模块、监测报警模块和主控节点模块；其中，所述任务管理模块负责存储URL库、维护网页采集任务状态、管理采集任务的进队与出队、URL种子定时调度、缓存已采集URL和商品SKU；所述爬虫模块用于完成采集和解析网页，以两个以上独立的实例进程分布到不同节点机器上运行，以多线程的模式采集并解析网页；所述监测报警模块能够主动发现爬虫节点宕机的情况，并通知系统运维人员。

Description

一种分布式部署的网络数据采集系统
技术领域
本发明涉及计算机互联网数据采集技术，尤其涉及一种分布式部署的网络数据采集系统。
背景技术
自动获取网页内容，解析网页链接，并按照指定规则提取相应数据的程序，就是爬虫。
传统的爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，同时按照给定规则提取网页上的有用数据，在抓取网页的过程中，不断从当前页面上抽取新的URL并放入队列，直到满足系统给定的停止条件。
随着互联网在人类经济社会中的应用日益广泛，其所涵盖的信息规模呈指数增长，信息的形式和分布具有多样化、全球化特征，通用爬虫已经不适用于指定方向的海量数据持续采集的需求，传统的通用爬虫存在一些不足：
1、通用爬虫采集全站数据，不能指定领域定向采集；
2、传统爬虫只单机采集数据，采集速度慢；
3、传统爬虫采集回来的数据存储在单节点的关系型数据库，数据量小。
发明内容
本发明所要解决的技术问题是建立爬虫集群，分布式部署，持续并且并行地采集网络定向数据，以分布式存储系统组织海量数据，提供数据服务的系统。
为解决上述技术问题，本发明提供了一种分布式部署的网络数据采集系统，包括任务管理模块、爬虫模块、分布式存储模块、监测报警模块和主控节点模块；
其中，所述任务管理模块负责存储URL库、维护网页采集任务状态、管理采集任务的进队与出队、URL种子定时调度、缓存已采集URL和所采集特定商品的SKU(Stock KeepingUnit，库存量单位)，特定商品是指电商平台的商品或者品牌官方网站的商品，例如：家电、厨具、3c数码、酒水、等，具体在URL种子中设定；
所述爬虫模块用于完成采集和解析网页，并以两个以上独立的实例进程分布到不同节点机器上运行，以多线程的模式采集并解析网页；
所述监测报警模块能够主动发现爬虫进程宕机的情况，并通知系统运维人员。
所述任务管理模块包括任务状态库、任务管理器和URL种子定时器；
所述爬虫模块包括动态IP代理器、网页下载器、网页解析器和日志记录器；
所述分布式存储模块包括数据存储器、Kudu存储引擎和Impala查询引擎；
所述监测报警模块包括监控报警器、Zookeeper注册器和Zookeeper服务器；
所述主控节点模块包括RPC通信、速度控制、任务队列管理和爬虫启停。
所述任务状态库用于任务状态存储，以及URL和商品SKU缓存，任务状态库存储任务状态信息到MySQL数据库中，利用MySQL的行级事务确保单个任务的原子性操作；
所述任务管理器负责维护任务的生命周期，更新任务的不同状态，实现任务的出队与入队功能，确保任务队列操作的隔离安全，即同一个任务只分派给一个爬虫的一个线程；在采集最初始阶段时，URL种子定时器把预先配置的种子URL注入任务队列中，其中种子URL即为最初始的商品列表页URL；任务出队时，优先选择采集商品列表页的任务出队，通过爬虫模块下载此URL网页并解析出该网页中出现的商品列表页URL和商品详情页URL，然后将这些新解析出的URL放入任务队列中，当未开始任务队列中已没有商品列表页的任务时，才选择采集商品详情页的任务出队；任务入队时，把网页解析器解析出来的所有商品列表页和商品详情页的任务加入到队列中。
当所有商品列表页和商品详情页都采集完后，系统就一直处于空闲状态，URL种子定时器负责定时把所有种子URL注入到任务队列中，激活系统运转，URL种子定时器是一个独立的进程。
所述任务管理器具备断点恢复的功能，爬虫实例进程记录下当前正在处理的所有任务，当爬虫实例进程从失效状态恢复时，从断点开始继续任务。
所述动态IP代理器具备创建并维护IP库功能和代理IP失败统计功能，当一个代理IP失败次数达到预设的阈值时，把该代理IP从IP库中剔除，并以日志的方式记录下来；
所述网页下载器从任务中获得网页URL，通过HTTP请求下载相应的网页，爬虫实例进程创建Page对象，将下载的网页HTML脚本以文本的方式注入到Page对象中，把此Page对象传递给网页解析器；
所述网页解析器用于完成两个功能：从商品列表页里解析出所有商品详情页的URL、以及下一张商品列表页URL，并注入到Page对象的对应数据项中；
从商品详情页里提取出商品属性相关的信息数据，并注入到Page对象的对应数据项中；爬虫进程将解析出来的URL构建任务并加入到任务队列中，并把Page对象传递给分布式存储模块的数据存储器做数据入库；
所述日志记录器提供爬虫进程在关键运行位置记录重要日志信息的功能。
所述数据存储器用于把Page对象的数据存储到数据库中；
所述Kudu存储引擎和Impala查询引擎提供了基于SQL的即时数据查询功能。
所述监测报警模块通过如下方式实现报警功能：
在Zookeeper服务器上创建项目节点，每个爬虫启动时，Zookeeper注册器在Zookeeper的项目节点下以爬虫主机IP注册一个临时节点目录，当爬虫宕机时，该临时节点目录会被Zookeeper删除，监控报警器运行监控程序对项目节点目录进行监听，当节点下有目录数量改变时，Zookeeper会给监控程序发送通知，回调程序执行报警动作发送邮件给系统运维人员，从而完成监控报警的功能。
所述系统通过任务管理器结合MySQL数据库的行级锁机制来管理任务队列，MySQL数据库实现任务的安全隔离功能。
所述系统还能够通过主控节点模块管理所有爬虫的启动、暂停和故障恢复，通过RPC协议进行主控节点模块和爬虫实例进程之间的通信。
本发明具有以下控制优点：
1、多线程、多节点分布式爬虫：同一程序包部署到多个节点，多个爬虫实例并行运行，分别随机采集多个网站数据，提高采集的速度；
2、任务管理模块随机调度任务和URL：根据网站的顶级域名随机分派网页URL，形成客户端爬虫需要完成的任务，爬虫任务包括全量网页数据采集、新品发现与采集、每天商品价格采集、等；定时向URL库添加种子URL；
3、动态IP代理库：每次网页下载前都动态构造代理IP，以应对网站对固定IP的流量限制；
4、可扩展的网页解析器：整合多个网站的网页解析器，根据网站顶级域名选择相应解析器定向提取有用的URL和商品详情数据；
5、分布式存储系统：采用线性扩容的分布式存储系统保存历史的、新增的网页原始数据和解析网页后提取的结构化数据；
6、爬虫节点监测报警模块：监测所有爬虫的运行状态，并发送邮件报告异常情况。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其他方面的优点将会变得更加清楚。
图1是本发明系统架构图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
如图1所示，本发明公开了一种分布式部署的网络数据采集系统，该系统是一种分布式爬虫系统，包括任务管理模块、爬虫模块、分布式存储模块、监测报警模块和主控节点模块；
任务管理模块：任务状态库、任务管理器、URL种子定时器；
爬虫模块：动态IP代理器、网页下载器、网页解析器、日志记录器；
分布式存储模块：数据存储器、Kudu存储引擎、Impala查询引擎；
监测报警模块：监控报警器、Zookeeper注册器、Zookeeper服务器；
主控节点模块：RPC通信、速度控制、任务队列管理、爬虫启停。
1、任务管理模块
负责存储URL库、维护网页采集任务状态、管理采集任务的进队与出队、URL种子定时调度、缓存已采集URL和商品SKU。
1.1任务状态库
任务状态库由两部分组成：任务状态存储、URL及商品SKU缓存，是实现分布式爬虫的关键技术。
存储任务状态信息到MySQL数据库中，利用MySQL的行级事务确保单个任务的原子性操作，任务状态表(tasks)的表结构如表1所示：
表1
注：Unique Index：task_date,url_md5
Redis库里缓存所有已采集商品SKU，用于帮助新品发现；
1.2任务管理器
任务管理器负责维护任务的生命周期，更新任务的不同状态，实现任务的出队与入队功能，确保任务队列操作的隔离安全，即同一个任务只分派给一个爬虫的某一线程。
任务的调度策略体现在任务的出队与入队策略中：
出队：
优先选择采集商品详情页的任务出队，当未开始任务队列中已没有采集商品详情页的任务时，才选择采集商品列表页的任务出队；
入队：当网页解析器解析完商品列表页时，把所有采集商品详情页的任务加入到队列中；
任务管理器要具备断点恢复的功能，每只爬虫都记录下当前正在处理的所有任务，当爬虫从失效状态恢复时，从断点开始继续任务。
1.3 URL种子定时器
当所有商品列表页和商品详情页都采集完后，爬虫系统就一直处于空闲状态。URL种子定时器负责定时把所有种子URL注入到任务队列中，激活爬虫系统运转。URL种子定时器是一个独立的进程。
2、爬虫模块
爬虫模块主要完成采集和解析网页，以多个独立的实例进程分布到不同节点机器上运行，以多线程的模式采集并解析网页，提高整体的采集速度。
2.1动态IP代理器
应对IP流量限制这种反爬虫策略，其中一种有效的办法是建立动态IP代理库。购买一批稳定的代理IP，以配置文件的方式保存到程序包中，当爬虫启动时，一次性加载到内存，每次构建http客户端请求时，都从IP代理库中随机获取一个代理IP，发送http请求。这是动态IP代理器的基本功能。
动态IP代理器需要具备代理IP失败统计功能，当一个代理IP失败次数达到预设的阈值时，把该代理IP从IP库中剔除，并以日志的方式记录下来，以方便系统维护。
2.2网页下载器
一个爬虫任务中包括的信息有：网页URL、任务的类型。网页下载器从任务中获得URL，通过http get请求下载相应的网页。将下载的网页html脚本以文本的方式注入到Page对象中，把此Page对象传递给网页解析器做进一步处理。
Page类抽象了一个任务生命周期内所要处理的数据结构，包括：网页html脚本、商品详情信息、从商品列表页解析出来的商品详情页URL。
2.3网页解析器
网页解析器需要完成两个功能：
从商品列表页里解析出所有商品详情页的URL、以及下一张商品列表页URL，并注入到Page对象的对应数据项中。
从商品详情页里提取出商品属性相关的信息数据，并注入到Page对象的对应数据项中。
爬虫进程将解析出来的URL构建任务并加入到任务队列中，并把Page对象传递给数据存储器做数据入库。
由于每个网站的网页技术细节都相差巨大，所以每个网站的网页解析器都需要遵循给定的编程接口，采取特定的URL解析策略、特定的商品信息提取技术，实现各自的解析逻辑，处理各个网站的特有问题。
2.4日志记录器
日志记录器提供爬虫进程在关键运行位置方便地记录重要日志信息的功能。做到日志按等级分类并可配置。
3分布式存储模块
3.1数据存储器
数据存储器把Page对象的数据存储到数据库中，可根据多种数据库实现不同的存储器，如：MySQL、HBase和Kudu等。HBase作为网页原始数据的对象存储数据库，Kudu作为解析后的商品详情结构化数据快速读写数据库，HBase和Kudu整合Impala对外提供SQL快速查询能力。
存储网页html脚本的表结构如下所示：
CREATE TABLE`page`(
`md5`char(32)NOT NULL COMMENT'商品详情页面的url的MD5Hex值',
`url`varchar(767)CHARACTER SET armscii8NOT NULL COMMENT'商品详情页面的url地址',
`content`mediumtext COMMENT'网页HTML脚本',
PRIMARY KEY(`md5`),
UNIQUE INDEX`ui_url`(`url`)
)ENGINE＝InnoDB DEFAULT CHARSET＝utf8；
存储商品属性数据的表结构如下所示：
CREATE TABLE`item`(
`source`varchar(30)NOT NULL COMMENT'商品来源，如电平台域名',
`id`varchar(30)CHARACTER SET armscii8NOT NULL COMMENT'商品id(sku)',
`brand`varchar(30)DEFAULT NULL COMMENT'商品品牌',
`category`varchar(100)DEFAULT NULL COMMENT'商品品类',
`model`varchar(100)DEFAULT NULL COMMENT'商品型号',
`price`decimal(10,2)DEFAULT NULL COMMENT'商品价格',
`title`varchar(255)DEFAULT NULL COMMENT'商品详情页面的商品标题',
`comment_count`int DEFAULT NULL COMMENT'商品评论数',
`url`varchar(767)CHARACTER SET armscii8NOT NULL COMMENT'商品详情页面的url地址',
`img_url`varchar(767)CHARACTER SET armscii8DEFAULT NULL COMMENT'商品图片的url地址',
`params`text COMMENT'JSON格式的商品规格参数',
PRIMARY KEY(`source`,`id`)
)ENGINE＝InnoDB DEFAULT CHARSET＝utf8；
存储商品历史价格的表结构如下所示：
CREATE TABLE`price`(
`source`varchar(30)NOT NULL COMMENT'商品来源，如电商平台域名',
`id`varchar(30)CHARACTER SET armscii8NOT NULL COMMENT'商品id(sku)',
`collect_date`date DEFAULT CURRENT_DATE COMMENT'采集日期',
`price`decimal(10,2)DEFAULT NULL COMMENT'商品价格',
PRIMARY KEY(`source`,`id`,`collect_date`)
)ENGINE＝InnoDB DEFAULT CHARSET＝utf8；
3.2 Kudu存储引擎
Kudu是一款分布式存储系统，具备存储海量结构化数据的能力、线性扩容的功能、对快速数据进行快速分析的能力。选择Kudu作为数据存储引擎的原因：
每天千万级数据增量；
对快速数据做快速响应，数据一旦入库就能快速分析；
满足数据挖掘层的数据频繁更新的需求；
跟Spark和Impala等开源大数据组件无缝结合。
3.3 Impala查询引擎
Impala整合Kudu提供了基于SQL的即时数据查询能力。商品属性数据通过SQL查询就能快速进行即时分析。
4监测报警模块
监测报警模块是为了主动发现爬虫节点宕机的情况，并通过邮件通知系统运维人员。
4.1 Zookeeper服务器
在Zookeeper服务器上创建项目节点/taranbula(taranbula是项目代号)。
4.2 Zookeeper注册器
每个爬虫启动时，Zookeeper注册器在Zookeeper的/taranbula节点下以爬虫主机IP注册一个临时节点目录，当爬虫宕机时，该临时节点目录会被Zookeeper删除。
4.3监控报警器
监控报警器依赖Zookeeper实现，监控程序对项目节点目录/taranbula进行监听，当节点下有目录数量改变时，Zookeeper会给监控程序发送通知，回调程序执行报警动作发送邮件，从而完成监控报警的功能。监控报警器是一个独立运行的进程。
5主控节点模块
分布式爬虫系统主要有两种实现方式：
通过任务管理器结合数据库管理任务队列，数据库实现任务的安全隔离功能；
通过主控节点结合数据库管理任务队列，主控节点管理所有爬虫的启动、暂停和故障恢复，通过RPC协议(RPC，Remote Procedure Call，远程过程调用)进行主控节点和客户端爬虫之间的通信。
本实施例中，开发部署环境如下：
开发环境：
Python发行版：Anaconda3Windows x86_64
Python版本：3.6.6
Kudu、Impala复用现有CDH的组件
IDE：PyCharm
Python虚拟环境：Conda Environment
部署环境：
Python发行版：Anaconda3Linux x86_64
Python版本：3.6.6
Kudu版本：1.2.0
Impala版本：2.7.0
Zookeeper版本：3.4.5
Redis版本：3.2.1
MySQL版本：8.0.13
Python虚拟环境：Conda Environment
爬虫系统的各个模块的具体部署位置见下表2：
表2
本发明提供了一种分布式部署的网络数据采集系统，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (1)

1.一种分布式部署的网络数据采集系统，其特征在于，包括任务管理模块、爬虫模块、分布式存储模块、监测报警模块和主控节点模块；
其中，所述任务管理模块负责存储URL库、维护网页采集任务状态、管理采集任务的进队与出队、URL种子定时调度、缓存已采集URL和所采集特定商品的库存量单位SKU；
所述爬虫模块用于完成采集和解析网页，并以两个以上独立的实例进程分布到不同节点机器上运行，以多线程的模式采集并解析网页；
所述监测报警模块能够主动发现爬虫进程宕机的情况，并通知系统运维人员；
所述任务管理模块包括任务状态库、任务管理器和URL种子定时器；
所述爬虫模块包括动态IP代理器、网页下载器、网页解析器和日志记录器；
所述分布式存储模块包括数据存储器、Kudu存储引擎和Impala查询引擎；
所述监测报警模块包括监控报警器、Zookeeper注册器和Zookeeper服务器；
所述主控节点模块包括RPC通信、速度控制、任务队列管理和爬虫启停；
所述任务状态库用于任务状态存储，以及URL和商品SKU缓存，任务状态库存储任务状态信息到MySQL数据库中，利用MySQL的行级事务确保单个任务的原子性操作；
所述任务管理器负责维护任务的生命周期，更新任务的不同状态，实现任务的出队与入队功能，确保任务队列操作的隔离安全，即同一个任务只分派给一个爬虫的一个线程；在采集最初始阶段时，URL种子定时器把预先配置的种子URL注入任务队列中，其中种子URL即为最初始的商品列表页URL；任务出队时，优先选择采集商品列表页的任务出队，通过爬虫模块下载此URL网页并解析出该网页中出现的商品列表页URL和商品详情页URL，然后将这些新解析出的URL放入任务队列中，当未开始任务队列中已没有商品列表页的任务时，才选择采集商品详情页的任务出队；任务入队时，把网页解析器解析出来的所有商品列表页和商品详情页的任务加入到队列中；
当所有商品列表页和商品详情页都采集完后，系统就一直处于空闲状态，URL种子定时器负责定时把所有种子URL注入到任务队列中，激活系统运转，URL种子定时器是一个独立的进程；
所述任务管理器具备断点恢复的功能，爬虫实例进程记录下当前正在处理的所有任务，当爬虫实例进程从失效状态恢复时，从断点开始继续任务；
所述动态IP代理器具备创建并维护IP库功能和代理IP失败统计功能，当一个代理IP失败次数达到预设的阈值时，把该代理IP从IP库中剔除，并以日志的方式记录下来；
所述网页下载器从任务中获得网页URL，通过HTTP请求下载相应的网页，爬虫实例进程创建Page对象，将下载的网页HTML脚本以文本的方式注入到Page对象中，把此Page对象传递给网页解析器；
所述网页解析器用于完成两个功能：从商品列表页里解析出所有商品详情页的URL、以及下一张商品列表页URL，并注入到Page对象的对应数据项中；
从商品详情页里提取出商品属性相关的信息数据，并注入到Page对象的对应数据项中；爬虫进程将解析出来的URL构建任务并加入到任务队列中，并把Page对象传递给分布式存储模块的数据存储器做数据入库；
所述日志记录器提供爬虫进程在关键运行位置记录重要日志信息的功能；
所述数据存储器用于把Page对象的数据存储到数据库中；
所述Kudu存储引擎和Impala查询引擎提供了基于SQL的即时数据查询功能；
所述监测报警模块通过如下方式实现报警功能：
在Zookeeper服务器上创建项目节点，每个爬虫启动时，Zookeeper注册器在Zookeeper的项目节点下以爬虫主机IP注册一个临时节点目录，当爬虫宕机时，该临时节点目录会被Zookeeper删除，监控报警器运行监控程序对项目节点目录进行监听，当节点下有目录数量改变时，Zookeeper会给监控程序发送通知，回调程序执行报警动作发送邮件给系统运维人员，从而完成监控报警的功能；
所述系统通过任务管理器结合MySQL数据库的行级锁机制来管理任务队列，MySQL数据库实现任务的安全隔离功能；
所述系统通过主控节点模块管理所有爬虫的启动、暂停和故障恢复，通过RPC协议进行主控节点模块和爬虫实例进程之间的通信。
CN201910246570.1A 2019-03-29 2019-03-29 一种分布式部署的网络数据采集系统 Active CN110147475B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910246570.1A CN110147475B (zh) 2019-03-29 2019-03-29 一种分布式部署的网络数据采集系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910246570.1A CN110147475B (zh) 2019-03-29 2019-03-29 一种分布式部署的网络数据采集系统

Publications (2)

Publication Number Publication Date
CN110147475A CN110147475A (zh) 2019-08-20
CN110147475B true CN110147475B (zh) 2023-07-21

Family

ID=67588243

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910246570.1A Active CN110147475B (zh) 2019-03-29 2019-03-29 一种分布式部署的网络数据采集系统

Country Status (1)

Country Link
CN (1) CN110147475B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110929126A (zh) * 2019-12-02 2020-03-27 杭州安恒信息技术股份有限公司 一种基于远程过程调用实现的分布式爬虫调度方法
CN111752980B (zh) * 2020-07-01 2024-01-30 浪潮云信息技术股份公司 一种执法监管智能预警系统及方法
CN112711694A (zh) * 2020-12-25 2021-04-27 安徽翼讯飞行安全技术有限公司 一种便于大数据交互且自动提取的商务软件平台
CN112597372A (zh) * 2020-12-25 2021-04-02 北京知因智慧科技有限公司 分布式爬虫实现方法和装置
CN112765438B (zh) * 2021-01-25 2024-03-26 北京星汉博纳医药科技有限公司 一种基于微服务的自动爬虫管理方法
CN113051499B (zh) * 2021-03-23 2023-11-21 北京智慧星光信息技术有限公司 数据采集量的监测方法、系统、电子设备及存储介质
CN113094568A (zh) * 2021-04-15 2021-07-09 安徽鹿鼎科技有限公司 一种基于数据爬虫技术的数据提取方法
CN113297449A (zh) * 2021-05-21 2021-08-24 南京大学 一种流式爬虫实现方法及系统
CN114095207A (zh) * 2021-10-26 2022-02-25 北京连星科技有限公司 一种基于分布式调度IPv6网站检测方法
CN115883397B (zh) * 2022-11-02 2024-04-05 中科大数据研究院 一种web端数据通用采集方法
CN115967607A (zh) * 2022-12-25 2023-04-14 西安电子科技大学 基于模板的分布式互联网大数据采集系统及方法
CN115983950B (zh) * 2023-03-17 2023-10-27 厦门立林科技有限公司 一种电子商城的商品信息推荐方法、装置及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107895009A (zh) * 2017-11-10 2018-04-10 北京国信宏数科技有限责任公司 一种基于分布式的互联网数据采集方法及系统
CN108520024A (zh) * 2018-03-22 2018-09-11 河海大学 基于Spark Streaming的双周期爬虫系统及其运行方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140222621A1 (en) * 2011-07-06 2014-08-07 Hirenkumar Nathalal Kanani Method of a web based product crawler for products offering

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107895009A (zh) * 2017-11-10 2018-04-10 北京国信宏数科技有限责任公司 一种基于分布式的互联网数据采集方法及系统
CN108520024A (zh) * 2018-03-22 2018-09-11 河海大学 基于Spark Streaming的双周期爬虫系统及其运行方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
分布式爬虫系统设计、实现与实战：爬取京东、苏宁易购全网手机商品数据+MySQL、HBase存储;xpleaf;《51CTO博客：https://blog.51cto.com/xpleaf/2093952》;20180402;第1-19页 *

Also Published As

Publication number Publication date
CN110147475A (zh) 2019-08-20

Similar Documents

Publication Publication Date Title
CN110147475B (zh) 一种分布式部署的网络数据采集系统
US10891297B2 (en) Method and system for implementing collection-wise processing in a log analytics system
US9787706B1 (en) Modular architecture for analysis database
CN105653425B (zh) 基于复杂事件处理引擎的监控系统
US10481948B2 (en) Data transfer in a collaborative file sharing system
US10560544B2 (en) Data caching in a collaborative file sharing system
CN106815338A (zh) 一种大数据的实时存储、处理和查询系统
CN111241078A (zh) 数据分析系统、数据分析的方法及装置
CN115129736B (zh) 基于规则引擎的规则事件动态加载与更新方法及相关设备
CN107766205A (zh) 一种面向微服务调用过程跟踪的监控系统及方法
EP2791825B1 (en) System and method for monitoring and managing data center resources in real time incorporating manageability subsystem
CN106487596A (zh) 分布式服务跟踪实现方法
CN107103064B (zh) 数据统计方法及装置
Firouzi et al. Architecting iot cloud
CN103235820B (zh) 一种集群系统中数据存储方法与装置
US20110197207A1 (en) System and method for producing audit trails
CN111405032A (zh) 一种工业物联网通用云平台
WO2007104044A2 (en) Systems and methods for managing business issues
CN109039817A (zh) 一种用于流量监控的信息处理方法和装置
CN116009428A (zh) 基于流式计算引擎的工业数据监控系统和方法、介质
Hegeman et al. The btworld use case for big data analytics: Description, mapreduce logical workflow, and empirical evaluation
CN116010494A (zh) 一种支持异构数据源的数据交换系统
CN113067717A (zh) 网络请求日志链式跟踪方法、全链路调用监控系统和介质
CN113486095A (zh) 一种民航空管跨网安全数据交换管理平台
CN111048164A (zh) 一种医学大数据长期保存系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant