CN107766522A - 分布式爬虫系统中任务管理器的分配方法及系统 - Google Patents

分布式爬虫系统中任务管理器的分配方法及系统 Download PDF

Info

Publication number
CN107766522A
CN107766522A CN201711006401.8A CN201711006401A CN107766522A CN 107766522 A CN107766522 A CN 107766522A CN 201711006401 A CN201711006401 A CN 201711006401A CN 107766522 A CN107766522 A CN 107766522A
Authority
CN
China
Prior art keywords
packet
time delay
distributed apparatus
equipment
distributed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711006401.8A
Other languages
English (en)
Inventor
马岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Creative Technology (shenzhen) Co Ltd
Original Assignee
Creative Technology (shenzhen) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Creative Technology (shenzhen) Co Ltd filed Critical Creative Technology (shenzhen) Co Ltd
Priority to CN201711006401.8A priority Critical patent/CN107766522A/zh
Publication of CN107766522A publication Critical patent/CN107766522A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种分布式爬虫系统中任务管理器的分配方法，所述方法包括如下步骤：分布式设备接收或发起分配消息，所述分配消息用于从分布式爬虫系统中分配出任务管理器；分布式设备将N个数据包依次发送给分布式设备的其他M个设备；分布式设备统计M个设备返回的N个数据包的M个时延和，求该M个时延和的平均值；分布式设备接收其他M个设备发送的M个分配消息得到M个时延和平均值，该分配消息包含本机的时延和平均值；分布式设备按M个时延和平均值倒序向M个设备发送所述分配消息。本发明提供的技术方案具有效率高的优点。

Description

分布式爬虫系统中任务管理器的分配方法及系统
技术领域
本发明涉及数据处理领域，尤其涉及一种分布式爬虫系统中任务管理器的分配方法及系统。
背景技术
网络爬虫(又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者)，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
网络爬虫实际是一种网络信息抓取的应用程序，现有的网络爬虫抓取数据量大，任务的分配的任务管理器为随机分配的，其可能影响任务分配的效率，影响爬虫的效率。
发明内容
本申请提供一种分布式爬虫系统中任务管理器的分配方法。其解决现有技术的技术方案效率低的缺点。
一方面，提供一种分布式爬虫任务分配方法，所述方法包括如下步骤：
分布式设备接收或发起分配消息，所述分配消息用于从分布式爬虫系统中分配出任务管理器；分布式设备将N个数据包依次发送给分布式设备的其他M个设备；分布式设备统计M个设备返回的N个数据包的M个时延和，求该M个时延和的平均值；分布式设备接收其他M个设备发送的M个分配消息得到M个时延和平均值，该分配消息包含本机的时延和平均值；按M个时延和平均值倒序向M个设备发送所述分配消息。
可选的，所述方法还包括：
分布式设备获取历史分享的数据包的大小；提取历史数据包的大小区间，将该大小区间划分成N个子区间，分布式设备虚拟N个数据包，其中N个数据包中的第M个数据包的大小为N个区间中第M个子区间的中值，分布式设备将N个数据包依次发送给M个其他分布式设备，统计其他M个分布式设备中每个接入点的N个数据包的时延和，得到M个时延和。
可选的，所述方法还包括：
时延＝tACK(1a)-t1a；其中，tACK(1a)为第一设备返回数据包A的确认消息的接收时间，t1a为数据包A向第一设备的发送时间。
第二方面，提供一种分布式爬虫任务分配系统，所述系统包括：多个分布式设备，所述多个分布式设备包括第一分布式设备和其他N个分布式设备；
第一分布式设备，用于接收或发起分配消息，所述分配消息用于从分布式爬虫系统中分配出任务管理器；将N个数据包依次发送给分布式设备的其他M个设备；统计M个设备返回的N个数据包的M个时延和，求该M个时延和的平均值；接收其他M个设备发送的M个分配消息得到M个时延和平均值，该分配消息包含本机的时延和平均值；按M个时延和平均值倒序向M个设备发送所述分配消息；
其他N个分布式设备，用于获取本地的时延和，将该本地时延和发送给第一分布式设备。
可选的，所述分布式设备，还用于获取历史分享的数据包的大小；提取历史数据包的大小区间，将该大小区间划分成N个子区间，分布式设备虚拟N个数据包，其中N个数据包中的第M个数据包的大小为N个区间中第M个子区间的中值，分布式设备将N个数据包依次发送给M个其他分布式设备，统计其他M个分布式设备中每个接入点的N个数据包的时延和，得到M个时延和。
可选的，所述分布式设备，还用于时延＝tACK(1a)-t1a；其中，tACK(1a)为第一设备返回数据包A的确认消息的接收时间，t1a为数据包A向第一设备的发送时间。
第三方面，提供一种分布式设备，包括：处理器、无线收发器、存储器和总线，所述处理器、无线收发器、存储器通过总线连接，
所述无线收发器，用于接收或发起分配消息，所述分配消息用于从分布式爬虫系统中分配出任务管理器；
所述处理器，用于将N个数据包依次发送给分布式设备的其他M个设备；统计M个设备返回的N个数据包的M个时延和，求该M个时延和的平均值；接收其他M个设备发送的M个分配消息得到M个时延和平均值，该分配消息包含本机的时延和平均值；按M个时延和平均值倒序向M个设备发送所述分配消息。
可选的，所述处理器，用于获取历史分享的数据包的大小；提取历史数据包的大小区间，将该大小区间划分成N个子区间，分布式设备虚拟N个数据包，其中N个数据包中的第M个数据包的大小为N个区间中第M个子区间的中值，分布式设备将N个数据包依次发送给M个其他分布式设备，统计其他M个分布式设备中每个接入点的N个数据包的时延和，得到M个时延和。
可选的，所述处理器，用于时延＝tACK(1a)-t1a；其中，tACK(1a)为第一设备返回数据包A的确认消息的接收时间，t1a为数据包A向第一设备的发送时间。
第四方面，提供一种计算机可读存储介质，其存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行第一方面提供的方法。
本发明提供的技术方案通过分配的方法实现了按时延和的倒序来分配任务，这样试验和较大的设备能够优先分配到任务进行处理，提高效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明第一较佳实施方式提供的一种分布式爬虫系统中任务管理器的分配方法的流程图；
图2为本发明第二较佳实施方式提供的一种分布式爬虫系统中任务管理器的分配系统的结构图。
图3为本发明第二较佳实施方式提供的一种分布式设备的硬件结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1是本发明第一较佳实施方式提出的一种分布式爬虫系统中任务管理器的分配方法，该方法如图1所示，包括如下步骤：
步骤S101、分布式设备接收或发起分配消息，所述分配消息用于从分布式爬虫系统中分配出任务管理器。
步骤S102、分布式设备将N个数据包依次发送给分布式设备的其他M个设备。
上述步骤S102的实现方法可以为：
分布式设备获取历史分享的数据包的大小(即容量，多少个MB或多个KB)；提取历史数据包的大小区间，将该大小区间划分成N个子区间，分布式设备虚拟N个数据包，其中N个数据包中的第M个数据包的大小为N个区间中第M个子区间的中值，分布式设备将N个数据包依次发送给M个其他分布式设备，统计其他M个分布式设备中每个接入点的N个数据包的时延和，得到M个时延和。
下面以一个实际的例子来说明反馈参数为时间和的计算方式；
这里的数据包的大小具体可以包括：6MB、5MB、4MB、3MB、2MB、1MB，这里划分的N个区间以2个区间为例，具体的2个区间的范围可以为，区间1【6MB，4MB】；区间2【3MB，1MB】，那么分布式设备虚拟出2个数据包，为了方便说明，这里以数据包A表示第一区间虚拟数据包，数据包B表示第二区间虚拟数据包，数据包A的大小为5MB，数据包B的大小为2MB，将数据包A以及数据包B依次发送给M个其他设备，(这里以三个AP为例，分别为AP1，AP2以及AP3)，AP1接收到数据包A以后会返回ACK(1a)，接收时间为tACK(1a)，数据包A的发送时间为t1a，AP1接收到数据包B以后会返回ACK(1b)，接收时间可以为tACK(1b),数据包B的发送时间为t1b；那么AP1的时间和TAP1＝(tACK(1a)-t1a)+(tACK(1b)-t1b)。同理可以计算出TAP2、TAP3的值，Ta(时延和平均值)＝(TAP1+TAP2+TAP3)/3。
上述方法还可以获取设备参数可以包括：设备硬件参数，例如，内存、CPU、存储器的参数，当然还可以包括一些可变参数，例如，爬虫任务数量、内存使用率、CPU使用率等等。
步骤S103、分布式设备统计M个设备返回的N个数据包的M个时延和，求该M个时延和的平均值。
步骤S104、分布式设备接收其他M个设备发送的M个分配消息得到M个时延和平均值，该分配消息包含本机的时延和平均值。
步骤S105、分布式设备按M个时延和平均值倒序向M个设备发送所述分配消息。
本发明提供的技术方案通过分配的方法实现了按时延和的倒序来分配任务，这样试验和较大的设备能够优先分配到任务进行处理，提高效率。
可选的，上述方法还可以包括：
将时延最少的分布式设备确定为任务管理器，将时延和次少的分布式设备确定为备用任务管理器，降低备用任务管理器的任务处理阈值。
可选的，上述方法还可以包括：
如任务管理器故障，启动备用任务管理器作为分布式系统的任务管理器。
此方式避免多次分配影响进程。
请参考图2，图2是本发明第二较佳实施方式提出的一种分布式爬虫实现系统，该系统如图2所示，包括：第一分布式设备201以及其他N个分布式设备201，所述任务管理器与设备连接；
第一分布式设备，用于接收或发起分配消息，所述分配消息用于从分布式爬虫系统中分配出任务管理器；将N个数据包依次发送给分布式设备的其他M个设备；统计M个设备返回的N个数据包的M个时延和，求该M个时延和的平均值；接收其他M个设备发送的M个分配消息得到M个时延和平均值，该分配消息包含本机的时延和平均值；从M+1个时延和平均值中选择时延和最小的设备作为任务管理器；
其他N个分布式设备，用于获取本地的时延和，将该本地时延和加载在分配消息内发送给第一分布式设备。
可选的，所述第一分布式设备201，还用于将时延和次少的分布式设备确定为备用任务管理器，降低备用任务管理器的任务处理阈值。
可选的，所述第一分布式设备201，还用于如任务管理器故障，启动备用任务管理器作为分布式系统的任务管理器。
参阅图3，图3为一种分布式设备30，包括：处理器301、无线收发器302、存储器303和总线304，无线收发器302用于与外部设备之间收发数据。处理器301的数量可以是一个或多个。本申请的一些实施例中，处理器301、存储器302和收发器303可通过总线304或其他方式连接。服务器30可以用于执行图1的步骤。关于本实施例涉及的术语的含义以及举例，可以参考图1对应的实施例。此处不再赘述。
无线收发器302，用于获取该爬虫任务，获取与该任务管理器连接的设备的距离以及爬虫任务数量。
其中，存储器303中存储程序代码。处理器901用于调用存储器903中存储的程序代码，用于执行以下操作：
处理器301，用于依据将N个数据包依次发送给分布式设备的其他M个设备；统计M个设备返回的N个数据包的M个时延和，求该M个时延和的平均值；接收其他M个设备发送的M个分配消息得到M个时延和平均值，该分配消息包含本机的时延和平均值；从M+1个时延和平均值中选择时延和最小的设备作为任务管理器。
需要说明的是，这里的处理器301可以是一个处理元件，也可以是多个处理元件的统称。例如，该处理元件可以是中央处理器(Central Processing Unit，CPU)，也可以是特定集成电路(Application Specific Integrated Circuit，ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路，例如：一个或多个微处理器(digital singnalprocessor，DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，FPGA)。
存储器303可以是一个存储装置，也可以是多个存储元件的统称，且用于存储可执行程序代码或应用程序运行装置运行所需要参数、数据等。且存储器303可以包括随机存储器(RAM)，也可以包括非易失性存储器(non-volatile memory)，例如磁盘存储器，闪存(Flash)等。
总线304可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
该终端还可以包括输入输出装置，连接于总线304，以通过总线与处理器301等其它部分连接。该输入输出装置可以为操作人员提供一输入界面，以便操作人员通过该输入界面选择布控项，还可以是其它接口，可通过该接口外接其它设备。
需要说明的是，对于前述的各个方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某一些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上对本发明实施例所提供的内容下载方法及相关设备、系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种分布式爬虫系统中任务管理器的分配方法，其特征在于，所述方法包括如下步骤：
分布式设备接收或发起分配消息，所述分配消息用于从分布式爬虫系统中分配出任务管理器；
分布式设备将N个数据包依次发送给分布式设备的其他M个设备；
分布式设备统计M个设备返回的N个数据包的M个时延和，求该M个时延和的平均值；
分布式设备接收其他M个设备发送的M个分配消息得到M个时延和平均值，该分配消息包含本机的时延和平均值；
分布式设备按M个时延和平均值倒序向M个设备发送所述分配消息。
2.根据权利要求1所述的方法，其特征在于，所述分布式设备将N个数据包依次发送给分布式设备的其他M个设备；分布式设备统计M个设备返回的N个数据包的M个时延和，求该M个时延和的平均值包括：
分布式设备获取历史分享的数据包的大小；提取历史数据包的大小区间，将该大小区间划分成N个子区间，分布式设备虚拟N个数据包，其中N个数据包中的第M个数据包的大小为N个区间中第M个子区间的中值，分布式设备将N个数据包依次发送给M个其他分布式设备，统计其他M个分布式设备中每个接入点的N个数据包的时延和，得到M个时延和。
3.根据权利要求1所述的方法，其特征在于，所述时延的获取方式，包括：
时延＝tACK(1a)-t1a；其中，tACK(1a)为第一设备返回数据包A的确认消息的接收时间，t1a为数据包A向第一设备的发送时间。
4.一种分布式爬虫任务分配系统，其特征在于，所述系统包括：多个分布式设备，所述多个分布式设备包括第一分布式设备和其他N个分布式设备；
第一分布式设备，用于接收或发起分配消息，所述分配消息用于从分布式爬虫系统中分配出任务管理器；将N个数据包依次发送给分布式设备的其他M个设备；统计M个设备返回的N个数据包的M个时延和，求该M个时延和的平均值；接收其他M个设备发送的M个分配消息得到M个时延和平均值，该分配消息包含本机的时延和平均值；按M个时延和平均值倒序向M个设备发送所述分配消息；
其他N个分布式设备，用于获取本地的时延和，将该本地时延和发送给第一分布式设备。
5.根据权利要求4所述的系统，其特征在于，
所述第一分布式设备，还用于获取历史分享的数据包的大小；提取历史数据包的大小区间，将该大小区间划分成N个子区间，分布式设备虚拟N个数据包，其中N个数据包中的第M个数据包的大小为N个区间中第M个子区间的中值，分布式设备将N个数据包依次发送给M个其他分布式设备，统计其他M个分布式设备中每个接入点的N个数据包的时延和，得到M个时延和。
6.根据权利要求4所述的方法，其特征在于，
所述第一分布式设备，还用于时延＝tACK(1a)-t1a；其中，tACK(1a)为第一设备返回数据包A的确认消息的接收时间，t1a为数据包A向第一设备的发送时间。
7.一种分布式设备，包括：处理器、无线收发器、存储器和总线，所述处理器、无线收发器、存储器通过总线连接，其特征在于，
所述无线收发器，用于接收或发起分配消息，所述分配消息用于从分布式爬虫系统中分配出任务管理器；
所述处理器，用于将N个数据包依次发送给分布式设备的其他M个设备；统计M个设备返回的N个数据包的M个时延和，求该M个时延和的平均值；接收其他M个设备发送的M个分配消息得到M个时延和平均值，该分配消息包含本机的时延和平均值；按M个时延和平均值倒序向M个设备发送所述分配消息。
8.根据权利要求7所述的服务器，其特征在于，所述处理器，用于获取历史分享的数据包的大小；提取历史数据包的大小区间，将该大小区间划分成N个子区间，分布式设备虚拟N个数据包，其中N个数据包中的第M个数据包的大小为N个区间中第M个子区间的中值，分布式设备将N个数据包依次发送给M个其他分布式设备，统计其他M个分布式设备中每个接入点的N个数据包的时延和，得到M个时延和。
9.根据权利要求7所述的服务器，其特征在于，所述处理器，用于时延＝tACK(1a)-t1a；其中，tACK(1a)为第一设备返回数据包A的确认消息的接收时间，t1a为数据包A向第一设备的发送时间。
10.一种计算机可读存储介质，其特征在于，其存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-3任一项所述的方法。
CN201711006401.8A 2017-10-25 2017-10-25 分布式爬虫系统中任务管理器的分配方法及系统 Pending CN107766522A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711006401.8A CN107766522A (zh) 2017-10-25 2017-10-25 分布式爬虫系统中任务管理器的分配方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711006401.8A CN107766522A (zh) 2017-10-25 2017-10-25 分布式爬虫系统中任务管理器的分配方法及系统

Publications (1)

Publication Number Publication Date
CN107766522A true CN107766522A (zh) 2018-03-06

Family

ID=61271378

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711006401.8A Pending CN107766522A (zh) 2017-10-25 2017-10-25 分布式爬虫系统中任务管理器的分配方法及系统

Country Status (1)

Country Link
CN (1) CN107766522A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103425519A (zh) * 2012-05-16 2013-12-04 富士通株式会社 分布式计算方法和分布式计算系统
CN103559219A (zh) * 2013-10-18 2014-02-05 北京京东尚科信息技术有限公司 分布式网络爬虫抓取任务调度方法、调度端设备及抓取节点
US20170068735A1 (en) * 2015-09-08 2017-03-09 MOLBASE (Shanghai) Biotechnology Co., Ltd . Task-crawling system and task-crawling method for distributed crawler system
CN106934027A (zh) * 2017-03-14 2017-07-07 深圳市博信诺达经贸咨询有限公司 分布式爬虫实现方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103425519A (zh) * 2012-05-16 2013-12-04 富士通株式会社 分布式计算方法和分布式计算系统
CN103559219A (zh) * 2013-10-18 2014-02-05 北京京东尚科信息技术有限公司 分布式网络爬虫抓取任务调度方法、调度端设备及抓取节点
US20170068735A1 (en) * 2015-09-08 2017-03-09 MOLBASE (Shanghai) Biotechnology Co., Ltd . Task-crawling system and task-crawling method for distributed crawler system
CN106934027A (zh) * 2017-03-14 2017-07-07 深圳市博信诺达经贸咨询有限公司 分布式爬虫实现方法及系统

Similar Documents

Publication Publication Date Title
CN109495896A (zh) 信道规划确定
CN107819870A (zh) 增量拉取数据方法、装置、存储介质、终端设备和服务器
CN106934027A (zh) 分布式爬虫实现方法及系统
CN108777698A (zh) 网页存储方法、系统及区块链节点设备
CN107454019A (zh) 软件定义网络动态带宽分配方法、装置、设备及存储介质
CN105264930A (zh) 发送节点及其缓存状态上报方法
CN103250382B (zh) 分流方法、设备和系统
CN105656794B (zh) 数据分发方法、装置及计算机可读存储介质
CN110098976A (zh) 网络参数的测量方法、装置、计算机设备和存储介质
CN109587053A (zh) 网络分流方法及相关设备
CN109753012A (zh) 一种基于云平台的加工机远程控制方法、装置及系统
CN107589991A (zh) 分布式系统的网页分配方法及系统
CN107766522A (zh) 分布式爬虫系统中任务管理器的分配方法及系统
CN107679233A (zh) 分布式爬虫任务分配方法及系统
CN109889456B (zh) 一种数据传输方法、装置、设备、系统和存储介质
CN107800789A (zh) 分布式爬虫系统中任务管理器的分配方法及系统
CN107729153A (zh) 网页采集任务分配方法及系统
CN107707673A (zh) 基于网页任务的实现方法及系统
CN107679243A (zh) 任务分配在分布式系统的应用方法及系统
CN107784116A (zh) 任务分配在分布式系统的实现方法及系统
CN106506176A (zh) 一种策略和计费规则生成方法和系统
CN113381873B (zh) 网络设备的扩容方法和相关装置
CN107734504A (zh) 一种wifi中对移动设备mac地址采集的实现方法及系统
CN107320962A (zh) 跨服匹配方法、装置及系统
CN103718610B (zh) 一种系统消息更新的方法及网络设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180306