CN103514301A - 分布式网络爬虫任务调度的方法及系统 - Google Patents
分布式网络爬虫任务调度的方法及系统 Download PDFInfo
- Publication number
- CN103514301A CN103514301A CN201310504193.XA CN201310504193A CN103514301A CN 103514301 A CN103514301 A CN 103514301A CN 201310504193 A CN201310504193 A CN 201310504193A CN 103514301 A CN103514301 A CN 103514301A
- Authority
- CN
- China
- Prior art keywords
- reptile
- task
- crawls
- distributed network
- distributed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明互联网搜索引擎技术领域,提供了一种分布式网络爬虫任务调度的方法及其系统,其中,方法包括:对分布式网络爬虫集群进行配置;第一爬虫分析第一层链接对应的网页,提取网页中存在的第二层链接;根据Hash一致性算法分配与第二层链接对应的爬取任务;如果第二层链接是分配给第一爬虫之外的爬虫,则将第二层链接对应的爬取任务记录到相应序号的爬虫对应的爬取任务文件中;每隔预定的时间间隔将爬取任务文件打包上传到共享目录中;每个爬虫定时到共享目录中提取并执行对应的爬取任务。本发明提供的分布式网络爬虫任务调度的方法及其系统,通过共享任务目录来实现分布式爬虫任务的协同任务调度,能把任务均匀分布到各个爬虫。
Description
技术领域
本发明属于互联网搜索引擎技术领域,尤其涉及一种分布式网络爬虫任务调度的方法及其系统。
背景技术
随着互联网技术的高速发展,在互联网搜索服务中,搜索引擎扮演着越来越重要的角色。网络爬虫是搜索引擎系统中十分重要的组成部分,它负责从互联网中搜集网页,这些页面用于建立索引从而为搜索引擎提供支持。面对当前极具膨胀的网络信息,集中式的单机爬虫早已无法适应目前的互联网信息规模,因此高性能的分布式网络爬虫系统成为目前信息采集领域研究的重点。
分布式网络爬虫的整体设计重点在于爬虫如何进行通信。目前分布式网络爬虫按通信方式不同分布式网路爬虫可以分为主从模式、自治模式与混合模式三种。
这三种方式都需要实现比较复杂的调度机制,需要在单机爬虫的基础上做比较大的改造、搭建任务调度中心才能实现。
发明内容
本发明的目的在于提供一种分布式网络爬虫任务调度的方法及其系统,旨在解决现有分布式网路爬虫调度机制复杂的技术问题。
本发明是这样实现的,一种分布式网络爬虫任务调度的方法,包括:对分布式网络爬虫集群进行配置的步骤;第一爬虫分析第一层链接对应的网页,提取网页中存在的第二层链接的步骤;根据Hash一致性算法分配与所述第二层链接对应的爬取任务的步骤;如果所述第二层链接是分配给第一爬虫之外的爬虫,则将所述第二层链接对应的爬取任务记录到相应序号的爬虫对应的爬取任务文件中的步骤;每隔预定的时间间隔将所述第一爬虫之外的爬虫对应的爬取任务文件打包上传到共享目录中的步骤;以及每个爬虫定时到所述共享目录中提取并执行对应的爬取任务的步骤。
较优的,如果所述第二层链接是分配给所述第一爬虫,则将所述第二层链接对应的爬取任务分配给所述第一爬虫执行。
较优的,第一层链接是第一爬虫的爬取任务对应的链接,第二层链接是第一层链接对应的网页中存在的其他链接。
较优的,所述共享目录是存储于中心服务器中,所述每个爬虫具有一个单独的爬虫服务器。
较优的,多个爬虫共用一台爬虫服务器。
较优的,所述对分布式网络爬虫集群进行配置的步骤进一步包括:配置所述分布式网络爬虫集群的爬虫总数的步骤;配置所述每个爬虫的序号的步骤;以及根据爬虫配置文件对所述每个爬虫进行相同的任务配置的步骤。
本发明的另一目的在于提供一种分布式网络爬虫任务调度的系统,包括: 中心服务器,对分布式网络爬虫集群进行配置,并根据Hash一致性算法对爬取任务进行分配;第一网络爬虫,连接于所述中心服务器,分析第一层链接对应的网页,提取所述网页中存在的第二层链接,当所述中心服务器将所述第二层链接对应的爬取任务分配给第二网络爬虫时,将所述第二层链接对应的爬取任务记录到所述第二网络爬虫对应的爬取任务文件中,并于预定的时间间隔,将所述第二网络爬虫对应的爬取任务文件上传到共享目录中;以及第二网络爬虫,连接于所述中心服务器, 根据所述共享目录中与所述第二网络爬虫对应的爬取任务文件执行爬取任务。
较优的,于所述中心服务器将所述第二层链接对应的爬取任务分配给所述第一网络爬虫时,所述第一网络爬虫进一步执行所述第二层链接对应的爬取任务。
较优的,还包括:第三网络爬虫,连接于所述中心服务器,当所述中心服务器将所述第二层链接对应的爬取任务分配给第三网络爬虫时,根据所述共享目录中与所述第三网络爬虫对应的爬取任务文件执行爬取任务。
较优的,所述中心服务器还包括:任务交换数据库,用于存储所述共享目录、所述第一网络爬虫以及所述第二网络爬虫的爬取任务文件。
本发明提供的分布式网络爬虫任务调度的方法及其系统,通过共享任务目录来实现分布式爬虫任务的协同任务调度,能把任务均匀分布到各个爬虫。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的分布式网络爬虫任务调度的方法的流程图。
图2是本发明一实施例提供的分布式网络爬虫任务调度的系统结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
请参见图1,图1是本发明一实施例提供的分布式网络爬虫任务调度的方法的流程图。如图1所示,分布式网络爬虫任务调度的方法100包括:
步骤S101:对分布式网络爬虫集群进行配置。具体来说,中心服务器配置网络爬虫集群的总数,配置每个网络爬虫(以下简称为:爬虫)的序号,并根据爬虫配置文件对每个爬虫进行相同的任务配置。其中,网络爬虫集群中包括一台中心服务器以及多台爬虫服务器,中心服务器配置网络爬虫集群的爬虫总数,并配置每个爬虫的序号。于较佳实施例中,每台爬虫服务器中只有一个爬虫,中心服务器配置网络爬虫集群的爬虫服务器总数,并配置每台爬虫服务器的序号,例如,由8台服务器组成的分布式集群,中心服务器将爬虫服务器总数配置为8,并配置每台爬虫服务器的序号,即,将爬虫服务器的序号分别配置为0,1,2,3,4,5,6,7。
步骤S103:爬虫X分析其爬取任务中链接对应的网页,提取网页中存在的其他链接。其中,爬虫X是指分布式网络爬虫集群中的任何一个网络爬虫,为了方便描述和理解,爬虫X爬取任务中的链接可以称为第一层链接,爬虫X提取的第一层链接对应的网页中存在的其他链接可以称为第二层链接,第二层链接可以有多个。
步骤S105:根据Hash一致性算法分配与第二层链接对应的爬取任务。具体来说,中心服务器根据Hash一致性算法计算第二层链接应该分配给哪个爬虫。
步骤S107:如果第二层链接是分配给爬虫X之外的爬虫,则将第二层链接对应的爬取任务记录到相应序号的爬虫对应的爬取任务文件中。具体来说,如果计算的结果为分配给爬虫X,则将第二层链接对应的爬取任务分配给爬虫X执行;如果计算的结果为分配给其他序号的爬虫(爬虫X之外的爬虫),则将此爬取任务记录到相应序号的爬虫对应的爬取任务文件中。
步骤S109:每隔预定的时间间隔将爬虫X之外的爬虫对应的爬取任务文件打包上传到共享目录中。其中,每个爬虫都具有中心服务器的地址,各爬虫的爬取任务文件都存储于中心服务器的共享目录中,预定的时间间隔是根据实际需要预先设置的。
步骤S111:每个爬虫定时到共享目录中提取并执行对应的爬取任务,其中,每个爬虫执行爬取任务后,会将对应的爬取结果上传到中心服务器的爬取结果汇总数据库中。
以上实施例所提供的分布式网络爬虫任务调度的方法100,仅通过简单的配置,配置爬虫的集群总数以及集群序号,并通过共享任务目录来实现分布式爬虫任务的协同调度,能把任务均匀分布到各个爬虫,根据简单的调度机制实现分布式网络爬虫的任务调度。
请参见图2,图2是本发明一实施例提供的分布式网络爬虫任务调度的系统结构示意图。如图2所示,分布式网络爬虫任务调度的系统200包括:中心服务器210、网络爬虫221、网络爬虫222、…、网络爬虫22N。其中,中心服务器210还包括任务交换数据库211、爬取结果汇总数据库212。
中心服务器210,对分布式网络爬虫集群进行配置,并根据Hash一致性算法分配爬取任务。具体来说,中心服务器210配置网络爬虫集群的总数N,配置网络爬虫221、网络爬虫222、…、网络爬虫22N的序号,并根据爬虫配置文件对每个爬虫进行相同的任务配置。其中,网络爬虫集群中包括一台中心服务器210以及多台爬虫服务器。于较佳实施例中,每台爬虫服务器中只有一个爬虫,中心服务器210配置网络爬虫集群的爬虫服务器总数,并配置每台爬虫服务器的序号,例如,由8台爬虫服务器组成的分布式集群,中心服务器210将爬虫服务器总数配置为8,并配置每台爬虫服务器的序号,即,将爬虫服务器的序号分别配置为0,1,2,3,4,5,6,7。
网络爬虫221,分析其爬取任务中链接对应的网页,提取网页中存在的其他链接。其中,网络爬虫221是指分布式网络爬虫集群中的任何一个网络爬虫,为了方便描述和理解,网络爬虫221爬取任务中的链接可以称为第一层链接,网络爬虫221提取的第一层链接对应的网页中存在的其他链接可以称为第二层链接,第二层链接可以有多个。中心服务器210根据Hash一致性算法分配与第二层链接对应的爬取任务应该分配给哪个网络爬虫。如果计算的结果为分配给网络爬虫221,则将第二层链接对应的爬取任务分配给网络爬虫221执行;如果计算的结果为分配给其他序号的爬虫(即,网络爬虫222、…、网络爬虫22N),则将此爬取任务记录到相应序号的爬虫对应的爬取任务文件中,例如,如果计算的结果为将第二层链接对应的爬取任务分配给网络爬虫222,则将此爬取任务记录到网络爬虫222对应的爬取任务文件中。
任务交换数据库211,用于存储各爬虫的爬取任务文件,其中,任务交换数据库211具有一个共享目录,各爬虫的爬取任务文件都存储于中心服务器的共享目录中。每隔预定的时间间隔,网络爬虫221、网络爬虫222、…、网络爬虫22N都会将除自己之外的其他爬虫对应的爬取任务文件打包上传到共享目录中,预定的时间间隔是根据实际需要预先设置的。并且网络爬虫221、网络爬虫222、…、网络爬虫22N都会定时到共享目录中提取并执行对应的爬取任务。
爬取结果汇总数据库212,用于存储各爬虫的爬取结果,网络爬虫221、网络爬虫222、…、网络爬虫22N执行爬取任务后,会将对应的爬取结果上传到中心服务器210的爬取结果汇总数据库212中。
以上实施例所提供的分布式网络爬虫任务调度的系统200,仅通过简单的配置,配置爬虫的集群总数以及集群序号,并通过共享任务目录来实现分布式爬虫任务的协同调度,能把任务均匀分布到各个爬虫,根据简单的调度机制实现分布式网络爬虫的任务调度。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种分布式网络爬虫任务调度的方法,其特征在于,包括:
对分布式网络爬虫集群进行配置的步骤;
第一爬虫分析第一层链接对应的网页,提取网页中存在的第二层链接的步骤;
根据Hash一致性算法分配与所述第二层链接对应的爬取任务的步骤;
如果所述第二层链接是分配给第一爬虫之外的爬虫,则将所述第二层链接对应的爬取任务记录到相应序号的爬虫对应的爬取任务文件中的步骤;
每隔预定的时间间隔将所述第一爬虫之外的爬虫对应的爬取任务文件打包上传到共享目录中的步骤;以及
每个爬虫定时到所述共享目录中提取并执行对应的爬取任务的步骤。
2.如权利要求1所述的分布式网络爬虫任务调度的方法,其特征在于:
如果所述第二层链接是分配给所述第一爬虫,则将所述第二层链接对应的爬取任务分配给所述第一爬虫执行。
3.如权利要求1或2所述的分布式网络爬虫任务调度的方法,其特征在于:
第一层链接是第一爬虫的爬取任务对应的链接,第二层链接是第一层链接对应的网页中存在的其他链接。
4.如权利要求1或2所述的分布式网络爬虫任务调度的方法,其特征在于:
所述共享目录是存储于中心服务器中,所述每个爬虫具有一个单独的爬虫服务器。
5.如权利要求1或2所述的分布式网络爬虫任务调度的方法,其特征在于:
多个爬虫共用一台爬虫服务器。
6.如权利要求1所述的分布式网络爬虫任务调度的方法,其特征在于,所述对分布式网络爬虫集群进行配置的步骤进一步包括:
配置所述分布式网络爬虫集群的爬虫总数的步骤;
配置所述每个爬虫的序号的步骤;以及
根据爬虫配置文件对所述每个爬虫进行相同的任务配置的步骤。
7.一种分布式网络爬虫任务调度的系统,其特征在于,包括:
中心服务器,对分布式网络爬虫集群进行配置,并根据Hash一致性算法对爬取任务进行分配;
第一网络爬虫,连接于所述中心服务器,分析第一层链接对应的网页,提取所述网页中存在的第二层链接,当所述中心服务器将所述第二层链接对应的爬取任务分配给第二网络爬虫时,将所述第二层链接对应的爬取任务记录到所述第二网络爬虫对应的爬取任务文件中,并于预定的时间间隔,将所述第二网络爬虫对应的爬取任务文件上传到共享目录中;以及
第二网络爬虫,连接于所述中心服务器, 根据所述共享目录中与所述第二网络爬虫对应的爬取任务文件执行爬取任务。
8.如权利要求7所述的分布式网络爬虫任务调度的方法,其特征在于:
于所述中心服务器将所述第二层链接对应的爬取任务分配给所述第一网络爬虫时,所述第一网络爬虫进一步执行所述第二层链接对应的爬取任务。
9.如权利要求7或8所述的分布式网络爬虫任务调度的方法,其特征在于,还包括:
第三网络爬虫,连接于所述中心服务器,当所述中心服务器将所述第二层链接对应的爬取任务分配给第三网络爬虫时,根据所述共享目录中与所述第三网络爬虫对应的爬取任务文件执行爬取任务。
10.如权利要求7或8所述的分布式网络爬虫任务调度的方法,其特征在于,所述中心服务器还包括:
任务交换数据库,用于存储所述共享目录、所述第一网络爬虫以及所述第二网络爬虫的爬取任务文件。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310504193.XA CN103514301A (zh) | 2013-10-24 | 2013-10-24 | 分布式网络爬虫任务调度的方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310504193.XA CN103514301A (zh) | 2013-10-24 | 2013-10-24 | 分布式网络爬虫任务调度的方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103514301A true CN103514301A (zh) | 2014-01-15 |
Family
ID=49897025
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310504193.XA Pending CN103514301A (zh) | 2013-10-24 | 2013-10-24 | 分布式网络爬虫任务调度的方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103514301A (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103870329A (zh) * | 2014-03-03 | 2014-06-18 | 同济大学 | 基于加权轮叫算法的分布式爬虫任务调度方法 |
CN103997524A (zh) * | 2014-05-21 | 2014-08-20 | 浪潮电子信息产业股份有限公司 | 高可用、高可扩展、分布式的模块化网络爬虫 |
CN104699757A (zh) * | 2015-01-15 | 2015-06-10 | 南京邮电大学 | 云环境下分布式网络信息采集方法 |
CN105183749A (zh) * | 2015-07-13 | 2015-12-23 | 北京奇虎科技有限公司 | 一种爬取推广内容并供搜索使用的方法和装置 |
CN105989151A (zh) * | 2015-03-02 | 2016-10-05 | 阿里巴巴集团控股有限公司 | 网页抓取方法及装置 |
CN106168985A (zh) * | 2016-08-26 | 2016-11-30 | 南京车易淘网络信息技术有限公司 | 一种可快速分布式部署的爬虫方法 |
CN106202077A (zh) * | 2015-04-30 | 2016-12-07 | 华为技术有限公司 | 一种任务分发方法及装置 |
CN106202108A (zh) * | 2015-05-06 | 2016-12-07 | 阿里巴巴集团控股有限公司 | 网络爬虫抓取任务分配方法与装置及数据抓取方法与装置 |
CN108090091A (zh) * | 2016-11-23 | 2018-05-29 | 北京国双科技有限公司 | 网页爬取方法和装置 |
CN108241665A (zh) * | 2016-12-23 | 2018-07-03 | 北京国双科技有限公司 | 一种数据处理方法和客户端设备 |
CN109478296A (zh) * | 2016-04-05 | 2019-03-15 | 分形工业公司 | 用于完全集成捕获和分析商业信息以产生预测决策和模拟的系统 |
CN111126733A (zh) * | 2018-10-31 | 2020-05-08 | 北京国双科技有限公司 | 爬取任务的分配方法及装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103037010A (zh) * | 2012-12-26 | 2013-04-10 | 人民搜索网络股份公司 | 一种分布式网络爬虫系统及其抓取方法 |
-
2013
- 2013-10-24 CN CN201310504193.XA patent/CN103514301A/zh active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103037010A (zh) * | 2012-12-26 | 2013-04-10 | 人民搜索网络股份公司 | 一种分布式网络爬虫系统及其抓取方法 |
Non-Patent Citations (2)
Title |
---|
吴小惠: "分布式网络爬虫系统任务调度策略改进", 《上饶师范学院学报》 * |
李学凯: "面向多任务、多通道并行爬虫的技术研究", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103870329B (zh) * | 2014-03-03 | 2017-01-18 | 同济大学 | 基于加权轮叫算法的分布式爬虫任务调度方法 |
CN103870329A (zh) * | 2014-03-03 | 2014-06-18 | 同济大学 | 基于加权轮叫算法的分布式爬虫任务调度方法 |
CN103997524A (zh) * | 2014-05-21 | 2014-08-20 | 浪潮电子信息产业股份有限公司 | 高可用、高可扩展、分布式的模块化网络爬虫 |
CN104699757A (zh) * | 2015-01-15 | 2015-06-10 | 南京邮电大学 | 云环境下分布式网络信息采集方法 |
CN104699757B (zh) * | 2015-01-15 | 2018-03-13 | 南京邮电大学 | 云环境下分布式网络信息采集方法 |
CN105989151A (zh) * | 2015-03-02 | 2016-10-05 | 阿里巴巴集团控股有限公司 | 网页抓取方法及装置 |
CN105989151B (zh) * | 2015-03-02 | 2019-09-06 | 阿里巴巴集团控股有限公司 | 网页抓取方法及装置 |
CN106202077A (zh) * | 2015-04-30 | 2016-12-07 | 华为技术有限公司 | 一种任务分发方法及装置 |
CN106202077B (zh) * | 2015-04-30 | 2020-01-21 | 华为技术有限公司 | 一种任务分发方法及装置 |
CN106202108A (zh) * | 2015-05-06 | 2016-12-07 | 阿里巴巴集团控股有限公司 | 网络爬虫抓取任务分配方法与装置及数据抓取方法与装置 |
CN106202108B (zh) * | 2015-05-06 | 2019-09-06 | 阿里巴巴集团控股有限公司 | 网络爬虫抓取任务分配方法与装置及数据抓取方法与装置 |
CN105183749A (zh) * | 2015-07-13 | 2015-12-23 | 北京奇虎科技有限公司 | 一种爬取推广内容并供搜索使用的方法和装置 |
CN105183749B (zh) * | 2015-07-13 | 2018-10-12 | 北京奇虎科技有限公司 | 一种爬取推广内容并供搜索使用的方法和装置 |
CN109478296A (zh) * | 2016-04-05 | 2019-03-15 | 分形工业公司 | 用于完全集成捕获和分析商业信息以产生预测决策和模拟的系统 |
CN106168985A (zh) * | 2016-08-26 | 2016-11-30 | 南京车易淘网络信息技术有限公司 | 一种可快速分布式部署的爬虫方法 |
CN108090091A (zh) * | 2016-11-23 | 2018-05-29 | 北京国双科技有限公司 | 网页爬取方法和装置 |
CN108241665A (zh) * | 2016-12-23 | 2018-07-03 | 北京国双科技有限公司 | 一种数据处理方法和客户端设备 |
CN111126733A (zh) * | 2018-10-31 | 2020-05-08 | 北京国双科技有限公司 | 爬取任务的分配方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103514301A (zh) | 分布式网络爬虫任务调度的方法及系统 | |
CN106126641B (zh) | 一种基于Spark的实时推荐系统及方法 | |
CN102750406B (zh) | 一种基于模型集和差异模型的电网模型多版本管理方法 | |
CN103617211A (zh) | 一种HBase加载数据的导入方法 | |
CN101867226B (zh) | 调度自动化系统广域分布式数据采集方法 | |
Tu et al. | Novel multiplex PageRank in multilayer networks | |
CN105339899B (zh) | 用于在软件定义网络中使应用程序集群的方法和控制器 | |
CN102779160B (zh) | 海量数据信息索引系统和索引构建方法 | |
CN109672712A (zh) | 数据同步方法、装置、超级控制器、域控制器及存储介质 | |
CN104199955A (zh) | 信息管理系统及方法 | |
CN103631815A (zh) | 块同步并行计算中实现检查点的方法、装置和系统 | |
MY197885A (en) | Method for life cycle management of a complex utility facility and system for its implementation | |
CN108804241A (zh) | 跨平台任务调度方法、系统、计算机设备和存储介质 | |
CN105338107A (zh) | 一种据点运营同步管理系统及方法 | |
CN105159925A (zh) | 一种数据库集群数据分配方法及系统 | |
Murakami | iFarm: development of web-based system of cultivation and cost management for agriculture | |
CN103078946A (zh) | 一种海量实时数据分布方法及其访问方法 | |
CN105636317A (zh) | 一种智能路灯管理系统及信息处理方法 | |
EP3134832A1 (en) | Data processing system and data processing method | |
CN102724290A (zh) | 一种获取目标客户群的方法、设备及系统 | |
CN105045785A (zh) | 一种数字城市监督中心受理子系统及其工作方法 | |
EP2645631A3 (en) | A method and a system for automating an enterprise network optimization | |
CN111191956A (zh) | 一种基于区块链的无人机光伏板检修方法及其系统 | |
Beaty et al. | Fog Computing. | |
CN107632938A (zh) | 一种分布式存储产品自动化测试套件组织方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20140115 |