CN105100155A - 动态部署下载机方法和动态部署下载机装置 - Google Patents

Abstract

本发明提出了一种动态部署下载机方法和一种动态部署下载机装置，其中动态部署下载机方法包括：监测下载任务状态；根据所述下载任务状态控制分布式系统中的下载机的开关状态。通过本发明的技术方案，根据下载情况来动态部署下载机，从而最大限度的节约资源和能耗。

Description

动态部署下载机方法和动态部署下载机装置

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种动态部署下载机方法和一种动态部署下载机装置。

背景技术

随着互联网的出现，人们的工作和生活方式也随之发生了越来越多的改变。今天，丰富而实时的网络新闻与各种博客、论坛、微博等新兴媒介，正随时随地带给人们以海量的资讯与信息。正因如此，及时准确地获取及分析这些信息更为重要。

若想准确地采集和分析这些广泛而实时更新的信息，目前普遍采用的策略是分布式系统。这种系统主要部分包括调度、下载、解析等部分，其中在部署下载机时，采用固定部署方式用于抓取页面信息。这样的部署网络下载机所付出的巨大代价就是需要更多的物理设备、消耗更多的电能和管理成本。

发明内容

考虑到相关技术中出现的技术问题，本发明提供了一种下载机部署技术，可根据信息量、下载任务情况动态部署下载机。

根据本发明的一个方面，提供了一种动态部署下载机方法，包括：监测下载任务状态；根据所述下载任务状态控制分布式系统中的下载机的开关状态。

分布式系统中具有多个下载机，在传统方法中，采用固定部署方式来部署这些下载机，没有考虑当前的信息量以及下载情况，因此造成极大的资源浪费以及功耗，本发明实时监测下载任务状态，根据当前的下载任务状态来控制下载机的开关状态，例如根据当前的待下载任务量来开启合适数量的下载机，其他下载机可处于关机状态，从而实现动态部署下载机，减少了资源浪费。

在上述技术方案中，优选的，所述下载任务状态包括当前待下载任务的数量、实时刷新出的任务数量、预定时间段内的落地文件的数量和/或不同时间段对应的网络信息量。

在上述技术方案中，优选的，在所述下载任务状态满足预设条件时，启动所述分布式系统中所需的下载机，否则，关闭所述分布式系统中的指定下载机。

任务频繁发生的时间段不一样，例如每天晚上6点至8点的任务发生数较其他时段多，当进入晚上6点至8点时，可开启处于关机状态的下载机，来满足当前的需要。当出了上述时间段之后，关闭这些下载机，节约资源和能耗。

在上述技术方案中，优选的，所述预设条件包括当前待下载任务的数量大于第一阈值、实时刷新出的任务数量大于第二阈值，预定时间段内的落地文件大于第三阈值和/或当前时间点处于网络信息量大于第四阈值的时间段。

在上述任一技术方案中，优选的，监测所述分布式系统中各下载机的状态，所述状态包括待机状态、工作状态、关机状态；判断所述分布式系统中处于开机状态的下载机是否可完成与所述下载任务状态对应的下载量；在不满足所述下载量时，开启处于关机状态的下载机。

当监测到当前的下载状态时，还需要监测当前各下载机的状态，如果当前处于开启状态的下载机能够完成当前的下载任务，则不需要开启其他处于关机状态的下载机，否则，可选择开启合适的下载机。

根据本发明的另一方面，还提供了一种动态部署下载机装置，包括：监测单元，连接至控制单元，用于监测下载任务状态；所述控制单元，用于根据所述下载任务状态控制分布式系统中的下载机的开关状态。

分布式系统中具有多个下载机，在传统方法中，采用固定部署方式来部署这些下载机，没有考虑当前的信息量以及下载情况，因此造成极大的资源浪费以及功耗，本发明实时监测下载任务状态，根据当前的下载任务状态来控制下载机的开关状态，例如根据当前的待下载任务量来开启合适数量的下载机，其他下载机可处于关机状态，从而实现动态部署下载机，减少了资源浪费。

在上述技术方案中，优选的，所述下载任务状态包括当前待下载任务的数量、实时刷新出的任务数量、预定时间段内的落地文件的数量和/或不同时间段对应的网络信息量。

在上述技术方案中，优选的，所述控制单元包括：判断单元，在所述下载任务状态满足预设条件时，启动所述分布式系统中所需的下载机，否则，关闭所述分布式系统中的指定下载机。

任务频繁发生的时间段不一样，例如每天晚上6点至8点的任务发生数较其他时段多，当进入晚上6点至8点时，可开启处于关机状态的下载机，来满足当前的需要。当出了上述时间段之后，关闭这些下载机，节约资源和能耗。

在上述技术方案中，优选的，所述预设条件包括当前待下载任务的数量大于第一阈值、实时刷新出的任务数量大于第二阈值，预定时间段内的落地文件大于第三阈值和/或当前时间点处于网络信息量大于第四阈值的时间段。

在上述技术方案中，优选的，所述监测单元还用于监测所述分布式系统中各下载机的状态，所述状态包括待机状态、工作状态、关机状态；

所述控制单元还用于判断所述分布式系统中处于开机状态的下载机是否可完成与所述下载任务状态对应的下载量，在不满足所述下载量时，开启处于关机状态的下载机。

当监测到当前的下载状态时，还需要监测当前各下载机的状态，如果当前处于开启状态的下载机能够完成当前的下载任务，则不需要开启其他处于关机状态的下载机，否则，可选择开启合适的下载机。

本发明提供的基于分布式采集系统及动态部署下载机的方法及系统能够充分根据总控系统对当前待下载任务的数量、落地文件数量的多少、每天不同时间段对网络信息频繁发生的情况、动态系统实时刷新出来的任务数量等，来开启和关闭整个分布式系统中所需要的下载机，达到动态分布和管理的最佳实效，最大限度的节约资源与人工成本，使处于分布式的系统更加具有实用性和节能效果。

附图说明

图1示出了根据本发明的实施例的动态部署下载机方法的示意流程图；

图2示出了根据本发明的实施例的动态部署下载机装置的示意框图；

图3示出了根据本发明的实施例的动态部署下载机系统的处理过程示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开的具体实施例的限制。

图1示出了根据本发明的实施例的动态部署下载机方法的示意流程图。

如图1所示，根据本发明的实施例的动态部署下载机方法，可以包括以下步骤：步骤102，监测下载任务状态；步骤104，根据下载任务状态控制分布式系统中的下载机的开关状态。

分布式系统中具有多个下载机，在传统方法中，采用固定部署方式来部署这些下载机，没有考虑当前的信息量以及下载情况，因此造成极大的资源浪费以及功耗，本发明实时监测下载任务状态，根据当前的下载任务状态来控制下载机的开关状态，例如根据当前的待下载任务量来开启合适数量的下载机，其他下载机可处于关机状态，从而实现动态部署下载机，减少了资源浪费。

在上述技术方案中，优选的，所述下载任务状态包括当前待下载任务的数量、实时刷新出的任务数量、预定时间段内的落地文件的数量和/或不同时间段对应的网络信息量。

在上述技术方案中，优选的，在所述下载任务状态满足预设条件时，启动所述分布式系统中所需的下载机，否则，关闭所述分布式系统中的指定下载机。

任务频繁发生的时间段不一样，例如每天晚上6点至8点的任务发生数较其他时段多，当进入晚上6点至8点时，可开启处于关机状态的下载机，来满足当前的需要。当出了上述时间段之后，关闭这些下载机，节约资源和能耗。

在上述技术方案中，优选的，所述预设条件包括当前待下载任务的数量大于第一阈值、实时刷新出的任务数量大于第二阈值，预定时间段内的落地文件大于第三阈值和/或当前时间点处于网络信息量大于第四阈值的时间段。

在上述任一技术方案中，优选的，监测所述分布式系统中各下载机的状态，所述状态包括待机状态、工作状态、关机状态；判断所述分布式系统中处于开机状态的下载机是否可完成与所述下载任务状态对应的下载量；在不满足所述下载量时，开启处于关机状态的下载机。

当监测到当前的下载状态时，还需要监测当前各下载机的状态，如果当前处于开启状态的下载机能够完成当前的下载任务，则不需要开启其他处于关机状态的下载机，否则，可选择开启合适的下载机。

图2示出了根据本发明的实施例的动态部署下载机装置的示意框图。

如图2所示，根据本发明的实施例的动态部署下载机装置200，包括：监测单元202，连接至控制单元204，用于监测下载任务状态；所述控制单元204，用于根据所述下载任务状态控制分布式系统中的下载机的开关状态。

分布式系统中具有多个下载机，在传统方法中，采用固定部署方式来部署这些下载机，没有考虑当前的信息量以及下载情况，因此造成极大的资源浪费以及功耗，本发明实时监测下载任务状态，根据当前的下载任务状态来控制下载机的开关状态，例如根据当前的待下载任务量来开启合适数量的下载机，其他下载机可处于关机状态，从而实现动态部署下载机，减少了资源浪费。

在上述技术方案中，优选的，所述下载任务状态包括当前待下载任务的数量、实时刷新出的任务数量、预定时间段内的落地文件的数量和/或不同时间段对应的网络信息量。

在上述技术方案中，优选的，所述控制单元204包括：判断单元2042，在所述下载任务状态满足预设条件时，启动所述分布式系统中所需的下载机，否则，关闭所述分布式系统中的指定下载机。

任务频繁发生的时间段不一样，例如每天晚上6点至8点的任务发生数较其他时段多，当进入晚上6点至8点时，可开启处于关机状态的下载机，来满足当前的需要。当出了上述时间段之后，关闭这些下载机，节约资源和能耗。

在上述技术方案中，优选的，所述预设条件包括当前待下载任务的数量大于第一阈值、实时刷新出的任务数量大于第二阈值，预定时间段内的落地文件大于第三阈值和/或当前时间点处于网络信息量大于第四阈值的时间段。

在上述技术方案中，优选的，所述监测单元202还用于监测所述分布式系统中各下载机的状态，所述状态包括待机状态、工作状态、关机状态；

所述控制单元204还用于判断所述分布式系统中处于开机状态的下载机是否可完成与所述下载任务状态对应的下载量，在不满足所述下载量时，开启处于关机状态的下载机。

当监测到当前的下载状态时，还需要监测当前各下载机的状态，如果当前处于开启状态的下载机能够完成当前的下载任务，则不需要开启其他处于关机状态的下载机，否则，可选择开启合适的下载机。

本发明提供的基于分布式采集系统的动态部署下载机方法及系统，用于解决和优化现有的固定部署下载机方式所产生的大量资源成本的缺陷。

图3示出了根据本发明的实施例的动态部署下载机系统的处理过程示意图。

如图3所示，总控管理系统300A(对应于图2中的动态部署下载机装置200)的处理过程包括：

从本地端导入任务302，形成URL待下载队列304，向下载机子系统300B发送下载任务306，接收来自下载机子系统的下载机数据信息308。在下载回送任务队列中判断310，如果是需要下载任务，则进入步骤304，如果是内容页，则进入步骤312。生成落地文件312。

监测待下载任务队列中的任务数以及在预定时间段内生成的落地文件数量314。在监测到的数据满足预设条件时，触发开门狗子系统316。通过开门狗子系统启动和关闭下载机子系统。

接收来自总控管理系统300A的下载任务318。将接收到的需要下载的任务给下载模块执行下载320，之后在传给解析模块解析322，将解析后的任务放回到列表页队列和内容页队列中。其中内容页队列是区分下载解析后需要落地的内容页和需要下载的内容页，最后将下载机数据信息传回给总控管理系统324。

本发明增加了看门狗子系统，判断当前调度队列中刷出来新的需要下载的URL任务数量，在几分钟之内是否大于某个阀值，或者判断未调度出去下载的URL任务数量在几分钟之内是否大于某个阀值，包括内容页和列表页的URL数量，或者判断当前下载和解析都正确的落地文件的量几分钟之内是否小于某个阀值URL，或者判断是否是一天24小时网络上出现更新新闻、论坛、博客、微博、新闻评论比较频繁的时间段，一般是上午10点到下午16点之间，或者判断启动下载机PC的CPU使用率是否小于80％，网络流量较小的情况，根据判断结果确定启动哪些下载机，关闭哪些下载机。

图3中所示的总控管理系统300A可以包括分发任务模块，通信模块，处理数据模块，下载机子系统管理模块。各模块主要功能如下：

分发任务模块：负责管理所有的采集任务的添加、删除、停止的操作，并负责根据采集任务各自的刷新间隔自动将采集任务添加到待访问列表页队列和内容页队列中，同时根据任务的不同类型进行分类处理。

通信模块：负责创建socket的客户端，并将任务发给下载机子系统；负责创建socket的服务器端，将接收来自下载机子系统的状态信息和生成的数据信息。

处理数据模块：负责对返回的任务进行分类、落地和统计等处理。

下载子系统管理模块：负责显示出目前下载机子系统中哪些设备是处于激活状态、哪些处于工作状态、哪些处于待激活状态，以及正在使用的下载机的相关配置和统计信息等。

看门狗子系统：根据总控管理系统发来的信息启动和关闭下载机子系统。

下载机子系统300B可以包括：

通信模块：负责创建socket通信的客户端和服务端与总控管理系统的socket通信模块协调工作。

下载机信息模块：收集下载机配置和状态信息，形成回送下载机信息队列。

执行下载任务模块：负责从下载队列获取下载任务、执行下载任务，爬取网页信息。将下载回来的信息放入待解析队列中，提供给解析模块或者生成下载回来的任务数据落地。

解析模块：负责对下载回来的网页信息进行解析，抽出列表页和内容页，其中将列表页放入解析后的列表页队列中再通过通信接口直接发送给总控管理系统，将内容页放入解析后的内容页队列然后再生成符合格式的数据落地或者发送给总控管理系统。

以上结合附图详细说明了根据本发明的技术方案，本发明提供的基于分布式采集系统及动态部署下载机的方法及系统能够充分根据总控系统对当前待下载任务的数量、落地文件数量的多少、每天不同时间段对网络信息频繁发生的情况、动态系统实时刷新出来的任务数量等，来开启和关闭整个分布式系统中所需要的下载机，达到动态分布和管理的最佳实效，最大限度的节约资源与人工成本，使处于分布式的系统更加具有实用性和节能效果。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种动态部署下载机方法，其特征在于，包括：

监测下载任务状态；

根据所述下载任务状态控制分布式系统中的下载机的开关状态。

2.根据权利要求1所述的动态部署下载机方法，其特征在于，所述下载任务状态包括当前待下载任务的数量、实时刷新出的任务数量、预定时间段内的落地文件的数量和/或不同时间段对应的网络信息量。

3.根据权利要求2所述的动态部署下载机方法，其特征在于，在所述下载任务状态满足预设条件时，启动所述分布式系统中所需的下载机，否则，关闭所述分布式系统中的指定下载机。

4.根据权利要求3所述的动态部署下载机方法，其特征在于，所述预设条件包括当前待下载任务的数量大于第一阈值、实时刷新出的任务数量大于第二阈值，预定时间段内的落地文件大于第三阈值和/或当前时间点处于网络信息量大于第四阈值的时间段。

5.根据权利要求1至4中任一项所述的动态部署下载机方法，其特征在于，监测所述分布式系统中各下载机的状态，所述状态包括待机状态、工作状态、关机状态；

判断所述分布式系统中处于开机状态的下载机是否可完成与所述下载任务状态对应的下载量；

在不满足所述下载量时，开启处于关机状态的下载机。

6.一种动态部署下载机装置，其特征在于，包括：

监测单元，连接至控制单元，用于监测下载任务状态；

所述控制单元，用于根据所述下载任务状态控制分布式系统中的下载机的开关状态。

7.根据权利要求6所述的动态部署下载机装置，其特征在于，所述下载任务状态包括当前待下载任务的数量、实时刷新出的任务数量、预定时间段内的落地文件的数量和/或不同时间段对应的网络信息量。

8.根据权利要求7所述的动态部署下载机装置，其特征在于，所述控制单元包括：

判断单元，在所述下载任务状态满足预设条件时，启动所述分布式系统中所需的下载机，否则，关闭所述分布式系统中的指定下载机。

9.根据权利要求8所述的动态部署下载机装置，其特征在于，所述预设条件包括当前待下载任务的数量大于第一阈值、实时刷新出的任务数量大于第二阈值，预定时间段内的落地文件大于第三阈值和/或当前时间点处于网络信息量大于第四阈值的时间段。

10.根据权利要求6至9中任一项所述的动态部署下载机装置，其特征在于，所述监测单元还用于监测所述分布式系统中各下载机的状态，所述状态包括待机状态、工作状态、关机状态；

所述控制单元还用于判断所述分布式系统中处于开机状态的下载机是否可完成与所述下载任务状态对应的下载量，在不满足所述下载量时，开启处于关机状态的下载机。