CN103905515A - 一种分布式互联网信息下载系统及方法 - Google Patents

Abstract

本发明公开了一种分布式互联网信息下载系统及方法，首先由分发子系统接收用户的下载任务信息，并将下载任务信息发送到下载子系统；然后由下载子系统根据下载任务信息下载任务结果信息，并将任务结果信息发送到分发子系统；最后由分发子系统接收任务结果信息，并将任务结果信息回送给发起请求的用户。该系统物理环境包括了一个分发服务器和下载子系统群，系统的内部的工作方式是基于队列模型对需要获取的任务进行分配给下载子系统群，下载子系统群可以并发的处理所分配到的任务。该系统及方法适用于互联网的大数据量的采集，能够有效提高信息获取的效率及时效性。

Description

一种分布式互联网信息下载系统及方法

技术领域

本发明涉及计算机技术和互联网数据采集领域，具体涉及一种分布式互联网信息下载系统及方法。

背景技术

随着互联网全民普及率的提高，使用互联网日渐成为人们发布信息、获取信息和传递信息的习惯，互联网已经是各种信息主要载体，它一定程度的反映了社会公众对社会现实的主观情感。在互联网上对于热门事件往往有大量网站对其转载报道，如何在合理利用原有的机器资源，在不增加原有硬件资源的处理性能的条件下，在一定的时间内获取更多的信息已经成为我们新的需求。

现有的下载模型是大多基于单任务单线程和多任务多线程下载，当有任务时，会起动一个线程，然后接收，获取和回送信息。这种的模型比较容易理解和操作，对于任务量不多时，可以很好的利用线程来控制下载，并且容易跟踪获取信息的整个过程。但是这种模型的不足之处是消耗大量的系统资源，对机器的要求比较高。因为接到一个任务就要启动一个线程来接收和执行任务,并且对于接收任务的数量和机器的性能有很大的关系。

发明内容

针对现有技术中存在的缺陷，本发明的目的在于提供一种分布式互联网信息下载系统及方法，有效提高信息下载的效率。

为实现上述目的，本发明采用的技术方案如下：

一种分布式互联网信息下载系统，包括用于接收与转发用户的下载任务信息、以及将任务结果信息回送给用户的分发子系统，以及用于接收分发子系统发送的下载任务信息并根据下载任务信息下载任务结果信息的下载子系统。

进一步，如上所述的一种分布式互联网信息下载系统，所述的分发子系统设置在分发服务器中，下载子系统设置在一台或多台工作站中。

进一步，如上所述的一种分布式互联网信息下载系统，所述的分发子系统包括，

分发内存模块：用于向分发服务器申请用于保存下载任务信息和任务结果信息的分发内存空间；

接收任务模块：用于接收用户的下载任务请求并将下载任务信息保存到分发内存空间；

分发模块：用于将下载任务信息发送到下载子系统；

接收结果模块：用于接收下载子系统返回的任务结果信息，并将任务结果信息保存到分发内存空间；

分发回送模块：用于向用户返回任务结果信息。

进一步，如上所述的一种分布式互联网信息下载系统，所述的下载子系统包括，

下载内存模块：用于向工作站申请用于保存任务下载信息和任务结果信息的下载内存空间；

接收模块：用于接收分发子系统下发的下载任务，并将下载任务信息保存到下载内存空间；

下载模块：用于根据下载任务信息下载互联网数据，得到任务结果信息，并将任务结果信息保存到下载内存空间；

下载回送模块：用于将任务结果信息返回分发子系统。

进一步，如上所述的一种分布式互联网信息下载系统，所述的分发子系统还包括，

验证模块：用于解析并验证接收任务模块所接收到的下载任务信息以及接收结果模块接收到的任务结果信息的合法性；

监控模块：用于监控下载任务信息的下发情况；如果下载任务信息下发完成或超时，监控模块通知分发内存模块删除该下载任务信息并回收分发内存空间。

进一步，如上所述的一种分布式互联网信息下载系统，所述的下载子系统还包括，

解析模块：用于解析并验证接收模块所接收到的下载任务信息的合法性。

一种分布式互联网信息下载方法，包括以下步骤：

（1）分发子系统接收用户的下载任务信息，并将下载任务信息发送到下载子系统；

（2）下载子系统根据下载任务信息下载互联网数据，得到任务结果信息，并将任务结果信息发送到分发子系统；

（3）分发子系统接收任务结果信息，并将任务结果信息回送到发起请求的用户。

进一步，如上所述的一种分布式互联网信息下载方法，步骤（1）中，分发子系统将任务下载信息发送到下载子系统的具体步骤包括：

（1-1）分发内存模块申请分发内存空间；

（1-2）任务接收模块接收用户的下载任务请求，并将接收到下载任务信息保存到分发内存空间中；

（1-3）分发模块在分发内存空间中查找下载任务信息，并将下载任务发送到下载子系统。

进一步，如上所述的一种分布式互联网信息下载方法，下载子系统根据下载任务信息下载任务结果信息并发送到分发子系统的具体步骤包括：

（2-1）下载内存模块申请下载内存空间；

（2-2）接收模块接收分发子系统下发的下载任务，并将下载任务信息保存到下载内存空间中；

（2-3）下载模块根据下载任务信息下载互联网数据，得到任务结果信息，并将任务结果信息保存到下载内存空间中；

（2-4）下载回送模块将下载内存空间中的任务结果信息回送到分发子系统。

本发明的有益效果在于：本发明所述的系统及方法是基于分布式架构的互联网信息下载，通过分发子系统进行下载任务的分发与下载结果的反馈，通过下载子系统进行互联网信息的获取，可以在使用较少的机器资源的前提下，在一定的时间内最大效率的实现信息的采集及下载。

附图说明

图1为本发明一种分布式互联网信息下载系统的结构框图；

图2具体实施方式中一种分布式互联网信息系统的实施示意图；

图3为本发明一种分布式互联网信息下载方法的流程图。

具体实施方式

下面结合说明书附图与具体实施方式对本发明做进一步的详细说明。

本发明所述的系统是基于网络平台上的分布式并发获取互联网信息的系统，该系统物理环境包括了一个分发服务器和下载子系统群，系统的内部的工作方式是基于队列模型对需要获取的任务进行分配给下载子系统群，下载子系统群可以并发的处理所分配到的任务。这个系统适用于互联网的大数据量的采集，并对获取信息的效率和时效性有一定要求的工作环境。

图1示出了本发明一种分布式互联网信息下载系统的结构框图，由图中可以看出，该系统包含两种类型的子系统，分发子系统A和下载子系统B。分发子系统A主要是负责接收，发送和回送任务包；而下载子系统B的功能比较单一，就是负责接收分发子系统A分配的任务，然后下载任务中所要求的互联网信息，最后把下载回来的内容传送给分发子系统A。

本实施方式中的分发子系统A包括内存模块11、接收任务模块12、验证模块13、分发模块14、监控模块15、接收结果模块16和回送模块17；下载子系统B包括内存模块21、接收模块22、解析模块23、下载模块24和回送模块25。为了区分分发子系统A与下载子系统B的模块，本实施方式中将分发子系统A与下载子系统B中相同的模块的名称记为“分发+模块名称”，下载子系统B中记为“下载+模块名称”，例如，将A中的内存模块11记为分发内存模块，回送模块17记为分发回送模块，将B中的内存模块21记为下载内存模块，回送模块25记为下载回送模块。其中：

分发内存模块11用于向分发服务器申请用于保存任务下载信息和任务结果信息的分发内存空间；

接收任务模块12用于接收用户的下载任务请求并将下载任务信息保存到分发内存空间；

验证模块13用于解析并验证接收任务模块所接收到的下载任务信息以及接收结果模块接收到的任务结果信息的合法性；

分发模块14用于获取下载任务信息并将下载任务发送到下载子系统；

监控模块15用于监控下载任务信息的下发情况；如果下载任务信息下发完成或超时，监控模块通知分发内存模块删除该下载任务信息并回收内存空间；

接收结果模块16用于接收下载子系统返回的任务结果信息，并将任务结果信息保存到分发内存空间；

分发回送模块17用于向用户返回任务结果信息。

下载内存模块21用于向工作站申请用于保存任务下载信息和任务结果信息的下载内存空间；

接收模块22用于接收分发子系统下发的下载任务，并将下载任务信息保存到下载内存空间；

解析模块23用于解析并验证接收模块所接收到的下载任务信息的合法性；

下载模块24用于根据下载任务信息下载互联网数据，得到任务结果信息，并将任务结果信息保存到下载内存空间；

下载回送模块25用于将任务结果信息返回分发子系统。

本发明所述的系统的内部工作方式是基于队列模型对所需要获取的任务进行分配给下载子系统群的，下载子系统可以并发的处理所接收到的下载任务。因此，在以上几个模块中，除了接收任务模块12，接收结果模块16和验证模块13，以及接收模块22和解析模块23外都有一个队列，即分发内存模块11、分发模块14、分发回送模块17、监控模块15、下载内存模块21、下载模块24和下载回送模块25均采用与其对应的队列的形式保存其所接收到的数据，数据包括任务下载信息、任务结果信息、分布任务号、任务结果号等。

任务接收模块12接收到任务下载信息后，将下载任务信息保存到分发内存模块11的分发内存队列中，并对每一个下载任务信息生成一个唯一的分发任务号，将分发任务号发送到验证模块13，验证模块13对下载任务信息验证后将合法的下载任务信息的分发任务号发送到分发模块14，分发模块将分发任务号保存到分发队列中；分发模块14向下载子系统发送下载任务时，取出分发队列中的分发任务号，在分发内存队列中查找出该分发任务号对应的下载任务信息，并将下载任务信息发送到下载子系统。验证模块13对下载任务信息验证后同时将合法的下载任务信息的分发任务号发送到监控模块15，监控模块15将分发任务号保存到监控队列中；监控模块15一直检查监控队列中第一个分发任务号所对应的下载任务信息是否下发完成或超时，若是则直接删除监控队列中的第一个分发任务号，并删除分发内存队列中该分发任务号对应的下载任务信息，回收该分发任务号所对应的分发内存队列中的分发内存空间。下载子系统将任务结果信息返回给分发子系统后，首先由验证模块13对任务结果信息验证后，根据任务结果信息的分发任务号在分发内存模块11中查找该分发任务号所对应的下载任务信息及其分发内存队列，将任务结果信息保存到分发内存队列中，并将该任务结果信息的分发任务号发送到分发回送模块17，分发回送模块17将分发任务号保存分发回送队列中；分发回送模块向用户返回任务结果信息时，分发回送模块取出分发回送队列中的分发任务号，在分发内存队列中查找出该分发任务号对应的任务结果信息，并将任务结果信息返回给用户。

接收模块22接收到分发子系统下发的下载任务信息后，将接收到的下载任务信息保存到下载内存模块21的下载内存队列中，并由解析模块23验证下载任务信息的合法性，如果合法，则对每一个下载任务信息生成一个下载子系统内的唯一的下载任务号，并将下载任务号发送到下载模块的下载队列中；如果不合法则下载任务失效。下载模块下载任务结果信息时，取出下载队列中的下载任务号，根据该下载任务号在下载内存队列中查找任务下载信息，根据任务下载信息下载互联网数据，得到任务结果信息，将任务结果信息保存到下载内存队列中，将此下载任务号发送到下载回送模块的下载回送队列中，并删除下载队列中的此下载任务号。下载回送模块25向分发子系统回送任务结果信息时，从下载回送队列中取出下载任务号，在下载内存队列中查找出该下载任务号对应的任务结果信息，把任务结果信息回送到分发子系统，并删除下载回送队列中的此下载任务号，同时通知下载内存模块回收此任务结果信息所占用的下载内存空间。

下面对本发明分发子系统和下载子系统的工作流程进行更具体的说明：

分发子系统的各个模块是按照以下步骤运行：

1．系统运行开始时最先进入分发内存模块11，在这个模块中会先申请一定数量内存用于管理任务。在这一步骤中，系统支持用户根据需要同时处理任务的速度和物理环境的性能来自定义内存中可同时存储任务的大小。

2．监听用户的请求。系统分配完内存以后会进入接收任务模块12，用于监听接收任务端口，如果有用户请求过来，就会触发这个模块中的监听线程，这个线程就会直接调用接收任务模块。

3．接收任务模块12是专门负责接收任务请求信息的。当有一个任务连接到分发子系统并进入此模块时，先从内存队列中提取出最前端的一个内存块，因为需要把执行的任务信息保存下来，并且给这个任务信息生成一个唯一的任务号，然后把这些信息放输入到验证模块13中。

4．到这一步时，分发子系统中的验证模块13中已经得到了一个任务信息，系统需要对这个信息进行验证。为了确定信息的完整和有效性在验证模块中会对信息进行解析，在确认信息是合法的以后，验证模块的主要任务就已经完成，接下来就是把合法的信息号放入监控模块15和分发模块14中。

5.分发模块14的队列中如果有任务号，分发模块就会从队列中取出这个任务号然后在内存队列中找到下载任务信息。在获取到任务信息后会把任务发送到下载子系统。发送完成后，就会让这个队列中的任务号出队，不再保存这个任务号。

6.监控模块15会一直检查监控队列中的第一个任务的完成情况。因为任务是按顺放到队列中的，所以只需查看队列中的第一个任务。当第一个任务超时或者完成时，会直接删除第一个任务，同时回收内存队列中的空间，然后继续监控后面的一个任务。

7.当下载子系统返回任务结果信息时，是接收结果模块16来完成这个步骤的。在这个模块接收完下载子系统返回的任务结果信息后，会调用验证模块来判断任务信息的完整性。如果信息正确无误，就会把这个任务结果保存在内存队列中，并且会把任务号存放到回送队列中去。

8.分布回送模块17的职责就是向任务中指定的地址发送任务结果信息。当队列不为空时，回送模块就会从队列中取出一个任务号，然后在内存队列中找出相应的信息，最后向回送地址发送任务结果并且标注这个任务已经发送完成。

下载子系统的工作流程：

1.首先下载内存模块21会申请一定数量的内存空间用于存储任务信息。这个空间的大小是基于子系统所在的物理机器的性能和与网络速度来决定的。所申请到的空间也是按照队列的形式来存放的。

2.当分发子系统分配一个任务后，接收模块22就会接收到下载任务信息，然后会向下载内存模块取出一个内存空间来存放下载任务信息。

3.解析模块23分析新接收到的任务信息是否是合法的，如果任务信息合法就会给这次的任务生成一个子系统内的唯一的任务号，同时把这个任务号放入下载模块中的下载队列。否则就会认为此任务无效，丢弃这次的任务。

4.当下载模块24中的队列中有数据的时候，下载模块就会取出队列中的任务号，然后在内存队列中查找到任务的信息。根据任务的内容，会下载所需要的数据。等到下载完成后，会直接把收到的内容存入内存队列中。在下载队列中删除此任务号，并且把这个任务号放入回送模块中的回送队列中去。

5.当下载回送队列不为空时，就会触发下载回送模块25。回送模块直接从队列中取出任务号，并且从内存模块的队列中读取出相应的信息，直接把这个任务信息回送给分发子系统。回送完成后，会删除回送队列中的任务号，并且会通知内存模块回收此任务所占用的空间以便以后使用。

本发明所述的系统至少要有一个分发服务器用于安装分发子系统和一台或多台工作站用于安装下载子系统，如图2所示。其中分发子系统和下载子系统在一个局域网内，相互之间可以双向通信，并且用户在同一局域网内；分布式工作站必需可以与互联网相连接，可以自由的获取互联网资源。

图3示出了基于体1中所述系统的一种分布式互联网信息下载方法的流程图，该方法包括以下步骤：

步骤S1：分发子系统接收用户的下载任务信息，并将下载任务信息发送到下载子系统；

该步骤的具体实现步骤如下：

1）分发内存模块申请分发内存空间；

2）任务接收模块接收用户的下载任务请求，并将接收到下载任务信息保存到分发内存空间中；

3）分发模块在分发内存空间中查找下载任务信息，并将下载任务发送到下载子系统。

步骤S2：下载子系统根据下载任务信息下载互联网数据，得到任务结果信息，并将任务结果信息发送到分发子系统；

该步骤的具体实现步骤如下：

1）下载内存模块申请下载内存空间；

2）接收模块接收分发子系统下发的下载任务，并将下载任务信息保存到下载内存空间中；

3）下载模块根据下载任务信息下载互联网数据，得到任务结果信息，并将任务结果信息保存到下载内存空间中；

4）下载回送模块将下载内存空间中的任务结果信息回送到分发子系统。

步骤S3：分发子系统接收任务结果信息，并将任务结果信息回送到发起请求的用户；

该步骤的具体实现步骤如下：

1）接收结果模块接收下载子系统返回的任务结果信息，并将任务结果信息保存到分发内存空间；

2）分发回送模块将分发内存空间中的任务结果信息返回给用户。

显然，以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护方位。本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其同等技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (16)

1.一种分布式互联网信息下载系统，包括用于接收与转发用户的下载任务信息、以及将任务结果信息回送给用户的分发子系统，以及用于接收分发子系统发送的下载任务信息并根据下载任务信息下载任务结果信息的下载子系统。

2.如权利要求1所述的一种分布式互联网信息下载系统，其特征在于：所述的分发子系统设置在分发服务器中，下载子系统设置在一台或多台工作站中。

3.如权利要求2所述的一种分布式互联网信息下载系统，其特征在于：所述的分发子系统包括，

分发内存模块：用于向分发服务器申请用于保存下载任务信息和任务结果信息的分发内存空间；

接收任务模块：用于接收用户的下载任务请求并将下载任务信息保存到分发内存空间；

分发模块：用于将下载任务信息发送到下载子系统；

接收结果模块：用于接收下载子系统返回的任务结果信息，并将任务结果信息保存到分发内存空间；

分发回送模块：用于向用户返回任务结果信息。

4.如权利要求2所述的一种分布式互联网信息下载系统，其特征在于：所述的下载子系统包括，

下载内存模块：用于向工作站申请用于保存任务下载信息和任务结果信息的下载内存空间；

接收模块：用于接收分发子系统下发的下载任务，并将下载任务信息保存到下载内存空间；

下载模块：用于根据下载任务信息下载互联网数据，得到任务结果信息，并将任务结果信息保存到下载内存空间；

下载回送模块：用于将任务结果信息返回分发子系统。

5.如权利要求3所述的一种分布式互联网信息下载系统，其特征在于：所述的分发子系统还包括，

验证模块：用于解析并验证接收任务模块所接收到的下载任务信息以及接收结果模块接收到的任务结果信息的合法性；

监控模块：用于监控下载任务信息的下发情况；如果下载任务信息下发完成或超时，监控模块通知分发内存模块删除该下载任务信息并回收分发内存空间。

6.如权利要求4所述的一种分布式互联网信息下载系统，其特征在于：所述的下载子系统还包括，

解析模块：用于解析并验证接收模块所接收到的下载任务信息的合法性。

7.如权利要求5或6所述的一种分布式互联网信息下载系统，其特征在于：分发内存模块、分发模块、分发回送模块、监控模块、下载内存模块、下载模块和下载回送模块均采用与其对应的队列的形式保存其所接收到的数据。

8.如权利要求7所述的一种分布式互联网信息下载系统，其特征在于：分发内存模块将下载任务信息保存到分发内存队列中，并对每一个下载任务信息生成一个唯一的分发任务号，并将分发任务号发送到验证模块。

9.如权利要求8所述的一种分布式互联网信息下载系统，其特征在于：验证模块对下载任务信息验证后将合法的下载任务信息的分发任务号发送到分发模块，分发模块将分发任务号保存到分发队列中；分发模块向下载子系统发送下载任务时，取出分发队列中的分发任务号，在分发内存队列中查找出该分发任务号对应的下载任务信息，并将下载任务信息发送到下载子系统。

10.如权利要求8所述的一种分布式互联网信息下载系统，其特征在于：验证模块对下载任务信息验证后将合法的下载任务信息的分发任务号发送到监控模块，监控模块将分发任务号保存到监控队列中；监控模块一直检查监控队列中第一个分发任务号所对应的下载任务信息是否下发完成或超时，若是则直接删除监控队列中的第一个分发任务号，并删除分发内存队列中该分发任务号对应的下载任务信息，回收该分发任务号所对应的分发内存队列中的分发内存空间。

11.如权利要求5所述的一种分布式互联网信息下载系统，其特征在于：验证模块对任务结果信息验证后，根据任务结果信息的分发任务号在分发内存模块中查找该分发任务号所对应的下载任务信息及其分发内存队列，将任务结果信息保存到分发内存队列中，并将该任务结果信息的分发任务号发送到分发回送模块，分发回送模块将分发任务号保存分发回送队列中；分发回送模块向用户返回任务结果信息时，分发回送模块取出分发回送队列中的分发任务号，在分发内存队列中查找出该分发任务号对应的任务结果信息，并将任务结果信息返回给用户。

12.如权利要求6所述的一种分布式互联网信息下载系统，其特征在于：下载内存模块中将接收到的下载任务信息保存到下载内存队列中，并由解析模块验证下载任务信息的合法性，如果合法，则对每一个下载任务信息生成一个下载子系统内的唯一的下载任务号，并将下载任务号发送到下载模块的下载队列中；如果不合法则下载任务失效。

13.一种分布式互联网信息下载方法，包括以下步骤：

（1）分发子系统接收用户的下载任务信息，并将下载任务信息发送到下载子系统；

（2）下载子系统根据下载任务信息下载互联网数据，得到任务结果信息，并将任务结果信息发送到分发子系统；

（3）分发子系统接收任务结果信息，并将任务结果信息回送到发起请求的用户。

14.如权利要求13所述的一种分布式互联网信息下载方法，其特征在于：步骤（1）中，分发子系统将任务下载信息发送到下载子系统的具体步骤包括：

（1-1）分发内存模块申请分发内存空间；

（1-2）任务接收模块接收用户的下载任务请求，并将接收到下载任务信息保存到分发内存空间中；

（1-3）分发模块在分发内存空间中查找下载任务信息，并将下载任务发送到下载子系统。

15.如权利要求14所述的一种分布式互联网信息下载方法，其特征在于：下载子系统根据下载任务信息下载任务结果信息并发送到分发子系统的具体步骤包括：

（2-1）下载内存模块申请下载内存空间；

（2-2）接收模块接收分发子系统下发的下载任务，并将下载任务信息保存到下载内存空间中；

（2-3）下载模块根据下载任务信息下载互联网数据，得到任务结果信息，并将任务结果信息保存到下载内存空间中；

（2-4）下载回送模块将下载内存空间中的任务结果信息回送到分发子系统。

16.如权利要求15所述的一种分布式互联网信息下载方法，其特征在于：步骤（3）中，分发子系统接收任务结果信息，并将任务结果信息回送到用户的具体步骤包括：

（3-1）接收结果模块接收下载子系统返回的任务结果信息，并将任务结果信息保存到分发内存空间；

（3-2）分发回送模块将分发内存空间中的任务结果信息返回给用户。

Images