CN104699736B - 一种分布式的基于可移动设备的大规模数据采集系统及方法 - Google Patents

Abstract

本发明公开了一种分布式的基于可移动设备的大规模数据采集系统及方法，该系统包括移动终端子系统和服务管理子系统。所述移动终端子系统包括数据采集器，能够自主申请采集任务并执行；数据处理器，对采集到的数据进行抽取、解析、压缩及传输；状态控制器，记录移动设备的运行及执行情况并控制调度。所述服务管理子系统包括设备管理器，管理所有在网移动设备及其运行与网络状态；任务管理器，集中管理所有采集任务，并对采集频率、任务状态做动态化管理；数据分析器对移动设备返回的数据进行清洗加工；中央控制器，控制管理其他管理器模块。采用本发明，能够灵活地部署大规模数据采集网络，并有效利用闲置移动设备与网络带宽，降低数据采集的成本。

Description

一种分布式的基于可移动设备的大规模数据采集系统及方法

技术领域

本发明属于信息处理技术领域，具体的说，是涉及大规模数据下的信息采集系统及其方法。

背景技术

伴随着大数据时代的来临，信息尤其是社交类信息膨胀式增长，各类应用对数据的需求也随之而增长，目前海量信息的采集多依赖于传统的集中式采集或PC分布式采集，其缺陷极为明显，一方面客户端复杂化，对操作使用有一定的学习成本；另一方面，数据采集对带宽的开销非常大，同时设备成本过高；此外，采集过程中未对数据做动态化的传输处理，也导致相关资源的浪费和效能的低下。

目前网络设施发展也极为迅猛，与IDC机房高昂的带宽成本的现状不同，以家庭、社会场所为主随处闲置的网络环境却得不到充分利用。

因此，设计一种基于可移动设备的分布式的大规模数据采集系统，无论从经济层面，还是从技术层面，都有非常重要的意义。

发明内容

本发明的目的在于提供一种可在移动设备上运行的数据采集系统，借助分布式的思想将海量采集任务分配给几十个甚至更多的移动设备，同时利用移动设备的便携性和经济性优势，以及无处不在的闲置网络，使得过去需要集中利用带宽采集或利用专用PC服务器进行的采集可以分散到众多小型移动设备上进行，从而解决大数据环境下海量数据采集面临的IP限制、带宽限制等问题。

本发明提供一种分布式的基于可移动设备的大规模数据采集系统，所述系统包括移动终端子系统和服务管理子系统；

移动终端子系统部署在移动设备上，包括数据采集器、数据处理器、状态控制器；

服务管理子系统部署在服务端，包括设备管理器、任务管理器、数据分析器、中央控制器；

数据采集器用于申请采集任务、接受任务安排、执行采集任务；

数据处理器负责对采集到移动设备上的网页数据进行解析、抽取，并将处理过数据压缩后传送给服务端的数据分析器，该数据处理器还能够根据设备自身性能和网络情况，在中央控制器的调度下，进行压缩和传输策略的即时调整，保证移动设备上任务执行效率得到充分的利用；

状态控制器负责记录移动设备的任务执行情况和运行状态、硬件消耗等，并将相关数据发送给服务管理子系统进行统计分析，为移动设备上的计算与传输策略调整提供参考依据；

设备管理器用于记录不同移动设备发来的任务执行情况、设备状态等数据，协同其他模块，通过调整任务分配方式和计算及传输策略，以保证移动设备的性能能够得到有效充分的利用；

任务管理器管理所有采集任务，并按照类型、网站所在区域、采集间隔、响应时间、优先级进行分类，当数据采集器申请任务时，任务管理器将联系设备管理器获取申请设备的位置和网络情况，从待采集任务队列中，分配相匹配的任务至部署在移动设备上的移动终端子系统，优先判断其网络位置，包括运营商通道、境内境外，其后从设备管理器上搜集该移动设备的基础性能，分配不等量的采集任务。

数据分析器负责处理从移动设备上搜集而来的数据，并对其进行加工处理，核心处理包括对压缩的数据包进行解压缩，同时进行基于URL的排重操作，并负责相关数据的接口处理，数据分析器根据获取到的URL，与存储在内存中的历史URL映射表进行遍历比较，如有吻合的，则不入库存储或传输到下一环节，反之，则入库或传输到下一环节。

中央控制器负责协调其他所有模块间的通信与协调。

本发明还提供了一种分布式的基于可移动设备的大规模数据采集方法，在所述系统的框架结构下，实现了规模化移动设备部署及任务协调，充分利用了各类闲置的移动设备和闲置带宽，整个分布式网络可以灵活部署和拓展，最终实现大规模化分布式的移动爬虫网络。

为实现本发明之目的，采用以下技术方案予以实现：

一种分布式的基于可移动设备的大规模数据采集系统，包括：移动终端子系统、服务管理子系统，其中：

所述移动终端子系统部署在电视盒子、手机、Pad不同类型的移动终端设备上，包括数据采集器、数据处理器、状态控制器，

其中：所述数据采集器不间断从服务管理子系统申请采集任务以及不同采集任务的执行要求，所述采集任务包括列表页任务和内容页任务，执行采集任务后，采集的数据即时传递给数据处理器；

所述数据处理器对数据采集器采集后的数据进行网页数据的解析、抽取，然后打包并传输到服务管理子系统的数据分析器，数据处理器协同服务管理子系统的中央控制器，对不同的移动终端设备，执行不同的数据压缩与传输策略，所述数据压缩与传输策略为：如果移动终端设备的CPU处理性能和网络传输能力较强，则执行较高效的数据压缩格式，处理较多的单次压缩数量，反之，则执行较为低效的本地压缩格式和较少的单次压缩数量；

所述状态控制器记录当前移动终端设备上采集任务的CPU占用情况、内存占用情况、上行网络占用情况、下行网络占用情况、任务完成时间，以及所述当前移动终端设备上其他活跃任务的CPU、内存和网络占用情况，并按固定的时间间隔发送给服务管理子系统的设备管理器，同时接受服务管理子系统的中央控制器对移动终端设备的状态控制与变更；

所述服务管理子系统部署在大型服务器上，包括设备管理器、任务管理器、数据分析器、中央控制器，其中：

所述设备管理器，用于管理所有接入分布式网络的移动终端设备，并监控记录其运行状态与任务完成效率，监控记录的数据定时发送给中央控制器做评估分析，设备管理器远程控制移动终端设备的软件更新与数据处理的策略调整，当移动终端设备连接上网络时，自动访问服务管理子系统的设备管理器，检查版本更新情况，如有新版本，自动下载升级；当设备管理器通过移动终端设备的状态控制器发送来的记录显示数据采集任务已经影响到其他活跃任务时，将自动降低任务申请频度和压缩算法，释放移动设备的部分处理能力，当其他任务出现空闲时，则自动提高处理频度；

所述任务管理器，用于对所有待采集任务进行分类、评估以及任务完成效率反馈分析，形成一个包含采集间隔、待采集任务期望耗时的有序化列表，所述任务管理器可以对所有待采集的列表页任务和内容页任务进行管理控制，当移动终端设备上的数据采集器申请采集任务时，任务管理器将联系设备管理器查询该移动终端设备的网络位置及性能情况，在待处理任务中选择性能匹配的任务分配给移动终端设备，分配的原则包括内容页优先、移动终端设备所在网络点位置与待采集网页所在的站点通信响应时间较短的优先、移动设备处理单位任务处理性能较强的获取更多任务量；所述数据分析器，用于处理移动终端子系统传输来的经过解析压缩处理的网页数据，对数据进行解压、分类和进一步的清洗过滤；

所述中央控制器，用于统筹管理设备管理器、任务管理器、数据分析器，并与移动终端子系统进行通信，分配任务、分析任务执行情况、处理异常情况。

所述的一种分布式的基于可移动设备的大规模数据采集系统，其中，所述移动终端子系统，可以部署在具备主流移动操作系统的移动终端设备上，利用其分散性的优势和闲置网络，执行数据采集、加工的任务。

所述的一种分布式的基于可移动设备的大规模数据采集系统，其中，

所述移动终端子系统的数据处理器，通过平衡算法动态调整单次数据传输的数量和压缩方式，降低服务端对上行带宽消耗的同时，确保采集的数据能够及时传输到所述服务管理子系统；所述平衡算法为通过对所述移动终端设备性能及网络情况的监测与记录，辅以相应处理能力的任务量、压缩方式、单次传输数量，以实现所在设备性能的有效化处理。

所述的一种分布式的基于可移动设备的大规模数据采集系统，其中，所述移动管理子系统的状态控制器，根据当前设备的性能监测情况，控制任务的执行强度与计算强度，避免影响正在该设备上执行的其他任务的有效运行。

一种分布式的基于可移动设备的大规模数据采集方法，该方法包括：

A.移动设备接入网络后自动检查最新版本，如有最新版本，触发版本自动更新；

B.移动设备不间断的向服务端申请新任务，并汇报移动设备的网络及硬件性能情况；

C.服务端根据硬件计算性能、网络情况分配适合移动设备性能及网络的任务队列；

D.移动设备获取任务后展开采集，并将采集结果在处理后传输到服务端，同时根据所在设备的性能与网络状况调整数据压缩的格式和传输量；

E.移动设备监控设备上其他活跃任务运行情况，当采集任务性能占比过高影响到其他活跃任务时，自动降低任务处理效率和强度，采集任务性能占比过高的判定为对系统内所有搜集到的任务按CPU占用率、内存占用率、网络占用率进行排序，如出现非采集任务的CPU占用率高于警报值，则调整压缩算法，如出现非采集任务的网络占用率高于警报值，则调整单次压缩数量和传输频次；

F.服务端收到数据后进行解压、过滤及排重处理。

所述的一种分布式的基于可移动设备的大规模数据采集方法，其中：

所述移动设备网络及硬件性能进一步包括以下范围：上行网络速率，下行网络速率，空闲CPU，空闲内存，主要CPU占用，主要内存占用。

附图说明

说明书附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例提供的一种分布式的基于可移动设备的大规模数据采集系统的装置结构图

图2为本发明实施例提供的一种分布式的基于可移动设备的大规模数据采集方法的流程图

具体实施方式

下面结合附图及本发明的实施例对本发明的分布式的基于可移动设备的大规模数据采集系统及其方法作进一步的详细的说明。

本发明实施例提供的一种分布式的基于可移动设备的大规模数据采集系统的装置结构图如图1所示，其特征在于，包括移动终端子系统和服务管理子系统，其中：

移动终端子系统可以部署在任意具备Android或Windows的移动设备上，安装后启动将自动在服务端进行注册登记并获得惟一的识别ID号，并保持与服务端的数据通信更新。移动终端子系统包括数据采集器、状态控制器、数据处理器等三个组件，涉及了从数据的原始采集、状态监控记录到解析、抽取、压缩、上传等一系列操作，由于移动终端设备可以在任意网络环境下尤其时无线网络下联网并进行数据处理，因此在实际部署、部署成本尤其时下行带宽成本方面优势突出。

服务管理子系统部署在服务器上，管理所有的移动设备，并与部署在其上的移动终端子系统保持数据和逻辑控制的通信。服务管理子系统包括设备管理器、任务管理器、数据分析器和中央处理器等四个组件。

本实施例中，移动终端子系统所获得的任务类型及任务量是经过计算得到的结果，所述子系统中的状态控制器将移动设备所在的网络位置、设备配置、应用及资源状态发送至服务端统一分析。

进一步的，服务端根据移动终端子系统发来的网络位置，检索符合待采集的任务列表，此时的匹配方法按照境内境外、不同的地理位置、不同的运营商通道为优先级逐次比较，找到最为匹配该移动终端子系统的任务，分配给申请任务的移动终端子系统。

进一步的，分配任务时还将根据移动终端子系统发来的网络性能决定分配任务数量，根据移动设备的性能决定对数据的压缩格式和单次传输量，策略确定后将写入移动终端子系统的设备管理器进行控制。

当移动终端子系统检测到所在的移动设备性能后，将参数发至服务端的设备管理器，并在参数表中搜索对应的压缩处理策略，而后将处理策略返回移动终端子系统的数据处理器，对性能较强的，一般按照bzip2等高压缩率高计算量格式进行处理，也即采集完原始网页后，在移动端进行解析和抽取，并压缩后批量传输给服务端，相关处理策略数据也将返回设备管理器进行存储记录。该操作策略将充分利用移动终端设备的性能和所在网络的带宽，对服务端的资源占用尤其时网络带宽(上行)带宽将得到明显压缩。

所述移动终端子系统利用设备管理器定时检查该子系统的版本与服务端是否一致，如果服务端有更新，则启动静默模式自动下载并更新，否则放弃更新操作并等待下一次检查结果。

本实施例中，服务管理子系统实质上是由一群各自独立、相互关联的组件构成，所有组件通过中央控制器进行调度协调，整个服务管理子系统负责对各个不同移动设备上传而来的数据进行二次处理。

进一步的，所述服务管理子系统的设备管理器维护着所有注册入网的移动设备的静态信息和动态信息，目的是为移动设备上的任务分配和调整提供计算参考值。

进一步的，所述服务管理子系统的任务管理器维护所有待处理任务及其状态，并负责分配对应的任务给申请任务移动终端，并与设备管理器进行通信，根据移动终端设备的位置和性能计算调整任务实际分配，以实现移动终端设备性能的优化配置。

本发明的另一个实施例提供了一种利用上述基于可移动设备的大规模数据采集系统进行的分布式移动设备采集方法，该方法流程框图如图2所示，包括如下步骤：

步骤S301：移动终端设备联网注册，并检查服务端是否有新版本，如有，则自动下载更新(静默模式)，而后发起任务采集申请，如果没有发现新版本，则直接发起任务申请；

步骤S302：服务端的设备管理器获取每个联网设备的网络位置及其性能基本参数，该数据由部署在移动终端设备上的状态控制器采集提交；

步骤S303：所有待采集的任务都已经提前做好各类信息标记，包括待采集网页所在网站服务器地区、待采集网页所在网站平均响应时间、待采集网页网站历史平均采集完成时间，任务管理器在待采集队列中按照优先分配同区域任务给申请终端，并实时监测记录移动终端的运行性能，如果发现移动终端上有其他活跃应用且移动终端资源占用率过高，影响到任务完成效率，即任务完成速率长时间低于历史平均完成时间，则降低该移动终端的任务分配量和压缩率，进一步相关的参考步骤S304描述；

步骤S304：移动终端在完成单批次采集任务后，将在本地进行网页数据的解析和抽取，并按一定量进行执行特定的压缩算法，所述一定量为根据设备的所在网络情况执行的定量层级选择，对网络条件较好的移动设备，按定义的高限执行分批压缩传输，反之，按定义的低限执行分批压缩传输。所述的特定的压缩算法，根据设备的CPU处理性能选择性处理，对CPU性能较高的设备，执行高压缩率高计算度的压缩算法，反之，执行低压缩率低计算度的压缩算法，目的是保证压缩和传输过程不影响同步进行的采集和抽取、解析工作，使之保持一定的平衡；

步骤S305：服务端在接收到移动端发来的数据后，执行解压和排重操作，如果在传输过程中出现网络或其他原因导致的部分任务上传失败，则如果移动端在限定的时间区间内，完成任务上传，则数据正常入服务端分析并存储，如果移动端没有在限定的时间区间内，完成任务上传，则服务端将认为该部分任务没有被顺利完成，将自动分配给其他移动终端处理。

上述步骤S305过程中，如果网络恢复后移动端上传了已经被服务端分配给其他移动端处理的任务，则系统将进行排重处理。

Claims (4)

1.一种分布式的基于可移动设备的大规模数据采集系统，其特征在于，包括移动终端子系统、服务管理子系统，其中：

所述移动终端子系统部署在电视盒子、手机、Pad不同类型的移动终端设备上，包括数据采集器、数据处理器、状态控制器，

其中：所述数据采集器不间断从服务管理子系统申请采集任务以及不同采集任务的执行要求，所述采集任务包括列表页任务和内容页任务，执行采集任务后，采集的数据即时传递给数据处理器；

所述数据处理器对数据采集器采集后的数据进行网页数据的解析、抽取，然后打包并传输到服务管理子系统的数据分析器，数据处理器协同服务管理子系统的中央控制器，对不同的移动终端设备，执行不同的数据压缩与传输策略，所述数据压缩与传输策略为：如果移动终端设备的CPU处理性能和网络传输能力较强，则执行较高效的数据压缩格式，处理较多的单次压缩数量，反之，则执行较为低效的本地压缩格式和较少的单次压缩数量；

所述状态控制器记录当前移动终端设备上采集任务的CPU占用情况、内存占用情况、上行网络占用情况、下行网络占用情况、任务完成时间，以及所述当前移动终端设备上其他活跃任务的CPU、内存和网络占用情况，并按固定的时间间隔发送给服务管理子系统的设备管理器，同时接受服务管理子系统的中央控制器对移动终端设备的状态控制与变更；

所述服务管理子系统部署在大型服务器上，包括设备管理器、任务管理器、数据分析器、中央控制器，其中：

所述设备管理器，用于管理所有接入分布式网络的移动终端设备，并监控记录其运行状态与任务完成效率，监控记录的数据定时发送给中央控制器做评估分析，设备管理器远程控制移动终端设备的软件更新与数据处理的策略调整，当移动终端设备连接上网络时，自动访问服务管理子系统的设备管理器，检查版本更新情况，如有新版本，自动下载升级；当设备管理器通过移动终端设备的状态控制器发送来的记录显示数据采集任务已经影响到其他活跃任务时，将自动降低任务申请频度和压缩算法，释放移动设备的部分处理能力，当其他任务出现空闲时，则自动提高处理频度；

所述任务管理器，用于对所有待采集任务进行分类、评估以及任务完成效率反馈分析，形成一个包含采集间隔、待采集任务期望耗时的有序化列表，所述任务管理器可以对所有待采集的列表页任务和内容页任务进行管理控制，当移动终端设备上的数据采集器申请采集任务时，任务管理器将联系设备管理器查询该移动终端设备的网络位置及性能情况，在待处理任务中选择性能匹配的任务分配给移动终端设备，分配的原则包括内容页优先、移动终端设备所在网络点位置与待采集网页所在的站点通信响应时间较短的优先、移动设备处理单位任务处理性能较强的获取更多任务量；所述数据分析器，用于处理移动终端子系统传输来的经过解析压缩处理的网页数据，对数据进行解压、分类和进一步的清洗过滤；

所述中央控制器，用于统筹管理设备管理器、任务管理器、数据分析器，并与移动终端子系统进行通信，分配任务、分析任务执行情况、处理异常情况。

2.根据权利要求1所述的一种分布式的基于可移动设备的大规模数据采集系统，其特征在于，所述移动终端子系统，可以部署在具备主流移动操作系统的移动终端设备上，利用其分散性的优势和闲置网络，执行数据采集、加工的任务。

3.根据权利要求1所述的一种分布式的基于可移动设备的大规模数据采集系统，其特征在于，

所述移动终端子系统的数据处理器，通过平衡算法动态调整单次数据传输的数量和压缩方式，降低服务端对上行带宽消耗的同时，确保采集的数据能够及时传输到所述服务管理子系统；所述平衡算法为通过对所述移动终端设备性能及网络情况的监测与记录，辅以相应处理能力的任务量、压缩方式、单次传输数量，以实现所在设备性能的有效化处理。

4.根据权利要求1所述的一种分布式的基于可移动设备的大规模数据采集系统，其特征在于，所述移动管理子系统的状态控制器，根据当前设备的性能监测情况，控制任务的执行强度与计算强度，避免影响正在该设备上执行的其他任务的有效运行。