CN102307210B - 一种数据下载系统及其数据管理和下载方法 - Google Patents

Abstract

本发明涉及互联网信息技术领域，具体涉及一种支持离线及协同操作的数据下载系统及其数据管理和下载方法。本发明每个客户端作为整个数据下载系统的探针从互联网中收集不同的下载源，各种下载源信息全部存入云下载中心的下载元数据库；用户使用下载源进行下载时，文件的元数据信息，包括类型、描述信息、关键字、长度、MD5码相关信息也全部存入下载元数据库；用户下载时，客户端从云下载中心的下载元数据库中获取各下载源信息，基于不同协议从不同的下载源获取文件的片断，并在完成后由客户端把文件合成为最终的文件。本发明有效解决了下载速度等问题，可以广泛应用于互联网或系统内部的数据下载中。

Description

一种数据下载系统及其数据管理和下载方法

技术领域

本发明涉及互联网信息技术领域，具体涉及一种支持离线及协同操作的数据下载系统及其数据管理和下载方法。

背景技术

云计算是虚拟化(Virtualization)、效用计算(Utility Comput ing)、IaaS(基础设施即服务)、PaaS(平台即服务)、SaaS(软件即服务)等概念混合演进并跃升的结果。它提供了一个全新的互联网商业服务模型，即用户可以通过网络以按需、易扩展的方式租用所需的服务。云计算技术利用高速互联网的传输能力，将计算、存储、软件、服务等资源从分散的个人计算机或服务器移植到互联网中集中管理的大规模高性能计算机、个人计算机、虚拟计算机中，从而使用户像使用电力一样使用这些资源。云计算表述了一种新的计算模式：应用、数据和IT资源以服务的方式通过网络提供给用户使用。云计算有三个显著特点：一是按需租用；二是在广大范围的用户广泛协同及资源共享；三是资源有效的调配。

文件下载一直是互联网中最广泛的应用，各种各样的数据类型如音乐、电影、电子书等通过不同的网站途径进行发布，然后通过文件下载在互联网范围内广泛交换。各种各样的文件传输及下载方式应运而生，如FTP、HTTP等。各种下载工具也得到了大量应用，如CuteFTP、网络蚂蚁、FlashGet等。这些工具有这样的特点，即它们只是构建了从文件资源的发布端(服务器)到下载终端的下载通道，即单点到单点的下载，忽略了互联网中广泛存在的多个可能的下载源。P2P(点对点)技术无疑是互联网技术的一场革命，它是文件传输及信息交换从单点(服务器)-单点(下载终端)，演变为单点(P2P服务器)-多点(P2P终端)-单点(下载终端)的形式。使互联网的文件交换速度有了质的飞跃，最常见的P2P下载终端如BitTorrent，它显著改变了文件服务器支持的下载数量及终端的下载速度。

随着互联网中信息量的不断增长，互联网中信息冗余度越来越大。如一部电影文件可能有多个下载源，如果能在用户下载时可以利用多个下载源，将下载模式演变为多点-多点-单点的形式，互联网的中文件的下载速度将会再次获得质的飞跃。国内下载文件提供商，如迅雷、腾讯等在这个领域做了一定的探索。

发明内容

本发明解决的技术问题之一在于针对当前互联网信息传输的不足，提出一种数据下载系统，可以支持协同及离线操作的多点到多点下载。

本发明解决的技术问题之二在于提供一种数据管理方法，便于多点到多点的数据下载。

本发明解决的技术问题之三在于提供一种数据下载方法，可以实现多点到多点下载，该方法具有高协同性、高效率、强鲁棒性、强安全性和绿色节能等特点。

本发明解决上述技术问题之一的技术方案是：

包括云下载中心、客户端和互联网下载源；

所述的云下载中心由多个下载中心(C1、C2…，CN)组成，每个下载中心为下载客户端提供下载源信息，并存储互联网下载源的数据副本；

所述的客户端可以是C/S结构客户端(D1、D2…，DX)或是B/S结构客户端节点(B1、B2…，BX)；

所述的互联网下载源包含所有第三方提供的数据下载源(S1、S2…，SN)，云下载中心通过对下载源分析，对提供相同文件副本的下载源进行归并；

任意一个所述的下载客户端可以同时从具有相同目标下载文件的互联网下载源(SI，SJ，…SM)，以及云下载中心中具有目标下载文件的一个或多个下载中心(CI，CJ，…CT)，以及具有相同目标下载文件的C/S结构下载客户端(DI，DJ，…，DZ)或B/S结构下载客户端(BI，BJ，…，BS)中下载文件；

多个下载中心在地理上分布在多个不同的数据中心中；

任意所述的下载中心由用户管理组件、用户数据库、下载链接管理组件、文件下载组件、服务空间组件、离线下载服务组件、下载元数据库管理组件、下载元数据库、下载数据副本管理组件、下载副本存储系统组成，各组件和模块可以独立或共同部署在一台或多台服务器上；

用户管理组件用于对云下载中心的用户进行统一的管理，用户从客户端登录时与用户管理组件进行交互，以验证用户的合法性；用户所有下载操作都将被客户端记录，并上传到用户数据库；如果用户未登录或注册，客户端将为用户生成临时游客身份登录客户端；

下载链接管理组件用于接收用户的下载链接请求，它直接将链接的查询、更新、删除操作请求转发给下载元数据库管理组件，下载元数据库管理组件直接操作下载元数据库，对存储在下载元数据库中的下载链接进行查询和更新；该组件接到用户的下载链接请求后，首先查询下载元数据库判断该链接是否已经存在于下载元数据库；如果已经存储于下载元数据库中，则查找与该链接关联的所有下载源，并将下载源集合提交给客户端的文件下载组件，由该组件同时从多个下载源进行下载；如果下载元数据库中不存在该链接，则返回空集合给下载客户端，客户端的文件下载组件下载该文件，并提取该文件MD5码，并将该MD5码返回给下载链接管理组件，下载链接管理组件查询下载元数据库判断是否有相同的MD5码存在于下载元数据库，如有则该MD5码对应文件的链接可以与其它下载元数据库中的下载链接归并；如没有相同的MD5码，则作为全新的下载链接存储于下载元数据库；

文件下载组件支持多种协议下载包括P2P、FTP、HTTP及自定义多对一下载协议下载；它可以将文件下载任务分解到不同的下载源，同时从各下载源下载文件的不同部份，并在各部份完成后，把它们合成为一个文件；用于实现多对一下载，即支持从多个数据源并行下载；用于支持离线下载服务组件；下载的文件作为文件副本交由下载数据副本管理组件进行管理，文件副本存储于支持海量文件存储管理的下载副本存储系统；

服务空间组件是B/S架构的用户信息管理，发布及更新组件；客户端用户信息、操作记录、历史信息、在线存储、离线下载均由服务空间组件进行管理和更新；服务空间组件引入文件标记、上下文管理、下载源评价/注释，以丰富用户体验；

离线下载服务组件用于实现用户的离线下载任务，用户提交给离线下载服务组件的任务，不需要由用户客户端直接下载，而是由离线下载服务组件启动下载中心的文件下载组件进行下载，并在下载完成后，由用户客户端从下载中心取回。

所述的客户端部署在用户计算机或手机上，它作为下载资源控针，从互联网上找到下载源；作为支持多种下载协议的下载终端，利用不同协议从数据下载系统提供的多个数据源下载不同的文件片断，并在下载完成后完成文件的拼接，形成最终的下载文件。

所述的客户端由用户/任务管理组件、客户端数据库、下载链接捕捉组件、下载源获取及验证组件、文件下载/杀毒组件、下载文件管理组件和文件上传组件组成；

用户/任务管理组件，用于实现用户信息管理，用户登录后与云下载中心联系，以验证用户身份；用户登录后所有的下载操作都与用户身份关联，并记录在客户端数据库中；如果用户没有登录，数据下载系统为用户随机生成唯一身份标识，以游客的身份进入系统；用户提交的下载的任务管理也由用户/任务管理组件进行，它在下载链接捕获组件捕捉到新的下载链接后，创建新的下载任务，并启动文件下载/杀毒组件进行下载；文件的下载进度也由该组件定时更新到用户界面中；用户信息，用户下载信息均被存储到客户端本地的客户端数据库中，库中所有信息同时在云下载中心中进行保存；

下载链接捕获组件监控客户端本地计算机的剪贴板，当剪贴板中出现以ftp、http、https或自定义协议链接头开头的字串时，本地系统启动下载客户端，建立新的下载任务开始进行下载；

下载源获取及验证组件，在客户端创建新的下载任务后，与下载中心的下载链接管理组件进行交互，获取与下载链接对应文件相同的下载源；如果返回的结果集合不空，则对集合中所有下载源的有效性进行验证，验证是否可以取得数据，形成可取得数据的下载源的列表；如果返回的下载源集合为空，则作为一个全新的下载链接进行下载；

文件下载/杀毒组件用于实现下载任务的下载，它支持同时从多个下载源下载文件片断，并组合成最终文件；文件下载完成后，它启动杀毒客户端，以判断文件是否安全；文件下载/杀毒组件下载完成的文件交由下载文件管理组件进行管理，文件路径，注释，标记均由下载文件管理组件进行管理；当下载文件更名/移动/删除后，由下载文件管理组件进行更新，以保证客户端下载源信息的有效性；

文件上传组件用于实现客户端文件的上传，当本客户端已经下载了相关文件并存储于本地后，如后续有其它的客户端下载该文件，则其它客户端从下载元数据库中查到本客户端曾有下载记录，则与本客户端通信确定其是否在线，并验证链接是否有效；如有效，则其他客户端的文件下载/杀毒组件，则与本客户端的文件上传组件进行数据交换，取得所需的文件片段。

本发明解决上述技术问题之二的技术方案是：

采用分布式数据库的形式进行存储和管理，数据库分为多个级别，索引级别视所管理的链接数据库而定；

系统按照下载链接的关键字建立树状索引，用户提交的下载链接，经过树状索引分配到不同的云下载中心上进行查询；链接中存在IP地址的下载链接作为一种特殊的链接；不同的索引通过归并分布在不同的云下载中心上。

所述数据下载系统的下载元数据库中包括下载链接元数据表、客户端下载源数据表、数据库镜像元数据表；

所述下载链接元数据表的字段描述如下：

UUID：系统为每一个文件下载链接将产生唯一的UUID(识别码)，该字段作为主字段用于与其它各表建立关联，以及本表的索引和排序；

下载URL：即下载源的具体下载链接，在下载元数据库中任何两条记录的下载URL是不相同的；

下载源的描述信息：是一个复合字段，该信息来自于下载链接html语言部份的描述字段，或用户对于该下载源的注释信息；

入库时间：该下载链接进入下载元数据库中的时间；

上次使用时间：上次该链接被提交到下载元数据库中进行查询或更新的时间，系统将设置一个阈值，以确定该链接是否过期；如过期，则该信息需要验证，则该下载源则具有较低的优先级；

更新时间：最后一次系统更新下载源的信息的时间；

MD5码：下载完成后提取的该文件的MD5码；

用户标记：用户给与该下载的标记信息，包括下载后的文件名、评论、分类信息；

可用性：该下载源最后一次下载时是否可用，如果该下载源的信息长期无人使用，且系统未更新，并被标记为不可用；则从下载元数据库中删除该下载源的记录；因为下载源可能出现临时故障，或短期内不在线，通过上次使用时间，更新时间，以及可用性的组合，来保证系统不误删除有用的信息；

所述的客户端下载源数据表有两个特殊的字段；

IP：客户端下载源用IP地址来标记客户端的互联网位置信息，以使客户端与客户端间能够交互；

端口：由于部分客户端使用相同的公网IP地址，该字段标记该客户端与云下载中心可通信的端口号。

本发明解决上述技术问题之三的技术方案是：

每个客户端作为整个数据下载系统的探针从互联网中收集不同的下载源，各种下载源信息全部存入云下载中心的下载元数据库；用户使用下载源进行下载时，文件的元数据信息，包括类型、描述信息、关键字、长度、MD5码也全部存入下载元数据库；用户下载时，客户端从云下载中心的下载元数据库中获取各下载源信息，基于不同协议从不同的下载源获取文件的片断，并在完成后由客户端把文件合成为最终的文件。

用户客户端参与云下载，即支持本机文件作为下载源，本机也将作为一个数据源加入下载元数据库。

文件杀毒终端对该文件的检测信息也将存入下载元数据库，如果判断该文件携带病毒将对应链接标注为危险链接，并在其它用户试图下载该文件时进行报警，提示用户危险。

系统支持离线下载操作，对于用户客户端提出的离线下载请求，客户端将下载请求转交给云下载中心执行完成，云下载中心首先查询本次请求的内容在云下载中心上是否存在，如有直接将文件链接写入用户空间；如没有，则由离线下载服务组件启动下载任务对文件进行下载；离线下载的下载任务全部在云下载中心上完成，任务完成后用户可以登录客户端，从离线下载服务组件直接下载文件。

本发明具有以下效果及优点：

1、高协同性

传统的下载方法只能从一个下载源进行下载，下载速度慢，并且经常因为下载源失效而无法下载。本方法通过将客户端作为探针，广泛地从互联网中获得多个下载源，通过从多个下载源进行下载，有效地体现了云下载的高协同性。

2、高效率

传统的下载方法只能从一个原始数据源获取数据，即使是P2P方法也只是有一原始的数据源。本方法提供的下载系统，可以将多个原始数据源进行组合，同时支持P2P、HTTP、FTP等不同下载模式，通过把下载任务分解到多个数据源(以及下载模式上)，从而极大提高了下载效率。

3、强鲁棒性

传统的下载方法由于只有一个下载源，如果该下载源失效或服务质量下降，用户终端将会受到很大的影响。本方法提供的多对多下载模型，将下载源的冗余度提高了n倍，在提高了系统的下载速度的同时，使系统具备了强鲁棒性。

4、强安全性

传统的方法对于下载文件的安全无法进行有效的监测。本方法提供的下载系统，可以将单个下载端的文件查毒信息与所有下载用户共享，使系统在下载前就可以判断文件的安全性，从而使整个平台具有高安全性。

5、绿色节能

本下载系统提供离线下载功能，通过设置高速下载服务器，代替用户终端进行下载，下载文件可以在文件服务器共享。避免了每个下载终端下载同一文件都需要经过长时间的下载，从而从总体上降低了社会下载成本，实现绿色节能的目标。

附图说明

下面结合附图对本发明进一步说明：

图1是本发明云下载系统构成图；

图2是本发明云下载系统模块图；

图3是本发明下载链接元数据库树状索引；

图4是本发明下载元数据库表结构。

具体实施方式

如图1所示，本发明所创建的云数据下载系统为两个主体部份：即云下载中心C，客户端D，互联网下载源S。云下载中心C由多个下载中心(C1、C2…，CN)组成，每个下载中心通过下载元数据库记录下载源地址，并存储互联网下载源的数据副本。客户端可以是C/S结构客户端(D1、D2…，DX)也可以是B/S结构客户端节点(B1、B2…，BX)，B/S结构客户端一般基于ActiveX控件或Java插件形式实现，其与数据中心的交互模式与C/S客户端相同，因此对于云下载中心无需区别B/S或C/S架构客户端。互联网下载源S包含所有第三方提供的数据下载源(S1、S2…，SN)，云下载中心通过对下载源分析，对提供相同文件副本的下载源进行归并。对于任意一个客户端，在云下载中心中，它可以同时从具有相同目标下载文件的互联网下载源(SI，SJ，…SM)，以及云下载中心中具有目标下载文件的一个或多个下载中心(CI，CJ，…CT)，以及具有相同目标下载文件的下载客户端(DI，DJ，…，DZ)或(BI，BJ，…，BS)中下载文件，由于下载源的数量远多于传统的下载方法，因此下载的速度和成功率远有了较大的改善。

云下载中心由多个下载中心组成，它主要功能如下：

(1)为下载客户端提供下载源信息：所有的客户端捕获的下载源都会提交给下载中心，以确定是否是新下载源，以及有无可用的其它冗余下载源供客户端进行多对一下载。

(2)提供可作为备用下载源的文件副本：在法律允许的前提下，所有客户端下载的数据副本都会在下载中心同时保存一个副本，以备其它用户下载使用。

(3)提供下载源安全验证信息：客户端下载任务完成后，与客户端关联的杀毒软件会被启动，以验证文件是否安全。验证信息将会同时提交给下载中心，如果文件是不安全的，如带有病毒或木马。该下载文件的链接将会被标记为不安全，后续其它用户的下载任务将被警告。

(4)提供离线下载功能的支持：用户的下载任务可以交给本地客户端的下载组件进行下载，也可以将给服务器端的下载组件进行离线下载。离线下载完成后，下载中心将留有一个数据副本，用户下次登录后，可以直接从服务器端获取信息。

(5)提供客户端用户管理功能的支持：用户客户端的下载信息，历史记录，用户信息将被提交给下载中心进行管理。

多个下载中心CI，可以在地理上分布在多个不同的数据中心中。它们通过交换元数据信息，以提高信息量，下载目标冗余度以及客户端下载速度。

如图2所示，对于任意下载中心CI由用户管理组件01，用户数据库011，下载链接管理组件02，文件下载组件03，服务空间组件04，离线下载服务组件05，下载元数据库管理组件021，下载元数据库022，下载数据副本管理组件031，下载副本存储系统032组成。各组件和模块可以独立或共同部署在一台或多台服务器上。

用户管理组件01用于对云下载中心的用户进行统一的管理。用户从客户端登录时与用户管理组件01进行交互，以验证用户的合法性。用户所有下载操作都将被客户端记录，并上传到数据库。如果用户未登录或注册，客户端将为用户生成临时游客身份登录客户端。

下载链接管理组件02用于接收用户的下载链接请求，它直接将链接的查询、更新、删除操作请求转发给元数据库管理组件021，下载元数据库管理组件021直接操作元数据库022，对存储在元数据库中的下载链接的查询和更新。该组件接到用户的下载链接请求后，首先查询元数据库022判断该链接是否已经存在于元数据库。如果已经存储于元数据库022中，则查找与该链接关联的所有下载源，并将下载源集合提交给客户端的文件下载组件14，由该组件14同时从多个下载源进行下载；如果元数据库中不存在该链接，则返回空集合给下载客户端，客户端下载组件14下载该文件，并提取该文件MD5码，并将该MD5码返回给下载链接管理组件02，下载链接管理组件查询数据库判断是否有相同的MD5码存在于数据库，如有则该链接可以与其它下载链接归并；如没有相同的MD5码，则作为全新的下载链接存储于元数据库。元数据库的数据字段结构如图3所示。

文件下载组件03支持多种协议下载包括P2P，FTP，HTPP及自定义多对一下载协议下载。它可以将文件下载任务分解到不同的下载源，同时从各下载源下载文件的不同部份，并在各部份完成后，把它们合成为一个文件。云下载中心CI的文件下载组件03与客户端下载组件14功能相似，主要用于实现多对一下载，即支持从多个数据源并行下载。云下载中心CI的文件下载组件03主要用于支持离线下载组件05。下载组件03下载的文件作为文件副本交由下载数据副本管理组件031进行管理，文件副本存储于支持海量文件存储管理的下载副本存储系统032中。

服务空间组件04是B/S架构的用户信息管理，发布及更新组件。下载客户端用户信息、操作记录、历史信息、在线存储、离线下载等相关信息均由服务空间组件04进行管理和更新。服务空间组件04引入文件标记、上下文管理、下载源评价/注释等相关功能，以丰富用户体验。

离线下载服务组件05用于实现用户的离线下载任务，用户提交给离线下载服务组件05的任务，不需要由用户客户端直接下载，而是由离线下载服务组件05启动下载中心的文件下载组件03进行下载，并在下载完成后，由用户客户端从下载中心取回。

客户端D部署在用户计算机或手机上，它主要有两个功能：

(1)作为下载资源控针，从互联网上找到下载源。任何用户凡是通过客户端下载的文件都被提交给系统的下载链接管理组件02，并记录在下载元数据库022中，作为系统下载文件时的冗余数据源。

(2)作为支持多种下载协议的下载终端，利用不同协议从平台提供的多个数据源(如互联上公开发布的数据源、已完成下载的其它用户终端)下载不同的文件片断，并在下载完成后完成文件的拼接，形成最终的下载文件。

下载客户端D的C/S结构客户端采用独立开发模式作为独立应用程序运行；B/S架构客户端采用Java插件或ActiveX控件形式开发。客户端D通过终端用户安装广泛部署在用户的个人电脑、手机终端等各种终端上。每个客户端DX随机生成唯一编号，结合客户端IP、客户端登录用户名等信息唯一标识一个客户端。这种方法可以区分在使用同一外问IP的局网内不同的终端。

用户客户端DI或BI包含以下组件：用户/任务管理组件11，客户端信息库111，下载链接捕捉组件12，下载源获取及验证组件13，文件下载/杀毒组件14，文件下载管理组件141，文件上传组件15组成。

用户/任务管理组件11，用于实现用户信息管理，用户登录后与云下载中心CX联系，以验证用户身份。用户登录后所有的下载操作都与用户身份关联，并记录在历史信息数据库中。如果用户没有登录，服务器为用户随机生成唯一身份标识，以游客的身份进入系统。用户提交的下载的任务管理也由用户/任务管理组件进行，它在下载链接捕获组件12捕捉到新的下载链接后，创建新的下载任务，并启动文件下载/杀毒组件14进行下载。文件的下载进度也由该组件定时更新到用户界面中。用户信息，用户下载信息均被存储到客户端本地的客户端数据库111中，库中所有信息同时在云下载中心DX中进行保存。

下载链接捕获组件12监控客户端本地计算机的剪贴板，当剪贴板中出现以ftp，http，https(或自定义协议链接头)开头的字串时。本地系统启动下载客户端DX，建立新的下载任务开始进行下载。

下载源获取及验证组件12，在客户端创建新的下载任务后，与下载中心DX的下载链接管理组件02进行交互，获取与下载链接对应文件相同的下载源。如果返回的结果集合不空，则对集合中所有下载源的有效性进行验证，验证是否可以取得数据，形成可取得数据的下载源的列表。如取得的下载源中包括互联网的下载源集合，以及终端下载源集合。如果返回的下载源集合为空，则作为一个全新的下链接进行下载。

文件下载/杀毒组件14用于实现下载任务的下载，它支持同时从多个下载源下载文件片断，并组合成最终文件。文件下载完成后，它启动杀毒客户端，以判断文件是否安全。文件下载/杀毒组件14下载完成的文件交由下载文件管理组件141进行管理，文件路径，注释，标记等相关信息增均由下载文件管理组件141进行管理。当下载文件更名/移动/删除后，由该件更新相关信息，以保证客户端下载源信息的有效性。

文件上传组件15用于实现客户端文件的上传。当本客户端DI已经下载了相关文件并存储于本地后，如后续有其它的客户端DJ下载该文件，则DJ从元数据库中查到DI曾有下载记录，则与DI通信确定其是否在线，并验证链接是否有效。如有效，则DI的文件下载/杀毒组件14，则与DJ的文件上传组件15进行数据交换，取得所需的文件片段。

如图3所示，为下载元数据库022中对应的表字段，即本发明数据管理方法实施图例。下载元数据库022采用分布式数据库的形式进行存储和管理，数据库分为多个级别，索引级别视所管理的链接数据库而定。如图4所示系统按照下载链接的关键字建立树状索引，用户提交的下载链接，经过树状索引分配到不同的服务器上进行查询，以提高查询/更新的速度。链接中存在IP的下载链接作为一种特殊的链接；不同的索引通过归并分布在不同的服务器上。

下载元数据库022中包括下载链接元数据表，客户端下载源数据表，数据库镜像元数据表。下载元数据库中数据表的字段描述如下：

UUID：系统为每一个文件下载链接将产生唯一的UUID(标识符)，该字段作为主字段用于与其它各表建立关联，以及本表的索引和排序。

下载URL：即下载源的具体下载链接，在元数据库中任何两条记录的下载URL是不相同的。

下载源的描述信息：是一个复合字段，该信息来自于下载链接html语言部份的描述字段，或用户对于该下载源的注释信息。

入库时间：该下载链接进入元数据库中的时间。

上次使用时间：上次该链接被提交到数据库中进行查询或更新的时间，系统将设置一个阈值，以确定言该链接是否过期。如过期，则该信息需要验证，则该下载源则具有较低的优先级。

更新时间：最后一次系统更新该信息的时间。

MD5码：下载完成后提取的该文件的MD5码。

用户标记：用户给与该下载的标记信息，如下载后的文件名、评论、分类信息等。

可用性：该下载源最后一次下载时是否可用。如果该记录长期无人使用，且系统未更新，并被标记为不可用。则从元数据库中删除该信息。因为下载源可能出现临时故障，或短期内不在线，通过上次使用时间，更新时间，以及可用性的组合，来保证系统不误删除有用的信息。

对于客户端下载源有两个特殊的字段。

IP：客户端下载源用IP来标记客户端的互联网位置信息，以使客户端与客户端间能够交互。

端口：由于部分客户端使用相同的公网IP，该字段标记该客户端与云下载中心可通信的端口号。

文件使用下载客户端D下载完成后，系统提取下载文件的MD5码，系统按照MD5码检索各数据库建立视图或快表，将MD5相同的下载链接视为可归并的下载源，即相同的下载源。具有相同下载源的下载链接，在有新的下载请求时，可以将其它的下载链接作为下载源提供给用户。

本发明实施数据下载的方法是：客户端作为整个平台的探针从互联网中收集不同的下载源，各种下载源信息全部存入平台的元数据库；用户使用下载源进行下载时，该文件的元数据信息，包括类型、描述信息、关键字、长度、MD5码等相关信息也全部存入数据库；如果用户客户端参与云下载，即支持本机文件作为下载源，本机也将作为一个数据源加入数据库；用户下载时，客户端从平台的元数据中获取各下载源信息，基于不同协议从不同的下载源获取文件的片断，并在完成后由客户端把文件合成为最终的文件；文件杀毒终端对该文件的检测信息也将存入数据库，如果判断该文件携带病毒或木马将将对应链接标注为危险链接，并在其它用户试图下载该文件时进行报警，提示用户危险；平台支持离线下载操作，对于用户客户端提请的离线下载请求，终端将下载请求转交给服务器执行完成，服务器首先熊猫本次请求的内容在服务器上是否存在，如有直接将文件链接写入用户空间；如没有，则由离线下载服务组件启动下载任务对文件进行下载。离线下载的下载任务全部在服务器上完成，任务完成后用户可以登录客户端，从离线下载服务组件直接下载文件。

本发明中所述的云下载中心，作为云下载中心的服务器节点，其基本配置如表1所示。由于下载中心的任务繁忙，需要服务器有较高的配置。

CPU	内存	硬盘	操作系统	网络
					8×4核XEON(2.9G缓存)	4G/核	2T	CentOS或RedHat Linux	双1G网卡及以上交换机

表1云下载中心硬件及网络配置

作为下载客户端的PC机配置不做太高的要求，其基本配置如表2所示。

CPU	内存	硬盘	操作系统	网络
					Intel2核T5400	2G及以上	500G及以上	Windows操作系统	10M及以上交换机

表2宿主物理服务器的硬件及网络配置

本明将云计算、分布式数据库技术、多终端协同等相关技术进行了有效的结合，提出了一种支持协同及离线操作的云下载系统的实施方法。该系统的客户端不用像传统的客户端一样，只能从互联网中一个原始数据源获取信息；而是能够从互联网中所有提供相同MD5码的下载源中获取信息，包括互联网中广泛存在的冗余的下载源，以及本系统中其它曾经下载过该文件的终端。这样，用户终端从下载的速度，下载源的冗余性方面，有了较大的改善，从而提高了下载的效率。同时，该系统支持用户杀毒终端与文件下载集成，所有被标记为不安全的下载源信息，将存储在系统中，并在其它用户试图从该下载源中下载数据时阻止用户，从而提高了互联网中终端用户的安全性。该下载系统不仅适合于作为公有云服务服务所有互联网用户，也可以搭建在系统内部，以降低企业带宽浪费，提高文件交换效率，对于提高互联网中信息传播的速度具有重要意义。

Claims (10)

1.一种数据下载系统，其特征在于：包括云下载中心、客户端和互联网下载源；

所述的云下载中心由多个下载中心(C1、C2…，CN)组成，每个下载中心为下载客户端提供下载源信息，并存储互联网下载源的数据副本；

所述的客户端可以是C/S结构客户端(D1、D2…，DX)或是B/S结构客户端节点(B1、B2…，BX)；

所述的互联网下载源包含所有第三方提供的数据下载源(S1、S2…，SN)，云下载中心通过对下载源分析，对提供相同文件副本的下载源进行归并；

任意一个所述的下载客户端可以同时从具有相同目标下载文件的互联网下载源(SI，SJ，…SM)，以及云下载中心中具有目标下载文件的一个或多个下载中心(CI，CJ，…CT)，以及具有相同目标下载文件的C/S结构下载客户端(DI，DJ，…，DZ)或B/S结构下载客户端(BI，BJ，…，BS)中下载文件；

多个下载中心在地理上分布在多个不同的数据中心中；

任意所述的下载中心由用户管理组件、用户数据库、下载链接管理组件、文件下载组件、服务空间组件、离线下载服务组件、下载元数据库管理组件、下载元数据库、下载数据副本管理组件、下载副本存储系统组成，各组件和模块可以独立或共同部署在一台或多台服务器上；

用户管理组件用于对云下载中心的用户进行统一的管理，用户从客户端登录时与用户管理组件进行交互，以验证用户的合法性；用户所有下载操作都将被客户端记录，并上传到用户数据库；如果用户未登录或注册，客户端将为用户生成临时游客身份登录客户端；

下载链接管理组件用于接收用户的下载链接请求，它直接将链接的查询、更新、删除操作请求转发给下载元数据库管理组件，下载元数据库管理组件直接操作下载元数据库，对存储在下载元数据库中的下载链接进行查询和更新；该组件接到用户的下载链接请求后，首先查询下载元数据库判断该链接是否已经存在于下载元数据库；如果已经存储于下载元数据库中，则查找与该链接关联的所有下载源，并将下载源集合提交给客户端的文件下载组件，由该组件同时从多个下载源进行下载；如果下载元数据库中不存在该链接，则返回空集合给下载客户端，客户端的文件下载组件下载该文件，并提取该文件MD5码，并将该MD5码返回给下载链接管理组件，下载链接管理组件查询下载元数据库判断是否有相同的MD5码存在于下载元数据库，如有则该MD5码对应文件的链接可以与其它下载元数据库中的下载链接归并；如没有相同的MD5码，则作为全新的下载链接存储于下载元数据库；

文件下载组件支持多种协议下载包括P2P、FTP、HTTP及自定义多对一下载协议下载；它可以将文件下载任务分解到不同的下载源，同时从各下载源下载文件的不同部份，并在各部份完成后，把它们合成为一个文件；用于实现多对一下载，即支持从多个数据源并行下载；用于支持离线下载服务组件；下载的文件作为文件副本交由下载数据副本管理组件进行管理，文件副本存储于支持海量文件存储管理的下载副本存储系统；

服务空间组件是B/S架构的用户信息管理，发布及更新组件；客户端用户信息、操作记录、历史信息、在线存储、离线下载均由服务空间组件进行管理和更新；服务空间组件引入文件标记、上下文管理、下载源评价/注释，以丰富用户体验；

离线下载服务组件用于实现用户的离线下载任务，用户提交给离线下载服务组件的任务，不需要由用户客户端直接下载，而是由离线下载服务组件启动下载中心的文件下载组件进行下载，并在下载完成后，由用户客户端从下载中心取回。

2.根据权利要求1所述的数据下载系统，其特征在于：所述的客户端部署在用户计算机或手机上，它作为下载资源控针，从互联网上找到下载源；作为支持多种下载协议的下载终端，利用不同协议从数据下载系统提供的多个数据源下载不同的文件片断，并在下载完成后完成文件的拼接，形成最终的下载文件。

3.根据权利要求1或2所述的数据下载系统，其特征在于：所述的客户端由用户/任务管理组件、客户端数据库、下载链接捕捉组件、下载源获取及验证组件、文件下载/杀毒组件、下载文件管理组件和文件上传组件组成；

用户/任务管理组件，用于实现用户信息管理，用户登录后与云下载中心联系，以验证用户身份；用户登录后所有的下载操作都与用户身份关联，并记录在客户端数据库中；如果用户没有登录，数据下载系统为用户随机生成唯一身份标识，以游客的身份进入系统；用户提交的下载的任务管理也由用户/任务管理组件进行，它在下载链接捕获组件捕捉到新的下载链接后，创建新的下载任务，并启动文件下载/杀毒组件进行下载；文件的下载进度也由该组件定时更新到用户界面中；用户信息，用户下载信息均被存储到客户端本地的客户端数据库中，库中所有信息同时在云下载中心中进行保存；

下载链接捕获组件监控客户端本地计算机的剪贴板，当剪贴板中出现以ftp、http、https或自定义协议链接头开头的字串时，本地系统启动下载客户端，建立新的下载任务开始进行下载；

下载源获取及验证组件，在客户端创建新的下载任务后，与下载中心的下载链接管理组件进行交互，获取与下载链接对应文件相同的下载源；如果返回的结果集合不空，则对集合中所有下载源的有效性进行验证，验证是否可以取得数据，形成可取得数据的下载源的列表；如果返回的下载源集合为空，则作为一个全新的下载链接进行下载；

文件下载/杀毒组件用于实现下载任务的下载，它支持同时从多个下载源下载文件片断，并组合成最终文件；文件下载完成后，它启动杀毒客户端，以判断文件是否安全；文件下载/杀毒组件下载完成的文件交由下载文件管理组件进行管理，文件路径，注释，标记均由下载文件管理组件进行管理；当下载文件更名/移动/删除后，由下载文件管理组件进行更新，以保证客户端下载源信息的有效性；

文件上传组件用于实现客户端文件的上传，当本客户端已经下载了相关文件并存储于本地后，如后续有其它的客户端下载该文件，则其它客户端从下载元数据库中查到本客户端曾有下载记录，则与本客户端通信确定其是否在线，并验证链接是否有效；如有效，则其他客户端的文件下载/杀毒组件，则与本客户端的文件上传组件进行数据交换，取得所需的文件片段。

4.一种应用于权利要求1所述的数据下载系统的数据管理方法，其特征在于：采用分布式数据库的形式进行存储和管理，数据库分为多个级别，索引级别视所管理的链接数据库而定；

系统按照下载链接的关键字建立树状索引，用户提交的下载链接，经过树状索引分配到不同的云下载中心上进行查询；链接中存在IP地址的下载链接作为一种特殊的链接；不同的索引通过归并分布在不同的云下载中心上。

5.根据权利要求4所述的数据管理方法，其特征在于：所述数据下载系统的下载元数据库中包括下载链接元数据表、客户端下载源数据表、数据库镜像元数据表；

所述下载链接元数据表的字段描述如下：

UUID：系统为每一个文件下载链接将产生唯一的UUID(识别码)，该字段作为主字段用于与其它各表建立关联，以及本表的索引和排序；

下载URL：即下载源的具体下载链接，在下载元数据库中任何两条记录的下载URL是不相同的；

下载源的描述信息：是一个复合字段，该信息来自于下载链接html语言部份的描述字段，或用户对于该下载源的注释信息；

入库时间：该下载链接进入下载元数据库中的时间；

上次使用时间：上次该链接被提交到下载元数据库中进行查询或更新的时间，系统将设置一个阈值，以确定该链接是否过期；如过期，则该信息需要验证，则该下载源则具有较低的优先级；

更新时间：最后一次系统更新下载源的信息的时间；

MD5码：下载完成后提取的该文件的MD5码；

用户标记：用户给与该下载的标记信息，包括下载后的文件名、评论、分类信息；

可用性：该下载源最后一次下载时是否可用，如果该下载源的信息长期无人使用，且系统未更新，并被标记为不可用；则从下载元数据库中删除该下载源的记录；因为下载源可能出现临时故障，或短期内不在线，通过上次使用时间，更新时间，以及可用性的组合，来保证系统不误删除有用的信息；

所述的客户端下载源数据表有两个特殊的字段；

IP：客户端下载源用IP地址来标记客户端的互联网位置信息，以使客户端与客户端间能够交互；

端口：由于部分客户端使用相同的公网IP地址，该字段标记该客户端与云下载中心可通信的端口号。

6.一种应用于权利要求1所述数据下载系统的数据下载方法，其特征在于：

每个客户端作为整个数据下载系统的探针从互联网中收集不同的下载源，各种下载源信息全部存入云下载中心的下载元数据库；用户使用下载源进行下载时，文件的元数据信息，包括类型、描述信息、关键字、长度、MD5码也全部存入下载元数据库；用户下载时，客户端从云下载中心的下载元数据库中获取各下载源信息，基于不同协议从不同的下载源获取文件的片断，并在完成后由客户端把文件合成为最终的文件。

7.根据权利要求6所述的数据下载方法，其特征在于：用户客户端参与云下载，即支持本机文件作为下载源，本机也将作为一个数据源加入下载元数据库。

8.根据权利要求6或7所述的数据下载方法，其特征在于：

文件杀毒终端对该文件的检测信息也将存入下载元数据库，如果判断该文件携带病毒将对应链接标注为危险链接，并在其它用户试图下载该文件时进行报警，提示用户危险。

9.根据权利要求6或7所述的数据下载方法，其特征在于：系统支持离线下载操作，对于用户客户端提出的离线下载请求，客户端将下载请求转交给云下载中心执行完成，云下载中心首先查询本次请求的内容在云下载中心上是否存在，如有直接将文件链接写入用户空间；如没有，则由离线下载服务组件启动下载任务对文件进行下载；离线下载的下载任务全部在云下载中心上完成，任务完成后用户可以登录客户端，从离线下载服务组件直接下载文件。

10.根据权利要求8所述的数据下载方法，其特征在于：系统支持离线下载操作，对于用户客户端提出的离线下载请求，客户端将下载请求转交给云下载中心执行完成，云下载中心首先查询本次请求的内容在云下载中心上是否存在，如有直接将文件链接写入用户空间；如没有，则由离线下载服务组件启动下载任务对文件进行下载；离线下载的下载任务全部在云下载中心上完成，任务完成后用户可以登录客户端，从离线下载服务组件直接下载文件。