CN106021248A - 一种元搜索引擎相关的视频文件下载系统及方法 - Google Patents

Abstract

本发明公开了一种元搜索引擎相关的视频文件下载系统及方法，该系统设有基础信息设置单元、叠加网单元、视频文件搜索单元与视频文件下载单元，所有单元或软件模块均部署在客户端操作，以弱化现有的下载装置对中心服务器或检索数据库的依赖，并充分利用元搜索引擎的发展，开展视频文件的下载。该系统充分利用元搜索引擎与独立搜索引擎的对应关系发现文件源地址，并对目标文件进行同一资源的多个地址搜索，通过多源下载技术进行目标资源的并行下载与合并。做到了既利用各类搜索引擎的发展，提高搜索结果的准确度；又利用多源下载技术提供更快、更稳定的下载服务。

Description

一种元搜索引擎相关的视频文件下载系统及方法

技术领域

本发明涉及一种元搜索引擎相关的视频文件下载系统及方法，属于互联网资源下载的技术领域。

背景技术

随着网络的普及与发展，人们不但通过网络享受越来越多的服务，而且信息的获取也变得更为高效。网络上的数据格式是繁多的，除了基于Web格式的数据，其他数据类型往往需要下载后才能使用，例如电子书，MP3，应用/游戏安装包等，因此，下载是用户最主要的上网行为之一。

随着网络应用及网络用户的大量增加，由于传统的中心化的文件存储服务器需要对非常多的用户访问提供支持，使得负载均衡问题成为这类下载技术的最大瓶颈。这种情况下，以资源分散、负载均衡和非中心化为特点的对等网络P2P(Peerto Peer)技术在文件共享领域得到了广泛应用，该技术的特征是以客户端身份下载了文件的对等端，随后，又以服务器身份使这些文件供其他对等端使用。P2P技术可以充分利用结点之间互相传递数据、合作下载的方式提高网络中传送大容量文件的效率。

虽然P2P技术是以去中心化为研究重点，但其连接的不可控性使得基于该技术的在线下载缺乏稳定性。为了结合P2S模式与P2P模式的网络下载的优势，出现了一种所谓用户对服务器与用户模式的P2SP(Peer to Server and Peer)技术。P2SP有效地把原本孤立的服务器与其镜像资源以及P2P资源都整合在一起。也就是说，在下载的稳定性和下载的速度上，都比传统的P2P或P2S都有了非常大的提高。

搜索引擎的出现，大大提高了人们对互联网信息检索的能力和效率，已经成为当前最普遍的辅助人们检索信息的工具。而元搜索引擎是通过一个统一的界面将用户检索请求同时发送给多个搜索引擎，再将它们的各自搜索结果汇集在一起返回给用户的搜索技术。它综合了多个独立搜索引擎的搜索结果，从而提高了搜索结构在整个网络资源上的覆盖率，省去了用户自己逐个调用不同搜索引擎进行查询的麻烦。但是，该类搜索引擎与通用搜索引擎都是向用户提供海量的无序网页，并且，用同一模式服务于不同用户，这样的通用性无法满足用户有差别的个性化需求。

发明内容

有鉴于此，本发明的目的是提供一种元搜索引擎相关的视频文件下载系统及方法，本发明充分利用互联网的元搜索引擎技术来发现文件源地址，以减弱软件本身对中心服务器的依赖性。一方面，利用各类搜索引擎的发展，提高文件下载地址的搜索效率。另一方面利用多源下载技术提供更快的稳定的下载服务。

为了达到上述目的，本发明提供了一种元搜索引擎相关的视频文件下载系统，其特征在于，所述系统设有基础信息单元、叠加网单元、视频文件搜索单元与视频文件下载单元，其中：

基础信息单元，用户通过搜索引擎的提示信息，完成个性化的搜索参数与下载参数的设置，并提供用户操作接口界面和存储各种设置参数与文件，同时使用多个跟踪接入服务器，定期上报用户使用搜索引擎的信息更新情况，根据跟踪接入服务器上报的负载信息，选择合适的服务器地址和端口返回给请求接入的客户端；基础信息单元设有五个模块：搜索设置模块、跟踪接入服务模块、下载设置模块、用户界面模块和用户数据库；

叠加网单元，通过叠加网节点完成客户端加入对等网络P2P叠加网的操作，确认自身所属的P2P叠加网节点的路由表与对方P2P叠加网节点的路由表一致，如不一致时触发修复功能，同时维护和管理P2P叠加网的信息与用户文件，叠加网单元设有七个模块：发送模块、接收模块、初始化模块、确认模块、修复模块、信息维护模块和文件管理模块；

视频文件搜索单元，完成文件下载地址的搜索，元搜索引擎根据用户输入的搜索请求提取搜索关键词；元搜索引擎将该搜索关键词发送到其调用的每个独立搜索引擎；接收每个独立搜索引擎返回的搜索结果，根据保存的每个独立搜索引擎对应视频文件的权重系数，根据可用性原则与优选原则对获取到的地址进行筛选确定每个搜索结果的排名；将确定排名后的搜索结果提供给用户，设有五个模块：文本类型确定模块、发送模块、排名模块、判断模块和拆分模块；

视频文件下载单元，完成文件的下载操作，设有并行下载和资源合成的两个模块，并行下载模块根据获取关于与所述系统连接的所述多个节点的块可用性的信息；如果所述多个节点中的任一节点请求下载文件，则将在构成所述文件的各块中块可用性值最小的块优先下载至所述任一节点，其中关于块可用性的信息包括有关所述多个节点中的各节点的活动率的信息和有关计算出的构成所述文件的各块的可用性值的信息中的至少一个；资源合成模块用于将并行下载模块获取的文件信息进行整合处理，形成完整的文件后，交由叠加网单元的文件管理模块进行存储。

为了达到上述目的，本发明还提供了一种元搜索引擎相关的视频文件下载方法，其特征在于：所述系统在用户的选择和操作下，利用元搜索引擎定位目标文件与进行同一资源的多个地址搜索，再通过叠加节点以及多源下载技术进行目标资源的并行下载与整合处理；其中，用户可以基于基础信息单元设置资源的地址与搜索模式，以满足用户的个性化需求；所述方法包括下列操作步骤：

基础信息单元根据用户输入完成搜索参数与下载参数的设置，将设置的参数存储于用户数据库，并使用多个跟踪接入服务器，定期上报用户使用搜索引擎的信息更新情况；

用户单元根据用户输入完成搜索参数与下载参数的设置，并将设置的参数存储于用户数据库；

通过叠加网节点的确认的路由表信息，完成客户端的P2P叠加网的入网和更新路由表；

搜索单元将用户输入的检索词按照各个独立搜索引擎的要求格式分发出去，并根据每个独立搜索引擎返回的搜索结果，根据保存的每个独立搜索引擎对应所述文本类别的权重系数，确定每个搜索结果的排名，然后将该返回结果转换成统一的格式；

基础信息单元将用于定位型文件地址的搜索结果列表，供用户选择；

搜索单元根据用户选择的下载地址进行相同文件其他地址的搜索，且每个独立搜索引擎对应所述文本类别的权重系数对搜索结果进行筛选，选择优化的下载地址；

搜索单元根据用户定位的下载地址和设置的下载参数，执行多个文件地址的并行下载和文件整合的操作；

在下载过程中和完成下载后，叠加网单元执行资源保存与文件共享信息发布的操作。

本发明与现有技术相比的优势在于：

本发明是借鉴P2SP思路，基于元搜索引擎技术，充分获取并利用了互联网上大量的FTP服务器和文件服务器作为共享文件的提供中心，以P2P叠加网文件共享为辅助下载中心，为多源下载提供快捷、稳定的服务。

本发明通过元搜索引擎同时获取多个成员搜索引擎的搜索结果，并能够根据检索内容的不同，合理地选取相应的搜索引擎，从而提高了搜索结果的覆盖度和检索的准确性，降低了检索内容的重复率。

本发明装置的文件下载地址的发现是基于现有的搜索引擎，运行在客户端。因此，本发明基于元搜索引擎的互联网资源的多源下载装置脱离了对集中式多媒体检索数据库的依赖，能够最大限度地利用搜索引擎的发展，进行互联网下载应用；同时解决了搜索资源的覆盖面和下载源的稳定等问题。

Claims (11)

1.一种元搜索引擎相关的视频文件下载系统，其特征在于，所述系统设有基础信息单元、叠加网单元、视频文件搜索单元与视频文件下载单元，其中：

基础信息单元，用户通过搜索引擎的提示信息，完成个性化的搜索参数与下载参数的设置，并提供用户操作接口界面和存储各种设置参数与文件，同时使用多个跟踪接入服务器，定期上报用户使用搜索引擎的信息更新情况，根据跟踪接入服务器上报的负载信息，选择合适的服务器地址和端口返回给请求接入的客户端；基础信息单元设有五个模块：搜索设置模块、跟踪接入服务模块、下载设置模块、用户界面模块和用户数据库；

叠加网单元，通过叠加网节点完成客户端加入对等网络P2P叠加网的操作，确认自身所属的P2P叠加网节点的路由表与对方P2P叠加网节点的路由表一致，如不一致时触发修复功能，同时维护和管理P2P叠加网的信息与用户文件，叠加网单元设有七个模块：发送模块、接收模块、初始化模块、确认模块、修复模块、信息维护模块和文件管理模块；

视频文件搜索单元，完成文件下载地址的搜索，元搜索引擎根据用户输入的搜索请求提取搜索关键词；元搜索引擎将该搜索关键词发送到其调用的每个独立搜索引擎；接收每个独立搜索引擎返回的搜索结果，根据保存的每个独立搜索引擎对应视频文件的权重系数，根据可用性原则与优选原则对获取到的地址进行筛选确定每个搜索结果的排名；将确定排名后的搜索结果提供给用户，设有五个模块：文本类型确定模块、发送模块、排名模块、判断模块和拆分模块；

视频文件下载单元，完成文件的下载操作，设有并行下载和资源合成的两个模块，并行下载模块根据获取关于与所述系统连接的所述多个节点的块可用性的信息；如果所述多个节点中的任一节点请求下载文件，则将在构成所述文件的各块中块可用性值最小的块优先下载至所述任一节点，其中关于块可用性的信息包括有关所述多个节点中的各节点的活动率的信息和有关计算出的构成所述文件的各块的可用性值的信息中的至少一个；资源合成模块用于将并行下载模块获取的文件信息进行整合处理，形成完整的文件后，交由叠加网单元的文件管理模块进行存储。

2.根据权利要求1所述的一种元搜索引擎相关的视频文件下载系统，其特征在于：所述基础信息单元中的各软件模块功能如下：

搜索设置模块，用于完成元搜索引擎以及独立搜索引擎、向用户显示的结果总数和每个独立搜索引擎的返回结果占本次搜索总条数的比例的各种搜索参数的选择和设置，并将设置的搜索参数存储于用户数据库；

跟踪接入服务模块，包括跟踪接入管理服务器，用于根据所述多个跟踪接入服务器上报的负载信息，选择合适的跟踪接入服务器的地址和端口返回给请求接入的客户端；跟踪应用服务器信息获取单元，用于从所述跟踪接入管理服务器定期获取访问跟踪应用服务器的分组策略和地址信息；跟踪应用服务器配置信息维护单元，用于维护跟踪接入服务器访问跟踪应用服务器的分组配置信息，并且将所述配置信息返回给请求查询的跟踪接入服务器；

下载设置模块，用于完成包括用户执行下载操作的网络类型、超级节点地址、下载或上传的传输带宽与速度限制，有关文件的哪个块属于所述多个节点当中的哪个节点的信息，有关所述多个节点中的各节点的活动率的信息、有关计算出的构成所述文件的各块的可用性值的信息和有关快可用性信息，以及下载文件的分块原则的选择和设置，并将设置的下载参数存储于用户数据库；

用户界面模块，用于提供用户人机交互界面，将用户的检索请求转换为元搜索引擎以及独立搜索引擎所能理解的格式，根据检索内容及格式的不同，选择合适的搜索引擎；搜索设置模块和下载设置模块都是经由该界面接收用户输入的相关设置参数；

用户数据库，负责存储用户设置的各种搜索参数和下载参数，以及叠加网节点存储以及返回的路由表信息和下载的文件内容。

3.根据权利要求1所述的一种元搜索引擎相关的视频文件下载系统，其特征在于：所述叠加网单元中的各软件模块功能如下：

发送单元，用于向对方P2P叠加网节点发送保活请求消息/保活响应消息；

接收单元，用于接收对方P2P叠加网节点发送保活响应消息/保活请求消息；其中，所述保活消息中携带有所述P2P叠加网节点的路由表信息，所述保活响应消息中携带有所述需保活的P2P叠加网节点的路由表信息；

初始化模块，利用用户数据库中保存的超级节点完成客户端加入P2P叠加网的入网操作，如果超级节点不可用，则利用用户数据库中保存的路由表内节点信息加入P2P叠加网；执行路由表的初始化和更新操作，再把更新后的路由表存储于用户数据库；所述路由表内存储有叠加网内的邻居节点信息；

确认模块，用于在P2P叠加网节点之间进行保活时，确认自身所属的P2P叠加网节点的路由表是否与对方P2P叠加网节点的路由表一致，不一致时触发修复单元；

修复模块，用于对自身所属的P2P叠加网节点的路由表进行修复；信息维护模块，根据初始化、确认且修复后的路由表完成P2P叠加网内其他邻居节点的文件信息的维护和查找，以及本地文件信息的发布；

文件管理模块，完成客户端视频文件的存储及上传，并通过信息维护模块将文件信息在叠加网内进行发布。

4.根据权利要求1所述的一种元搜索引擎相关的视频文件下载系统，其特征在于：所述视频文件搜索单元中各软件模块功能如下：

文本类别确定模块，用于根据用户输入的搜索请求提取搜索关键词，确定该搜索关键词对应的文本类别；

发送模块，用于将该搜索关键词发送至其调用的每个独立搜索引擎，并将确定排名的搜索结果提供给所属用户；

排名模块，用于接受每个独立搜索引擎返回的搜索结果，根据保存的每个独立搜索引擎对应所述文本类别的权重系数，确定每个搜索结果的排名；

判断模块，用于判断所述搜索关键词的长度是否不大于独立搜索引擎搜索关键词的长度阈值；

拆分模块，用于当所述搜索关键词的长度大于独立搜索引擎搜索关键词的长度阈值时，将所述的关键词拆分成至少两个子句。

5.根据权利要求1所述的一种元搜索引擎相关的视频文件下载系统，其特征在于：在搜索下载型地址过程中，根据可用性原则与优选原则对获取到的下载或链接地址进行筛选时，所述可用性原则是对获取的下载或链接地址随机下载部分文件，如果链接不能连通，或者该部分文件与目标链接的对应文件块不对应，则标明不符合该原则，放弃该地址；优选原则是根据下载型地址所对应的逻辑地址信息和连接的时间延迟进行优化。

6.一种元搜索引擎相关的视频文件下载方法，其特征在于：所述系统在用户的选择和操作下，利用元搜索引擎以及独立搜索引擎定位目标视频文件与进行同一资源的多个地址搜索，再通过叠加节点以及多源下载技术进行目标资源的并行下载与整合处理；其中，用户可以基于基础信息单元设置资源的地址与搜索模式，以满足用户的个性化需求；所述方法包括下列操作步骤：

基础信息单元根据用户输入完成搜索参数与下载参数的设置，将设置的参数存储于用户数据库，并使用多个跟踪接入服务器，定期上报用户使用搜索引擎的信息更新情况；

通过叠加网节点的确认的路由表信息，完成客户端的P2P叠加网的入网和更新路由表；

搜索单元将用户输入的检索词按照各个独立搜索引擎的要求格式分发出去，并根据每个独立搜索引擎返回的搜索结果，根据保存的每个独立搜索引擎对应所述文本类别的权重系数，确定每个搜索结果的排名，然后将该返回结果转换成统一的格式；

基础信息单元将用于定位型文件地址的搜索结果列表，供用户选择；

搜索单元根据用户选择的下载地址进行相同文件其他地址的搜索，并每个独立搜索引擎对应所述文本类别的权重系数对搜索结果进行筛选，选择优化的下载地址；

搜索单元根据用户定位的下载地址和设置的下载参数，执行多个文件地址的并行下载和文件整合的操作；

在下载过程中和完成下载后，叠加网单元执行资源保存与文件共享信息发布的操作。

7.根据权利要求6所述的一种元搜索引擎相关的视频文件下载方法，其特征在于：所述步骤中的搜索参数与下载参数的设置操作是在下载之前完成的。

8.根据权利要求6所述的一种元搜索引擎相关的视频文件下载方法，其特征在于：所述步骤中的客户端加入对等网络P2P叠加网的操作是通过叠加网节点完成，只要确认自身所属的P2P叠加网节点的路由表与对方P2P叠加网节点的路由表一致，就可以利用在客户端固化的叠加网超级节点进行入网操作。

9.根据权利要求6所述的一种元搜索引擎相关的视频文件下载方法，其特征在于：所述步骤进一步包括下列操作内容：

元搜索引擎根据用户输入的搜索请求提取搜索关键词，基于用户选择的检索内容，采用分类分组法选择元搜索引擎中的搜索引擎：系统预先设置的该信息类别，再在各类别下分别列出供用户选择、设定的搜索引擎组合，以提高搜索效率和准确度；

元搜索引擎将该搜索关键词发送到其调用的每个独立搜索引擎；

接收每个独立搜索引擎返回的搜索结果，根据保存的每个独立搜索引擎对应视频文件的权重系数，根据可用性原则与优选原则对获取到的地址进行筛选确定每个搜索结果的排名；

将确定排名后的搜索结果提供给用户。

10.根据权利要求6所述的一种元搜索引擎相关的视频文件下载方法，其特征在于：所述步骤中的搜索进一步包括下列操作内容：

判断所述搜索关键词的长度是否不大于独立搜索引擎搜索关键词的长度阈值；

当所述搜索关键词的长度不大于独立搜索引擎搜索关键词的长度阈值时，进行所述的将该搜索关键词发送到每个独立搜索引擎的步骤；

当所述搜索关键词的长度大于独立搜索引擎搜索关键词的长度阈值时，将所述的关键词拆分成至少两个子句；

根据可用性原则与优选原则对获取到的下载地址或链接地址进行筛选；所述可用性原则是对获取的地址链接随机下载部分文件，如果链接不能连通，或者该部分文件与目标链接的对应文件块不对应，则表明不符合该原则，放弃该地址链接；优选原则是根据下载型地址所对应的逻辑地址信息和连接的时间延迟进行优化。

11.根据权利要求6所述的一种元搜索引擎相关的视频文件下载方法，其特征在于：所述步骤进一步包括下列操作内容：

根据文件大小和下载文件的分块原则，设定满足一定冗余性的下载分块原则，并从对应链接独立进行文件分块下载；

对下载完成的分块进行整合处理，在整合过程中进行数据校验。