CN103248641A - 网络下载方法、装置及系统 - Google Patents

Abstract

本发明适用于网络技术领域，提供了一种网络下载方法及装置，包括获取获取客户端发送的网址；提取所述网址对应的下载信息，所述下载信息包括所述网址对应的网页中所包含的资源的下载链接及描述信息；将所述下载信息返回给所述客户端，以使所述客户端根据所述下载信息进行下载。本发明由服务器端完成对网页中下载地址的嗅探和解析，当用户需要下载某个网页中的资源时，即可以通过服务器端获取到该网页中所包含的下载地址以进行下载，客户端不需要对下载软件进行重新升级，大大简化了用户下载流程，提升了用户下载体验。

Description

网络下载方法、装置及系统

技术领域

本发明属于网络技术领域，尤其涉及一种网络下载方法、装置及系统。

背景技术

互联网用户每天需要从网络下载大量的应用软件、图片、音视频等资源，目前主流的下载工具使用的下载技术为点对服务器和点(Peer to Server&Peer，P2SP)技术，其下载原理如图1所示。

以软件下载为例，通常的软件下载网站页面结构复杂且广告链接干扰严重，用户很难从密密麻麻、花花绿绿的下载页面中准确地定位到真正的下载链接；再以音视频下载为例，其在影音网站中往往以流媒体的形式进行在线播放，真实的下载地址因为使用了脚本文件或者跳转封装等技术而被隐藏，用户很难直接找到下载链接。

针对上述情况，现有的一些下载软件通过在客户端进行下载地址嗅探，以使其客户端根据网站页面的文件结构来抽取所需的下载地址，一定程度上满足了用户的下载需求。然而，现有技术存在以下缺陷：1、一旦下载网站改版，网站的页面结构发生了变化，则上述下载软件便无法正确地从页面中提取所需的下载地址，只能通过对客户端进行升级才能顺利完成下载，影响了用户的下载行为；2、客户终端类型多样，下载软件的嗅探方法很难通用，需要针对不同的客户端开发不同的嗅探方法，增加了开发成本。

发明内容

本发明实施例的目的在于提供一种网络下载方法，旨在解决现有的下载软件无法适应网站的页面结构变化的问题。

本发明实施例是这样实现的，一种网络下载方法，应用于服务器端，包括：

获取客户端发送的网址；

提取所述网址对应的下载信息，所述下载信息包括所述网址对应的网页中所包含的资源的下载链接及描述信息；

将所述下载信息返回给所述客户端，以使所述客户端根据所述下载信息进行下载。

本发明实施例的另一目的在于提供一种网络下载方法，应用于客户端，包括：

向服务器端发送网址，以使所述服务器端提取并返回所述网址对应的下载信息，所述下载信息包括所述网址对应的网页中所包含的资源的下载链接及描述信息；

接收所述服务器端返回的下载信息；

根据返回的下载信息进行下载。

本发明实施例的另一目的在于提供一种网络下载装置，位于服务器端，包括：

网址获取单元，用于获取客户端发送的网址；

下载信息提取单元，用于提取所述网址对应的下载信息，所述下载信息包括所述网址对应的网页中所包含的资源的下载链接及描述信息；

下载信息返回单元，用于将所述下载信息返回给所述客户端，以使所述客户端根据所述下载信息进行下载。

本发明实施例的另一目的在于提供一种网络下载装置，位于客户端，包括：

发送单元，用于向服务器端发送网址，以使所述服务器端提取并返回所述网址对应的下载信息，所述下载信息包括所述网址对应的网页中所包含的资源的下载链接及描述信息；

接收单元，用于接收所述服务器端返回的下载信息；

资源下载单元，用于根据返回的下载信息进行下载。

本发明实施例基于客户端和服务器端的系统架构，由服务器端完成对网页中下载地址的嗅探和解析，当用户需要下载某个网页中的视频、音频或者软件等资源时，即可以通过服务器端获取到该网页中所包含的下载地址以进行下载，因此，即使网站进行改版，客户端也不需要对下载软件进行重新升级，同样能够获取到准确的下载地址，大大简化了用户下载流程，提升了用户下载体验。

附图说明

图1是现有技术提供的P2SP下载原理示意图；

图2是本发明第一实施例提供的网络下载系统的架构框图；

图3是本发明第二实施例提供的网络下载方法服务器端的实现流程图；

图4是本发明第二实施例步骤S302的具体实现流程图；

图5是本发明第三实施例提供的网络下载方法的实现流程图；

图6是基于网页模板的下载信息抽取的原理图；

图7本发明第四实施例提供的网络下载方法客户端的实现流程图；

图8是本发明第五实施例提供的网络下载装置的结构图。

图9是本发明实现示例提供的网络下载方法的实现原理图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例基于客户端和服务器端的系统架构，由服务器端完成对网页中下载地址的嗅探和解析，当用户需要下载某个网页中的视频、音频或者软件等资源时，即可以通过服务器端获取到该网页中所包含的下载地址以进行下载，因此，即使网站进行改版，客户端也不需要对下载软件进行重新升级，同样能够获取到准确的下载地址，大大简化了用户下载流程，提升了用户下载体验。

图2示出了本发明第一实施例提供的网络下载系统的架构，为了便于说明，仅示出了与本实施例相关的部分。

参照图2，该网络下载系统包括服务器端21和至少一个客户端22，两者间通过网络进行通信，且服务器端21可以为多个不同的功能服务器组成的服务器系统，其中，客户端22向服务器端21提供包含了下载链接的网页对应的网址，服务器端21根据用户提供的网址，将该网址对应的网页中所包含的资源的下载链接及每个下载链接相应的描述信息均返回给客户端22，由客户端22根据相应的下载链接直接进行资源下载。

图3示出了本发明第二实施例提供的网络下载方法的实现流程，在本实施例中，流程的执行主体为本发明第一实施例中网络下载系统的服务器端，详述如下：

在步骤S301中，获取客户端发送的网址。

在步骤S302中，提取所述网址对应的下载信息，所述下载信息包括所述网址对应的网页中所包含的资源的下载链接及描述信息。

在本实施例中，下载信息包括但不限于各个网址对应的网页中所包含的各类网络资源的下载链接及描述信息。每个网址对应的下载信息可以通过在服务器端预设的数据库中查询获取，或者通过服务器端下载每个网址所对应的网页并嗅探出该网页中所包含的下载地址来获取，具体的实现方式将在后续实施例中进行详细说明，在此不赘述。

在步骤S303中，将所述下载信息返回给所述客户端，以使所述客户端根据所述下载信息进行下载。

在本实施例中，客户端接收到服务器端返回的下载信息，即可以根据该下载信息中的相应的资源描述信息，选择需要下载的资源的下载链接以进行下载，具体地，客户端可以通过点对P2SP等技术，从原始链接、点对点(Peer to Peer，P2P)网络、第三方镜像等辅助源分别下载数据，并通过完整文件的唯一标识(例如MD5或者SHA)把下载的数据统一串联起来。由于一个网页中所包含的可下载的资源通常有多个，作为本发明的一个具体实现方式，服务器端返回的下载信息可以以列表的方式发送给客户端，下载链接与相应的资源描述信息一一对应，以方便用户根据需要选择下载。

图4示出了本发明第二实施例步骤S302的具体实现流程，详述如下：

在步骤S401中，查询预设的数据库中是否包含所述网址对应的下载信息，是则执行步骤S402，否则执行步骤S403。

在步骤S402中，从所述数据库中获取所述网址对应的下载信息。

在本实施例中，预设的数据库位于服务器端，其预先保存了一些网址对应的下载信息，服务器端通过接收客户端发送的网址，在数据库中进行查询，查询数据库中是否记录了该网址对应的下载信息，若预设的数据库中包含了该网址对应的下载信息，则根据该网址即可以查询到。而对于预设的数据库，其中的下载信息通过服务器端对网页进行相关的嗅探而获取到。

在步骤S403中，嗅探出所述网址对应的下载信息。

在本实施例中，若通过客户端提供的网址，在预设的数据库中没有查询到相关的下载信息，则在服务器端进行该网址对应的下载信息的嗅探后，将嗅探出的下载信息返回给客户端。具体地，嗅探下载信息有流媒体加载获取和信息抽取两种方式，将在本发明第三实施例中进行详细阐述，在此不赘述。

作为本发明的一个实施例，在步骤S403之后，将嗅探出的下载信息与所述网址关联后存入预设的数据库，以方便其他客户端在进行该网页的文件下载时，能够直接从数据库中获取到下载信息。

作为本发明的一个实施例，在将嗅探出的下载信息与所述网址关联并存入预设的数据库后，会为该网址所关联的下载信息附加一个时间戳，用于对应一个时间点，以记录该下载信息的更新时间。根据当前的时间戳，在之后的一段预设期限内(例如15天)，均不对该网址所关联的下载信息进行更新，而当超过了预设期限时，则由服务器端主动对该网址所关联的下载信息进行重新提取以更新数据库中的相关信息，使客户端能够获取到该网址最新的下载信息。

作为本发明的另一个实施例，服务器端也可以在客户端发起返回该网址关联的下载信息的请求时，通过查询该时间戳以判断该下载信息是否已过期，是则重新提取该网址所关联的下载信息并更新，否则直接返回数据库中记录的下载信息。本实施例相比于一旦时间戳超期即重新提取下载信息的方法，能够在需要返回下载信息时再对下载信息进行更新，更好地节省了系统资源。

在本实施例中，对网页中下载信息的嗅探是由服务器端完成的，而不是通过客户端应用程序完成的，因此，当网站的文件结构或者网页模板发生变化时，由服务器端来对相应的变化进行下载信息嗅探策略的升级，而客户端应用程序无需为此作出任何改变，使得任一客户端均可以及时地准确地获取到所需的下载地址，大大简化了用户的下载流程，提升了下载体验。

图5示出了本发明第三实施例提供的网络下载方法的实现流程，其是对本发明实施例步骤S403的详细阐述，流程的执行主体为本发明第一实施例中网络下载系统的服务器端，详述如下：

在步骤S501中，下载所述网址对应的网页。

服务器端根据客户端提供的网址，通过域名地址(Domain Name System，DNS)解析服务器获取到该网址所对应的网页真实地址，并从该地址中下载该网页。

在步骤S502中，加载网页中的流媒体文件以获取所述流媒体文件的下载信息。

针对网页中包含了流媒体文件的情况，属于网页中隐藏的下载链接，并不在网页代码中体现出来，但由于流媒体文件需要在网页中进行在线播放，那么必然会有真实的下载链接隐藏在发送到本地的网络资料包里，因此，只需截获相关的网络资料包并加以分析，即能够获取到该流媒体文件的下载信息。

在具体的实现中，可以将服务器端的网卡设置为监听混杂模式，使其具备监听和截取网络底层数据报文的能力。此时，若有数据经过网卡，则能够嗅探出网络报文和请求并进行相应处理，即能够分析出这些数据的文件格式及其真实的下载地址。在默认设置下，通常能够嗅探出rm、rmvb、avi等几十种格式的文件，且通过自定义格式还能够扩展嗅探能力。

在步骤S503中，将所述网页与预设的网页模板进行匹配得到匹配模板，并根据所述匹配模板在所述网页中定位并获取下载信息。

对于同一个网站中的网页，其结构往往被数量较少的固定的网页模板所承载，具有相同的页面结构。在网页的动态更新过程中，其内容会发生相应变化，但其页面结构却相对稳定。对于需要提取下载信息的网页，通过匹配相应的网页模板，在该网页模板中定位需要抽取的下载信息并转化为结构化数据，即可以从该网页中提取出相应的下载信息

在本实施例中，基于网页模板的下载信息抽取原理如图6所示，其过程分为网页抓取和数据抽取两个阶段，其中，网页抓取阶段即对应上述步骤S501中的网页下载的步骤，通过下载网页，获取到该网页的文本标记语言(HypertextMarkup Language，HTML)。

在数据抽取阶段，jTidy工具将HTML转换为可扩展超文本标记语言(Extensible Hypertext Markup Language，XHTML)。在此，jTidy工具用于规范化网页格式，例如修正网页中非规范的语法(比如将<br>修改为<br/>，自动补齐缺少的</table>)，与此同时，其还将网页解析为一棵文档对象模型(Document Object Model，DOM)树(DOM树以面向对象的方式描述一个文档模型，其以一种独立于平台和语言的方式表示和修改一个文档所包含的对象，以及这些对象的行为和属性、这些对象之间的关系。在此，DOM树用于树形地表示相应网页上的数据和结构)。在获取到网页的XHTML后，通过将其与预设的网页模板进行匹配得到匹配模板，并根据该匹配模板将XHTML转换为可扩展标记语言(Extensible Markup Language，XML)。在此，网页模板可以为可扩展样式表语言(Extensible Stylesheet Language，XSL)模板，其定位了相关网页中下载地址的位置。之后通过Xpath(一种用于在XML文档中查找信息的语言，用于在XML文档中通过元素和属性进行导航，获得数据引用节点，从而定位XML文档当中的元素和属性)正向扫描该XML，构造一个HaspMap散列表，键对应XML标签，键值对应标签内容，该键值即为该网页中所包含的下载信息。由此，该网页便转换为了结构化数据，而网页结构的变化在上述过程中却不会产生系统代码的修改，具备通用性。

需要注意的是，在网页中出现广告内容干扰的时候，在模板的选择上要注意去除广告等噪声以净化网页，提高下载信息提取的准确度。同时，在抽取中文描述的下载信息时，由于网页编码有GB2312、UTF-8、ISO-8859-1等方式，因此需要从文件中按照字节读取，统一转换为预设的编码方式后再进行下载信息的抽取。

需要说明的是，对于上述下载信息抽取的原理并不是本发明的重点，因此在此仅简单说明原理，不再深入赘述。

在本实施例中，一旦网站进行了升级，网页结构发生了变化，即可以为该网页匹配相应的更新的模板以完成下载信息抽取。由于模板的更新仅在服务器端完成即可，无需在客户端进行，因此，一旦网站进行了升级，则用户不需要对客户端应用程序进行相应升级，大大简化了用户的下载流程。

需要说明的是，在本实施例中，步骤S502与步骤S503并没有先后的顺序关系，而是针对网页中隐藏的下载信息，则通过步骤S502来实现下载信息的提取，而针对网页中非隐藏的下载信息，则通过步骤S503来实现下载信息的提取。

图7示出了本发明第四实施例提供的网络下载方法的实现流程，在本实施例中，流程的执行主体为本发明第一实施例中网络下载系统的客户端，详述如下：

在步骤S701中，向服务器端发送网址，以使所述服务器端提取并返回所述网址对应的下载信息，所述下载信息包括所述网址对应的网页中所包含的资源的下载链接及描述信息。

在步骤S702中，接收所述服务器端返回的下载信息。

其中，服务器端返回的下载信息可以为多个下载信息的集合。

在步骤S703中，根据返回的下载信息进行下载。

具体地，客户端依据服务器端返回的下载信息选择相应的下载链接，并启动相应的P2SP下载过程，即可以从原始地址中下载需要的文件，在下载完成后，客户端会对下载完成的数据文件进行管理和校验以确保下载数据的正确性，与此同时将相关的下载统计信息上报给服务器端。

图8示出了本发明第五实施例提供的网络下载装置的结构框图，为了便于说明，仅示出了与本实施例相关的部分。

如图8所示，该网络下载装置运行于如图1所示的网络下载系统中，且分别位于服务器端和至少一个客户端上，在服务器端上，各装置可以位于同一服务器中，也可以根据需要将不同的单元分布在不同的功能服务器(例如页面资源查询服务器、网页下载服务器、网页地址解析服务器或者网页索引服务器)上以实现不同的模块功能，其具体包括：

网址获取单元81，获取客户端发送的网址。

下载信息提取单元82，提取所述网址对应的下载信息，所述下载信息包括所述网址对应的网页中所包含的资源的下载链接及描述信息；

下载信息返回单元83，将所述下载信息返回给所述客户端，以使所述客户端根据所述下载信息进行下载。

具体地，下载信息提取单元82包括：

查询子单元821，查询预设的数据库中是否包含所述网址对应的下载信息；

数据库获取子单元822，当所述数据库中包含了所述网址对应的下载信息，则从所述数据库中获取所述网址对应的下载信息；

嗅探子单元823，当所述数据库中未包含所述网址对应的下载信息，则嗅探出所述网址对应的下载信息。

还包括：

存储子单元824，将嗅探出的下载信息与所述网址关联后存入所述数据库。

所述嗅探子单元823包括：

下载子单元8231，下载所述网址对应的网页。

流媒体加载子单元8232，加载所述网页中的流媒体文件以获取所述流媒体文件的下载信息。

信息抽取子单元8233，将所述网页与预设的网页模板进行匹配得到匹配模板，并根据所述匹配模板在所述网页中定位并获取下载信息。

而在客户端上，包括了：

发送单元84，向服务器端发送网址，以使所述服务器端提取并返回所述网址对应的下载信息，所述下载信息包括所述网址对应的网页中所包含的资源的下载链接及描述信息。

接收单元85，接收所述服务器端返回的下载信息。

资源下载单元86，根据返回的下载信息进行下载。

作为本发明的一个实现示例，图9示出了当图8的各装置分布在不同的功能服务器上时，本发明实施例提供的网络下载方法的实现原理图，从图9中容易看出，本发明实施例提供的网络下载方法通过服务器端对网页中的下载地址进行嗅探和解析，很好地解决了现有的下载软件由客户端完成对网页中的下载地址进行嗅探和解析，从而无法适应网站的页面结构变化的问题。

本发明实施例基于客户端和服务器端的系统架构，由服务器端完成对网页中下载地址的嗅探和解析，当用户需要下载某个网页中的视频、音频或者软件等资源时，即可以通过服务器端获取到该网页中所包含的下载链接以进行下载，因此，即使网站进行改版，客户端也不需要对下载软件进行重新升级，同样能够获取到准确的下载链接，大大简化了用户下载流程，提升了用户下载体验。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种网络下载方法，其特征在于，应用于服务器端，包括：

获取客户端发送的网址；

提取所述网址对应的下载信息，所述下载信息包括所述网址对应的网页中所包含的资源的下载链接及描述信息；

将所述下载信息返回给所述客户端，以使所述客户端根据所述下载信息进行下载。

2.如权利要求1所述的方法，其特征在于，所述提取所述网址对应的下载信息的步骤包括：

查询预设的数据库中是否包含所述网址对应的下载信息；

当所述数据库中包含了所述网址对应的下载信息，则从所述数据库中获取所述网址对应的下载信息；否则嗅探出所述网址对应的下载信息。

3.如权利要求2所述的方法，其特征在于，还包括：

将嗅探出的下载信息与所述网址关联后存入所述数据库。

4.如权利要求2所述的方法，其特征在于，所述嗅探出所述网址对应的下载信息包括：

下载所述网址对应的网页；

加载所述网页中的流媒体文件以获取所述流媒体文件的下载信息。

5.如权利要求2所述的方法，其特征在于，所述嗅探出所述网址对应的下载信息包括：

下载所述网址对应的网页；

将所述网页与预设的网页模板进行匹配得到匹配模板，并根据所述匹配模板在所述网页中定位并获取下载信息。

6.一种网络下载方法，其特征在于，应用于客户端，包括：

向服务器端发送网址，以使所述服务器端提取并返回所述网址对应的下载信息，所述下载信息包括所述网址对应的网页中所包含的资源的下载链接及描述信息；

接收所述服务器端返回的下载信息；

根据返回的下载信息进行下载。

7.一种网络下载装置，其特征在于，位于服务器端，包括：

网址获取单元，用于获取客户端发送的网址；

下载信息提取单元，用于提取所述网址对应的下载信息，所述下载信息包括所述网址对应的网页中所包含的资源的下载链接及描述信息；

下载信息返回单元，用于将所述下载信息返回给所述客户端，以使所述客户端根据所述下载信息进行下载。

8.如权利要求7所述的装置，其特征在于，所述下载信息提取单元包括：

查询子单元，用于查询预设的数据库中是否包含所述网址对应的下载信息；

数据库获取子单元，用于当所述数据库中包含了所述网址对应的下载信息，则从所述数据库中获取所述网址对应的下载信息；

嗅探子单元，用于当所述数据库中未包含所述网址对应的下载信息，则嗅探出所述网址对应的下载信息。

9.如权利要求8所述的装置，其特征在于，所述下载信息提取单元还包括：

存储子单元，用于将嗅探出的下载信息与所述网址关联后存入所述数据库。

10.如权利要求8所述的装置，其特征在于，所述嗅探子单元包括：

下载子单元，用于下载所述网址对应的网页；

流媒体加载子单元，用于加载所述网页中的流媒体文件以获取所述流媒体文件的下载信息。

11.如权利要求10所述的方法，其特征在于，所述嗅探子单元还包括：

信息抽取子单元，用于将所述网页与预设的网页模板进行匹配得到匹配模板，并根据所述匹配模板在所述网页中定位并获取下载信息。

12.一种网络下载装置，其特征在于，位于客户端，包括：

发送单元，用于向服务器端发送网址，以使所述服务器端提取并返回所述网址对应的下载信息，所述下载信息包括所述网址对应的网页中所包含的资源的下载链接及描述信息；

接收单元，用于接收所述服务器端返回的下载信息；

资源下载单元，用于根据返回的下载信息进行下载。

Images