CN103684809B

CN103684809B - 一种网络资源管理方法、装置、客户端及系统

Info

Publication number: CN103684809B
Application number: CN201210315060.3A
Authority: CN
Inventors: 刘刚
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2012-08-30
Filing date: 2012-08-30
Publication date: 2018-02-27
Anticipated expiration: 2032-08-30
Also published as: US20150160996A1; CN103684809A; US9648135B2; WO2014032553A1

Abstract

本发明适用于网络技术领域，提供了一种网络资源管理方法及服务器、客户端，包括：接收客户端的错误报告，所述错误报告包括未通过所述客户端校验的数据分片的数据源；获取所述数据源的类别；当所述数据源为第一类别时，对所述数据源进行屏蔽；当所述数据源为第二类别时，指示所述数据源对所述数据分片所属的网络资源进行更新。本发明避免了由于网络资源的原始源出错导致客户端无法下载完整文件的情况发生，提高了下载的成功率。

Description

一种网络资源管理方法、装置、客户端及系统

技术领域

本发明属于网络技术领域，尤其涉及一种网络资源管理方法、装置、客户端及系统。

背景技术

点对服务器和点（Peer to Server and Peer，P2SP）技术利用了第三方服务器以及点对点（Peer-to-Peer，P2P）网络的数据源，使得下载过程不再只依赖于互联网服务提供商（Internet Service Provider，ISP）的源服务器，数据的传递可以在网络的各个终端中进行，相比于传统的点对服务器（Peer-to-Server，P2S）或者P2P等下载方式，下载稳定性和下载速度均有了很大的提高。

在P2SP技术中，由于数据来源于多个不同的数据源，因此为了保证下载结果的正确性，需要通过源服务器提供的分片校验信息对每个数据分片进行校验，当校验结果出现错误的时候，客户端只选择从源服务器进行下载，放弃从其他节点进行多源下载。然而，源服务器提供的数据源也可能会出错，以内容分发网络（Content Delivery Network，CDN）为例，其可能会出现每个节点内容发布不同步的情况，或者缓存内容更新不及时的情况，在上述情况下，用户即便从源服务器进行下载，也无法下载到正确的数据分片，导致整个文件总是无法下载完整。

发明内容

本发明实施例的目的在于提供一种网络资源管理方法，旨在解决现有的P2SP技术可能导致用户总是无法下载到完整文件的问题。

本发明实施例是这样实现的，一种网络资源管理方法，包括：

接收客户端的错误报告，所述错误报告包括未通过所述客户端校验的数据分片的数据源；

获取所述数据源的类别；

当所述数据源为第一类别时，对所述数据源进行屏蔽；

当所述数据源为第二类别时，指示所述数据源对所述数据分片所属的网络资源进行更新。

本发明实施例的另一目的在于提供一种网络资源管理方法，包括：

客户端从服务器端指示的数据源下载数据分片；

当所述数据分片未通过校验时，所述客户端向所述服务器端发送错误报告，所述错误报告包括所述数据源，被所述服务器端用于获取所述数据源的类别，以对所述数据源进行屏蔽或者指示所述数据源进行更新。

本发明实施例的另一目的在于提供一种网络资源管理装置，包括：

第一接收单元，用于接收客户端的错误报告，所述错误报告包括未通过所述客户端校验的数据分片的数据源；

获取单元，用于获取所述数据源的类别；

第一屏蔽单元，用于当所述数据源为第一类别时，对所述数据源进行屏蔽；

指示单元，用于当所述数据源为第二类别时，指示所述数据源对所述数据分片所属的网络资源进行更新。

本发明实施例的另一目的在于提供一种客户端，其特征在于，包括：

下载单元，用于从服务器端指示的数据源下载数据分片；

发送单元，用于当所述数据分片未通过校验时，向所述服务器端发送错误报告，所述错误报告包括所述数据源，被所述服务器端用于获取所述数据源的类别，以对所述数据源进行屏蔽或者指示所述数据源进行更新。

本发明实施例的另一目的在于提供一种网络资源管理系统，包括如上所述的网络资源管理装置；以及如上所述的客户端。

在本发明实施例中，服务器端通过接收客户端在下载过程中上报的错误报告，判断校验结果出错的数据分片所属的数据源的类别，以进一步对该数据源进行屏蔽或者指示该数据源进行更新，避免了由于网络资源的原始源出错导致客户端无法下载完整文件的情况发生，提高了下载的成功率。

附图说明

图1是本发明实施例提供的网络资源管理系统的架构框图；

图2是本发明实施例提供的网络资源管理方法服务器端的实现流程图；

图3是本发明实施例提供的网络资源管理方法服务器端步骤S204的实现流程图；

图4是本发明实施例提供的网络资源管理方法客户端的实现流程图；

图5是本发明实施例提供的网络资源管理装置的结构框图；

图6是本发明实现示例提供的网络资源管理方法的实现原理示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在本发明实施例中，服务器端通过接收客户端在P2SP下载过程中上报的错误报告，判断校验结果出错的数据分片所属的数据源的类别，以进一步对该数据源进行屏蔽或者指示该数据源进行更新，避免了由于网络资源的原始源出错导致客户端无法下载完整文件的情况发生，提高了下载的成功率。

图1示出了本发明实施例提供的网络资源管理系统的架构框图，为了便于说明，仅示出了与本实施例相关的部分。

参照图1，该系统基于客户端和服务器端的系统架构，包括服务器端11和至少一个客户端12，通过网络进行通信，且服务器端11可以为多个不同的功能服务器组成的服务器系统。

在P2SP技术中，一个文件以预定的大小被分成了若干数据分片，由于文件的数据分片不用按顺序下载，因此用户可以从多个物理节点同时下载同一网络资源的不同数据分片。在本发明实施例中，例如，当客户端1需要下载一个文件时，首先从相关的资源网站获取到该文件的统一资源定位符（Uniform Resource Locator，URL），并通过该URL从服务器端11获取到该文件的多个数据源及每个数据分片的分片校验信息等相关信息，并开始从服务器端11提供的多个数据源中下载不同的数据分片。该客户端1在下载过程中会将下载完成的数据分片通过服务器端11与其他客户端进行共享，以使其他客户端可以从该客户端1下载相应的数据分片。在上述过程中，服务器端11的重要作用之一即是对网络资源进行管理，有效地把原本孤立的服务器、镜像资源以及P2P资源融合到一起，以使每个客户端12能够获取到正确的数据源信息，完成多源下载。

图2示出了本发明实施例提供的网络资源管理方法的实现流程，在本实施例中，流程的执行主体为图1所示的服务器端11，详述如下：

在步骤S201中，接收客户端的错误报告，该错误报告包括未通过该客户端校验的数据分片的数据源。

客户端根据服务器端提供的多个数据源对网络资源进行P2SP下载，且客户端每下载完一个数据分片即会计算该数据分片的校验值（例如哈希（Hash）值），再将计算得到的校验值与服务器端提供的该数据分片的分片校验信息进行比较，判断该数据分片是否接收正确。

在本实施例中，当客户端下载的数据分片未通过校验时，客户端会向服务器端发送错误报告，该错误报告中包括了该数据分片的数据源，例如，该数据源的地址，以使服务器端能够获知网络资源错误的数据源。进一步地，错误报告还可以包括该数据分片的原始源、数据分片大小、校验值等分片信息。

在步骤S202中，获取该数据源的类别。

作为本发明的一个实施例，服务器端可以根据该数据源的地址来判断出该数据源是来自ISP、第三方服务器还是P2P网络节点。

作为本发明的另一实施例，由于每个数据源在为客户端提供下载之前，需要先将其能够提供的网络资源在服务器端进行登记入库，由服务器端来统计、管理该网络资源的所有数据源，以提供给客户端进行下载。因此，当网络资源在入库时，服务器端根据提供网络资源的数据源即可判断出该数据源的类别，并将该数据源与其相应的类别进行关联后存储进服务器端的数据库。

在本实施例中，数据源的类别可以包括第一类别和第二类别，其中，第一类别可以为运营类数据源，即该数据源作为ISP，将P2SP的下载平台作为其数字媒体内容的发布渠道，主动发布包括软件、游戏安装包、系统补丁、影音文件等在内的网络资源；第二类别可以为非运营类数据源，包括由服务器端通过爬虫系统从互联网上抓取到的提供网络资源的第三方服务器，或者为P2P网络中拥有网络资源的节点。

因此，在步骤S202中，服务器端根据客户端上报的错误报告中的数据源，即可在预设数据库中查找到该数据源的类别。

作为本发明的一个实施例，在服务器端将数据源与其相应的类别进行关联并存储进数据库的同时，还可以将该数据源与其相应的类别发送给客户端，以使客户端在发现存在未校验通过的数据分片，且该数据源为第一类别时，在客户端屏蔽该数据源，避免客户端继续从该数据源下载网络资源。

在步骤S203中，当该数据源为第一类别时，对该数据源进行屏蔽。

在本实施例中，当服务器端判断出数据源为第一类别，即为运营类数据源的时候，服务器端对该数据源进行屏蔽，在之后向其他客户端提供该网络资源的数据源的时候，即不会再向客户端发送该数据源，避免了该错误的数据源继续向客户端提供错误的数据分片，即避免了客户端从该数据源中下载错误的数据分片。

在步骤S204中，当该数据源为第二类别时，指示该数据源对该数据分片所属的网络资源进行更新。

通常，对于第二类别的数据源，即非运营类数据源来说，由于互联网上经常存在链接保持不变，但该链接对应的网络资源发生变化的情况。例如当软件发布的时候，对外下载链接已经公布了，但在发布前期发现软件有bug，此时会直接替换该下载链接所对应的文件，而不是连下载链接一同更新，此时，若客户端仍采用同样的下载链接进行下载，则或者到的数据分片的校验值会与此前服务器端提供的该数据分片的分片校验信息不同，校验不成功，导致文件始终无法下载完整。

因此，在本实施例中，当服务器端判断出数据源为第二类别，即为非运营类数据源的时候，服务器端向该数据源发出指示，指示该数据源对该数据分片所属的网络资源进行更新。同时，在数据源对网络资源进行更新之后，需要对该网络资源在服务器端的相关信息进行同步更新，包括该网络资源的分片校验信息。

进一步地，作为本发明的一个实施例，如图3所示，步骤S204具体为：

在步骤S301中，获取错误报告的上报次数。

在步骤S302中，当上报次数超过预设阈值时，指示该数据源对该数据分片所属的网络资源进行更新。

在本实施例中，每当服务器端获取到一次错误报告，即进行一次统计，以随时掌握关于某个数据源的错误报告的上报次数。当关于一个数据源的错误报告上报次数达到预设阈值时，服务端才指示该数据源对其所对应的网络资源进行更新，以服务器端频繁对相关的校验信息进行变更，导致客户端没有稳定的数据源进行下载。

在本发明实施例中，服务器端通过接收客户端在P2SP下载过程中上报的错误报告，判断校验结果出错的数据分片所属的数据源的类别，以进一步对该数据源进行相应的屏蔽或者更新处理，避免了由于数据的原始数据源出错导致客户端无法下载完整文件的情况发生，提高了下载的成功率。

图4示出了本发明实施例提供的网络资源管理方法的实现流程，在本实施例中，流程的执行主体为图1所示的客户端12，详述如下：

在步骤S401中，客户端从服务器端指示的数据源下载数据分片。

在本实施例中，客户端根据服务器端指示的数据源来下载相应的网络资源的数据分片，且在下载完一个数据分片之后对该数据分片进行校验，并将校验结果与服务器端提供的分片校验信息进行比较，判断该数据分片是否接收正确。

在步骤S402中，当该数据分片未通过校验时，客户端向服务器端发送错误报告，其中，错误报告包括该数据源，被服务器端用于获取该数据源的类别，以对该数据源进行屏蔽或者指示该数据源进行更新。

进一步地，在步骤S401之前，客户端接收服务器端发送的数据源，以从该数据源下载数据，同时，还从服务器端接收该数据源的类别，当客户端从该数据源下载的数据分片未通过校验时，客户端可以判断该数据源的类别是否为第一类别，当该数据源为第一类别时，客户端在本侧屏蔽该数据源，不再从该数据源下载网络资源。

由于本发明图4实施例所述的网络资源管理方法基于的是与本发明图2至图3实施例所述的网络资源管理方法相同的实现原理，只是前者是从客户端作为执行主体进行描述，后者是从服务器端作为执行主体进行描述，因此，相关的实现原理可以参考图2至图3所述实施例，在此不再赘述。

图5示出了本发明实施例提供的网络资源管理装置的结构框图，为了便于说明，仅示出了与本实施例相关的部分。

如图5所示，该网络资源管理装置运行于如图1所示的网络资源管理系统中，且分别位于服务器端和至少一个客户端上，在服务器端上，各装置可以位于同一服务器中，也可以根据需要将不同的单元分布在不同的功能服务器（例如资源索引服务器、入库管理服务器、统计服务器或者P2P跟踪（Tracker）服务器）上以实现不同的模块功能，其具体包括：

在服务器端，其包括：

第一接收单元51，接收客户端的错误报告，该错误报告包括未通过客户端校验的数据分片的数据源。

获取单元52，用于获取该数据源的类别。

第一屏蔽单元53，用于当该数据源为第一类别时，对该数据源进行屏蔽。

指示单元54，用于当该数据源为第二类别时，指示该数据源对该数据分片所属的网络资源进行更新。

进一步地，在服务器端，该装置还包括：

发送单元，将数据源和该数据源的类别发送给客户端，以使客户端根据该类别判断该数据源为第一类别时，屏蔽该数据源。

进一步地，指示单元54包括：

获取子单元，获取错误报告的上报次数。

指示子单元，当上报次数超过预设阈值时，指示该数据源对该数据分片所属的网络资源进行更新。

在客户端，包括：

下载单元55，从服务器端指示的数据源下载数据分片。

发送单元56，当该数据分片未通过校验时，向服务器端发送错误报告，该错误报告包括未通过校验的数据源，被服务器端用于获取该数据源的类别，以对该数据源进行屏蔽或者指示该数据源进行更新。

进一步地，还包括：

第二接收单元，接收服务器端发送的数据源和该数据源的类别。

第二屏蔽单元，当数据分片未通过校验时，且当该数据源为第一类别时，屏蔽该数据源。

作为本发明的一个实现示例，图6示出了当图5的各装置分布在不同的功能服务器上时，本发明实施例提供的网络资源管理方法的实现原理图，从图6中容易看出，本发明实施例提供的网络资源管理方法通过服务器端对发生了源错误的数据源进行屏蔽或者指示数据源进行更新，避免了由于网络资源的原始源出错导致客户端无法下载完整文件的情况发生，提高了下载的成功率。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种网络资源管理方法，其特征在于，包括：

根据所述数据源的地址获取所述数据源的类别；

当所述数据源为第一类别时，对所述数据源进行屏蔽，所述第一类别为运营类数据源；

当所述数据源为第二类别时，指示所述数据源对所述数据分片所属的网络资源进行更新，所述第二类别为非运营类数据源。

2.如权利要求1所述的方法，其特征在于，所述指示所述数据源对所述数据分片所属的网络资源进行更新包括：

获取所述错误报告的上报次数；

当所述上报次数超过预设阈值时，指示所述数据源对所述数据分片所属的网络资源进行更新。

3.一种网络资源管理方法，其特征在于，包括：

客户端从服务器端指示的数据源下载数据分片；

当所述数据分片未通过校验时，所述客户端向所述服务器端发送错误报告，所述错误报告包括所述数据源，被所述服务器端用于根据所述数据源的地址获取所述数据源的类别，以当所述数据源为第一类别时，对所述数据源进行屏蔽，所述第一类别为运营类数据源；当所述数据源为第二类别时，指示所述数据源对所述数据分片所属的网络资源进行更新，所述第二类别为非运营类数据源。

4.如权利要求3所述的方法，其特征在于，在客户端从服务器端指示的数据源下载数据分片之前，还包括：

所述客户端接收所述服务器端发送的所述数据源和所述数据源的类别；

所述当所述数据分片未通过校验时，还包括：

当所述数据源为所述第一类别时，所述客户端屏蔽所述数据源。

5.一种网络资源管理装置，其特征在于，包括：

获取单元，用于根据所述数据源的地址获取所述数据源的类别；

第一屏蔽单元，用于当所述数据源为第一类别时，对所述数据源进行屏蔽，所述第一类别为运营类数据源；

指示单元，用于当所述数据源为第二类别时，指示所述数据源对所述数据分片所属的网络资源进行更新，所述第二类别为非运营类数据源。

6.如权利要求5所述的装置，其特征在于，所述指示单元包括：

获取子单元，用于获取所述错误报告的上报次数；

指示子单元，用于当所述上报次数超过预设阈值时，指示所述数据源对所述数据分片所属的网络资源进行更新。

7.一种客户端，其特征在于，包括：

下载单元，用于从服务器端指示的数据源下载数据分片；

发送单元，用于当所述数据分片未通过校验时，向所述服务器端发送错误报告，所述错误报告包括所述数据源，被所述服务器端用于根据所述数据源的地址获取所述数据源的类别，以当所述数据源为第一类别时，对所述数据源进行屏蔽，所述第一类别为运营类数据源；当所述数据源为第二类别时，指示所述数据源对所述数据分片所属的网络资源进行更新，所述第二类别为非运营类数据源。

8.如权利要求7所述的客户端，其特征在于，还包括：

第二接收单元，用于接收所述服务器端发送的所述数据源和所述数据源的类别；

第二屏蔽单元，用于当所述数据分片未通过校验时，且当所述数据源为所述第一类别时，屏蔽所述数据源。

9.一种网络资源管理系统，其特征在于，包括如权利要求5或6所述的网络资源管理装置；以及

如权利要求7或8所述的客户端。