CN103152371A

CN103152371A - P2sp下载监管方法及系统

Info

Publication number: CN103152371A
Application number: CN2011104031965A
Authority: CN
Inventors: 冀祖峰; 曹杨; 刘刚
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2011-12-07
Filing date: 2011-12-07
Publication date: 2013-06-12
Anticipated expiration: 2031-12-07
Also published as: CN103152371B

Abstract

本发明实施例公开了一种点对服务器和点P2SP下载监管方法，其特征在于，该方法包括：根据待下载资源的原始下载链接URL，查询待下载资源对应的资源特征值；根据所述查询结果，以及预先获取的监管规则确定所述待下载资源是否为受监管资源；若是，则按照所述监管规则执行对应的监管操作，否则按照正常P2SP下载流程下载所述待下载资源。本发明实施例还公开了一种P2SP下载监管系统，该方法和系统能够对指定的下载资源进行拦截和监管。

Description

P2SP下载监管方法及系统

技术领域

本发明涉及网络通信技术领域，特别涉及一种点对服务器和点(P2SP)下载监管方法及系统。

背景技术

P2SP下载是一种结合了点对服务器(P2S)和点对点(P2P)下载优势的一种新的下载方式，通过下载资源爬虫系统，和客户端下载记录的上报，对互联网上的可下载资源文件进行索引，该索引记录了资源文件对应的服务器下载链接和保存有该资源文件的peer客户端。这样当用户下载一个文件的时候，查询该索引会同时得到P2S下载资源和p2p资源，有效地把原本孤立的服务器和其镜像资源以及P2P资源整合到了一起。它在下载的稳定性和下载的速度上，都比传统的P2P或P2S有了非常大的提高。

现有的P2SP下载系统以及P2SP下载流程如图1所示：

步骤101，客户端1首先从原始下载地址，如互联网网站1获取下载资源的原始下载链接(URL)；

步骤102，客户端以该URL，从资源索引服务器查询该URL对应的下载资源的资源特征(hash)值；

步骤103，客户端使用该资源特征值查询P2S索引服务器，获取其他互联网网站中该下载资源的URL，(例如获取到图中互联网网站2和互联网网站3的URL)；

步骤104，查询P2P索引服务器，获取其他具有该下载资源的客户端(例如获取到图中客户端2和客户端3)；

步骤105，同时用多种不同的协议(如Http，ftp，bt，emule，私有协议等)向其他网站或者客户端(图中互联网网站2、互联网网站3、客户端2和客户端3)请求该下载资源，进行下载。

P2SP客户端可以通过一个下载资源的URL(例如是ed2k链接或Bt种子文件)等作为入口，在后台服务器(包括资源所引服务器、P2S服务器和P2P服务器)的帮助下，检索到一批URL和一批保存有该资源的客户端，这样就为P2SP客户端的下载提供了多种数据来源的入口，在为用户带来良好下载体验的同时，也对互联网上有害或者非法资源(例如病毒文件，盗版影视资源)的传播控制造成了巨大的麻烦。作为一种新兴下载技术，网络内容传播的安全性和合法性是P2SP下载平台必须需要考虑的问题。

目前的P2SP下载系统在传播内容的安全和控制上还没有形成一套成熟有效的方法，其安全性通常由客户端本地安装的外部安全扫描软件提供保护；而对于非法盗版内容，通常需要主管机构或者版权所有人和下载服务商一起合作，由人工从提供资源的网站中删除相关资源，且非法盗版内容的信息来源只能靠用户投诉和举报，其控制和保护的力度也非常弱，而且即使网站删除了相关资源，P2SP客户端仍然可以通过P2P方式进行下载，使其对下载资源的控制形同虚设，很难从源头切断有害资源的传播。

发明内容

有鉴于此，本发明提供了一种P2SP下载监管方法及系统，能够对指定的下载资源进行拦截和监管。

为达上述目的，本发明的技术方案具体是这样实现的：

一种点对服务器和点P2SP下载监管方法，该方法包括：

根据待下载资源的原始下载链接URL，查询待下载资源对应的资源特征值；

根据所述查询结果，以及预先获取的监管规则确定所述待下载资源是否为受监管资源；

若是，则按照所述监管规则执行对应的监管操作，否则按照正常P2SP下载流程下载所述待下载资源。

较佳地，所述监管规则包括：

受监管资源的完整数据对应的完全资源特征值；受监管资源中用于对比的部分数据对应的对比资源特征值，以及对应于受监管资源的完全资源特征值的监管操作指令。

较佳地，所述根据查询结果，以及预先获取的监管规则确定所述待下载资源是否为受监管资源，包括：

若查询到所述待下载资源的资源特征值，则将查询到的资源特征值与所述监管规则中记录的所述完全资源特征值进行比较；如果所述待下载资源的资源特征值与所述监管规则中的某个完全资源特征值相同，则确定所述待下载资源为受监管资源。

若查询不到所述待下载资源的资源特征值，则先下载所述待下载资源中用于对比的部分数据，并计算所述用于对比的部分数据的对比资源特征值，将所述计算出的对比资源特征值与所述监管规则中记录的对比资源特征值进行比较；

如果所述计算出的对比资源特征值与所述监管规则中的某个对比资源特征值相同，则进一步下载所述待下载资源的全部数据，计算所述待下载资源的完全资源特征值，如果所述待下载资源的完全资源特征值与所述监管规则中的某个完全资源特征值相同，则确定所述待下载资源为受监管资源。

较佳地，所述监管操作包括：

删除待下载资源的相关数据，上报检测到受监管资源的监管信息，以及提示用户所述待下载资源为受监管资源；其中的任意一种或多种的任意组合。

较佳地，所述对比资源特征值包括：

根据受监管资源前、中、后三段数据计算的安全哈希算法SHA特征值。

一种P2SP下载监管系统，包括资源索引服务器，该系统还包括：

资源监管服务器，保存用于资源监管的监管规则，并下发监管规则到客户端；

客户端，根据待下载资源的原始下载链接URL，从所述资源索引服务器查询待下载资源对应的资源特征值；

根据所述查询结果，以及预先从所述资源监管服务器获取的监管规则确定所述待下载资源是否为受监管资源；

较佳地，所述监管规则包括：

较佳地，所述客户端包括：

监管模块，用于从所述监管服务器获取监管规则；

下载模块，根据待下载资源的原始下载链接URL，从所述资源索引服务器查询待下载资源对应的资源特征值；若查询到所述待下载资源的资源特征值，则将查询到的资源特征值与所述监管模块获取的监管规则中记录的所述完全资源特征值进行比较；如果所述待下载资源的资源特征值与所述监管规则中的某个完全资源特征值相同，则确定所述待下载资源为受监管资源；

对确定为受监管资源的待下载资源，按照所述监管规则执行对应的监管操作，否则按照正常P2SP下载流程下载所述待下载资源。

较佳地，所述下载模块包括：

查询单元，用于根据待下载资源的原始下载链接URL，从所述资源索引服务器查询待下载资源对应的资源特征值；

比较单元，若所述查询单元查询到所述待下载资源的资源特征值，则将查询到的资源特征值与所述监管模块获取的监管规则中记录的所述完全资源特征值进行比较；如果所述待下载资源的资源特征值与所述监管规则中的某个完全资源特征值相同，则确定所述待下载资源为受监管资源；

下载单元，对确定为受监管资源的待下载资源，按照所述监管规则执行对应的监管操作，否则按照正常P2SP下载流程下载所述待下载资源。

较佳地，所述下载模块进一步包括：特征值计算单元；

若所述查询单元查询不到所述待下载资源的资源特征值，则所述下载单元先下载所述待下载资源中用于对比的部分数据；

所述特征计算单元，计算所述用于对比的部分数据的对比资源特征值；

所述比较单元，进一步将所述计算出的对比资源特征值与所述监管规则中记录的对比资源特征值进行比较；

如果所述计算出的对比资源特征值与所述监管规则中的某个对比资源特征值相同，则所述下载单元进一步下载所述待下载资源的全部数据，所述特征计算单元进一步计算所述待下载资源的完全资源特征值，如果所述待下载资源的完全资源特征值与所述监管规则中的某个完全资源特征值相同，则确定所述待下载资源为受监管资源。

较佳地，所述下载单元执行的监管操作包括：删除待下载资源的相关数据，上报检测到受监管资源的监管信息，以及提示用户待下载资源为受监管资源；其中的任意一种或多种的任意组合。

由上述技术方案可见，本发明的这种P2SP下载监管方法及系统，通过预设的监管规则，可以对待下载资源进行识别，从而能够对指定的下载资源进行拦截和监管。

附图说明

图1为现有P2SP下载远离示意图；

图2为本发明实施例的P2SP下载监管系统结构示意图；

图3为本发明实施例的P2SP下载流程图；

图4为本发明实施例的下载模块结构示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明进一步详细说明。

本发明主要是在现有P2SP下载系统的后台服务器中引入了资源监管服务器，并且在P2SP客户端中加入客户端监管模块，在客户端进行P2SP下载时，根据获取到的下载资源的特征值与客户端监管模块中保存的受监管的下载资源特征值进行比较，根据比较的结果进行相应的操作，从而可以对受到限制的下载资源进行下载控制和拦截。

图2是本发明实施例的P2SP下载监管系统结构示意图，如图2所示，P2SP下载监管系统包括：

资源索引服务器205，与现有的资源索引服务器的作用相同，这里不再赘述。

资源监管服务器201，保存用于资源监管的监管规则，并下发监管规则到客户端；

其中监管规则包括如下几个部分：

(1)完全资源特征值，根据受监管的下载资源的完整数据计算出的特征值，例如通过安全哈希算法(SHA)计算出的特征值，用于客户端识别需要监管的下载资源。完全资源特征值可以用于监管资源索引服务器中存在URL以及对应资源特征值的下载资源，在客户端向资源索引服务器查询待下载资源的资源特征值时，即可通过该完全资源特征值识别出已经收录于资源索引服务器的受监管的下载资源。

(2)对比资源特征值，根据受监管的下载资源的部分对比数据计算出的特征值；例如，可以是下载资源的前、中、后三段数据计算出的SHA特征值。对比资源特征值可以用于监管资源索引服务器中不存在URL以及对应资源特征值的下载资源，例如对于很多下载资源，其URL并不固定，如果某一下载资源其URL变化或有新的URL提供下载，且资源索引服务器未收录该下载资源的URL，则在客户端以该URL查询资源特征值时就查不到该下载资源的资源特征值，也就无法根据上述完全资源特征值识别出该下载资源，此时，客户端就可以通过对比资源特征值来进行快速识别，具体识别方法在下文详述。

(3)监管操作，当客户端待下载的下载资源通过上述的资源特征值被识别为受监管资源后，对应该受监管资源客户端所需执行的进一步操作，例如删除相关数据(已经下载的数据和下载任务等)，上报信息(向监管资源服务器上报检测到受监管资源的监管信息)，提示用户(提示用户待下载资源为受监管资源)等等，具体监管操作可以包括上述任意其一或者任意多个的任意组合，可根据需要而定。资源监管服务器201接收到客户端202上报的监管信息后，可以进一步进行统计分析，以及记录监管日志，例如分析受监管的下载资源在网络中扩散传播的规律和方式，找到扩散源头等。

客户端202，根据待下载资源的原始下载链接URL，从所述资源索引服务器205查询待下载资源对应的资源特征值；根据所述查询结果，以及预先从所述资源监管服务器获取的监管规则确定所述待下载资源是否为受监管资源；若是，则按照所述监管规则执行对应的监管操作，否则按照正常P2SP下载流程下载所述待下载资源。

其中，客户端202具体包括监管模块203和下载模块204。

监管模块203：用于从上述资源监管服务器201获取监管规则，具体获取方式可以是以一定的时间间隔与资源监管服务器201进行监管规则的同步，从资源监管服务器201上拉取监管规则，该监管规则可以同时保存在客户端202的内存和硬盘上，也可以进一步加密保存。

下载模块204：具备一般P2SP下载功能逻辑，负责资源的下载，根据获取到的下载资源的原始下载链接URL，向现有资源索引服务器查询与该URL对应的资源特征值，根据所述查询结果，以及监管规则确定待下载资源是否为受监管资源；若是，则按照所述监管规则执行对应的监管操作，否则按照正常P2SP下载流程下载所述待下载资源。

在上述系统中，客户端进行P2SP监管下载的具体流程可以如图3所示，包括如下步骤：

步骤301，获取监管规则，客户端202从资源监管服务器201同步拉取监管规则，本步骤可以以一定的时间间隔定期执行。

步骤302，判断是否查询到资源特征值？客户端202以其从互联网网站获取的待下载资源的原始URL，从现有资源索引服务器查询该URL对应的资源特征值；若成功，即查询到索引服务器中有与该URL对应的资源特征值，则进入步骤303，否则进入步骤304。

步骤303，判断资源特征值是否命中监管规则？客户端将查询到的URL对应的资源特征值，与监管规则中的完全监管资源特征值进行比较，如果命中，即如果所述查询到的该待下载资源的资源特征值与所述监管规则中记录的某个完全资源特征值相同，则进入步骤306，否则进入步骤307。

步骤304，判断对比资源特征值是否命中监管规则？客户端202先进行该下载资源的下载，优先下载完该资源的前、中、后三段用于对比的数据，并计算这三段数据的资源特征值。使用这三段数据的资源特征值与监管规则中的对比资源特征值比较，如命中，即如果所述计算出的对比资源特征值与所述监管规则中的某个对比资源特征值相同，则进入步骤305，否则进入步骤307。

步骤305，判断资源特征值是否命中监管规则？客户端202继续下载完该待下载资源的完整数据，并以该完整数据计算该待下载资源的完全资源特征值，再与上述监管规则中的完全资源特征值进行比较，如命中则进入步骤306，否则进入步骤307。

步骤306，执行对应的监管操作，客户端202按照监管规则中对应该完全资源特征值的监管操作指令进行监管操作，如删除文件，上报信息或者提醒用户处理等。

步骤307，继续P2SP的正常下载流程。

上述步骤中，步骤305是可选的，该步骤是为了防止对比资源特征值相同但是完全资源特征值不同的情况发生，减少误判，如果对误判率没有很高要求，或者对客户端计算资源特征值花费的时间比较敏感，则步骤305可以省去，步骤304中命中后，可直接执行步骤306。

具体地，上述各步骤可以由客户端202中的下载模块204执行，其中具体判断是否命中监管规则时，可以由监管模块203发送查询资源特征值是否命中监管规则的查询指令；监管模块203接收到该查询指令后，向其反馈是否命中监管规则的查询结果；下载模块204根据该查询结果获取监管规则是否命中的信息。

另外，上述下载模块204的具体结构可以如图4所示，包括：

查询单元401，用于根据待下载资源的原始下载链接URL，从所述资源索引服务器205查询待下载资源对应的资源特征值；

比较单元402，若所述查询单元401查询到所述待下载资源的资源特征值，则将查询到的资源特征值与所述监管模块203获取的监管规则中记录的所述完全资源特征值进行比较；如果所述待下载资源的资源特征值与所述监管规则中的某个完全资源特征值相同，则确定所述待下载资源为受监管资源；

下载单元403，对确定为受监管资源的待下载资源，按照所述监管规则执行对应的监管操作，否则按照正常P2SP下载流程下载所述待下载资源。

较佳地，所述下载模块204可以进一步包括：特征值计算单元404；

若所述查询单元401查询不到所述待下载资源的资源特征值，则所述下载单元403先下载所述待下载资源中用于对比的部分数据；

所述特征计算单元404，计算所述用于对比的部分数据的对比资源特征值；

所述比较单元402，则进一步将所述计算出的对比资源特征值与所述监管规则中记录的对比资源特征值进行比较；

如果所述计算出的对比资源特征值与所述监管规则中的某个对比资源特征值相同，则所述下载单元403进一步下载所述待下载资源的全部数据，所述特征计算单元404进一步计算所述待下载资源的完全资源特征值，如果所述待下载资源的完全资源特征值与所述监管规则中的某个完全资源特征值相同，则确定所述待下载资源为受监管资源。

其中，所述下载单元403执行的监管操作包括：删除待下载资源的相关数据，上报检测到受监管资源的监管信息，以及提示用户待下载资源为受监管资源；其中的任意一种或多种的任意组合。

由上述的实施例可见，本发明的这种P2SP下载监管方法及系统，通过预设的监管规则，可以对待下载资源进行识别，从而能够对指定的下载资源进行拦截和监管。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims

1.一种点对服务器和点P2SP下载监管方法，其特征在于，该方法包括：

2.如权利要求1所述的P2SP下载监管方法，其特征在于，所述监管规则包括：

3.如权利要求2所述的P2SP下载监管方法，其特征在于，所述根据查询结果，以及预先获取的监管规则确定所述待下载资源是否为受监管资源，包括：

4.如权利要求2所述的P2SP下载监管方法，其特征在于，所述根据查询结果，以及预先获取的监管规则确定所述待下载资源是否为受监管资源，包括：

5.如权利要求1所述的P2SP下载监管方法，其特征在于，所述监管操作包括：

6.如权利要求1～5中任一项权利要求所述的P2SP下载监管方法，其特征在于，所述对比资源特征值包括：

7.一种P2SP下载监管系统，包括资源索引服务器，其特征在于，该系统还包括：

8.如权利要求7所述的P2SP下载监管系统，其特征在于，所述监管规则包括：

9.如权利要求8所述的P2SP下载监管系统，其特征在于，所述客户端包括：

监管模块，用于从所述监管服务器获取监管规则；

10.如权利要求9所述的P2SP下载监管系统，其特征在于，所述下载模块包括：

11.如权利要求10所述的P2SP下载监管系统，其特征在于，所述下载模块进一步包括：特征值计算单元；

12.如权利要求10或11所述的P2SP下载监管系统，其特征在于，所述下载单元执行的监管操作包括：删除待下载资源的相关数据，上报检测到受监管资源的监管信息，以及提示用户待下载资源为受监管资源；其中的任意一种或多种的任意组合。