CN102752326B - 在下载文件时处理数据的方法、服务器和系统 - Google Patents

在下载文件时处理数据的方法、服务器和系统 Download PDF

Info

Publication number
CN102752326B
CN102752326B CN201110097908.5A CN201110097908A CN102752326B CN 102752326 B CN102752326 B CN 102752326B CN 201110097908 A CN201110097908 A CN 201110097908A CN 102752326 B CN102752326 B CN 102752326B
Authority
CN
China
Prior art keywords
data
download file
download
key message
server end
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110097908.5A
Other languages
English (en)
Other versions
CN102752326A (zh
Inventor
刘刚
王福臣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Tencent Cloud Computing Beijing Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201110097908.5A priority Critical patent/CN102752326B/zh
Publication of CN102752326A publication Critical patent/CN102752326A/zh
Application granted granted Critical
Publication of CN102752326B publication Critical patent/CN102752326B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种在下载文件时处理数据的方法、客户端、服务器和系统,属于互联网领域。所述方法包括:客户端获取服务器端预先存储的下载文件的校验信息;根据所述校验信息判断下载的所述下载文件的完整数据分片是否已被污染;如果是,则将所述污染数据的关键信息上报给所述服务器端,使所述服务器端将所述污染数据的源节点屏蔽。本发明在服务器端引入独立的下载校验装置,结合客户端上报的信息,能够有效控制污染数据的扩散。

Description

在下载文件时处理数据的方法、服务器和系统
技术领域
本发明涉及互联网领域,特别涉及一种在下载文件时处理数据的方法、客户端、服务器和系统。
背景技术
目前的许多下载软件都使用P2SP(PeertoServer&Peer,点对服务器和点)技术进行数据下载,P2SP技术不再像传统方式那样只能依赖服务器传输数据,数据的传递可以在网络上的各个终端机器中进行,有效地把原本孤立的服务器和其镜像资源以及P2P(PeertoPeer,点对点)资源整合到了一起。
在P2SP技术当中下载一个文件时,该文件的数据来源可包括原始链接、P2P网络、第三方镜像的辅助源,客户端下载该文件的数据后通过完整文件的唯一标识把文件统一串联起来,获得下载文件,并在下载完成以后将相关的统计信息上报给服务器端,使服务器端收录客户端的下载链接,以便其它客户端在该链接上下载。
在对现有技术进行分析后,发明人发现现有技术至少具有如下缺点:客户端下载完成后,下载链接会被服务器端自动收录,但有些下载网站对下载链接收录行为较为反感,所以通常会采取一些措施来污染系统中的数据,这样系统收录的下载链接就是被污染的数据,其它客户端通过该链接进行下载时,被污染的数据就会被传播扩散,导致客户端的下载失败,并浪费客户端的带宽资源。当然现有技术中还存在许多种可能导致源节点数据被污染的方法,一旦这些被污染的数据在网络上传播,就会导致客户端下载失败,并浪费客户端的带宽资源。
发明内容
为了防止污染数据被传播,本发明实施例提供了一种在下载文件时处理数据的方法、客户端、服务器和系统。所述技术方案如下:
一方面,提供了一种在下载文件时处理数据的方法,所述方法包括:
客户端获取服务器端预先存储的下载文件的校验信息;
根据所述校验信息判断下载的所述下载文件的完整数据分片是否已被污染;
如果是,则将所述污染数据的关键信息上报给所述服务器端,使所述服务器端将所述污染数据的源节点屏蔽。
所述根据所述校验信息判断下载的所述下载文件的完整数据分片是否已被污染,包括:
判断所述完整数据分片的校验信息是否与所述获取的服务器端预先存储的校验信息一致;如果不一致,则所述完整数据分片已被污染。
所述使所述服务器端将所述污染数据的源节点屏蔽,包括:
所述服务器端根据预设规则在黑白名单中更新所述上报数据的源节点的记录,并根据所述黑白名单中的记录将被污染的源节点屏蔽。
所述服务器端根据预设规则在黑白名单中更新所述上报数据的源节点的记录,之前还包括:
对所述客户端的上报数据的相关信息进行二次验证,验证所述上报数据是否为污染数据,如果所述验证结果为是,则继续执行步骤。
所述对所述客户端的上报数据进行二次验证,验证所述上报数据是否为污染数据,包括:
下载需要验证的所述上报数据对应的原始文件,并获取所述原始文件的关键信息;
如果所述原始文件的关键信息与所述数据库中存储的与所述上报数据匹配的数据的关键信息一致,或所述原始文件的关键信息与所述数据库中存储的与所述上报数据匹配的数据的关键信息和所述上报数据的关键信息均不一致,则所述上报数据为被污染数据。
所述方法还包括:
如果所述原始文件的关键信息与所述数据库中存储的与所述上报数据匹配的数据的关键信息不一致,用所述获取的原始文件的关键信息更新所述数据库中存储的与所述上报数据匹配的数据的关键信息。
所述客户端获取服务器端预先存储的下载文件的校验信息,之前还包括:
判断服务器端是否有下载文件的校验信息;
如果是,则继续执行步骤,否则判断所述下载文件为新文件,抽取所述下载文件的校验信息和所述下载文件的唯一标识上报给所述服务器端,使所述服务器端存储所述下载文件的校验信息。
所述方法还包括:
下载完所述下载文件后,对所述下载文件进行安全性扫描,并将所述下载文件的安全属性信息上报给所述服务器端,使所述服务器端对所述下载文件的源节点的信誉度进行加权,并根据所述源节点的信誉度更新黑白名单的记录。
另一方面,还提供了一种客户端,所述客户端包括:
获取模块,用于获取服务器端预先存储的下载文件的校验信息;
判断模块,用于根据所述校验信息判断下载的所述下载文件的完整数据分片是否已被污染;
第一上报模块,用于如果所述判断模块的结果为是,则将所述污染数据的关键信息上报给所述服务器端,使所述服务器端将所述污染数据的源节点屏蔽。
所述判断模块,具体用于:
判断所述完整数据分片的校验信息是否与所述获取的服务器端预先存储的校验信息一致;如果不一致,则所述完整数据分片已被污染。
所述客户端还包括:
第二上报模块,用于所述获取模块获取服务器端预先存储的下载文件的校验信息之前,判断服务器端是否有下载文件的校验信息;如果是,则继续执行步骤,否则判断所述下载文件为新文件,抽取所述下载文件的校验信息和所述下载文件的唯一标识上报给所述服务器端,使所述服务器端存储所述下载文件的校验信息。
所述客户端还包括:
第三上报模块,用于下载完所述下载文件后,对所述下载文件进行安全性扫描,并将所述下载文件的安全属性信息上报给所述服务器端,使所述服务器端对所述下载文件的源节点的信誉度进行加权,并根据所述源节点的信誉度更新黑白名单的记录。
另一方面,还提供了一种服务器,所述服务器包括:
验证模块,用于对客户端的上报数据进行二次验证,验证所述上报数据是否为污染数据;
屏蔽模块,用于根据预设规则在黑白名单中更新所述上报数据的源节点的记录;并根据所述黑白名单中的记录将被污染的源节点屏蔽。
所述验证模块,包括:
获取单元,用于下载需要验证的所述上报数据对应的原始文件,并获取所述原始文件的关键信息;
判断单元,用于如果所述原始文件的关键信息与所述数据库中存储的与所述上报数据匹配的数据的关键信息一致,或所述原始文件的关键信息与所述数据库中存储的与所述上报数据匹配的数据的关键信息和所述上报数据的关键信息均不一致,则所述上报数据为被污染数据。
所述验证模块还包括:
更新单元,用于如果所述原始文件的关键信息与所述数据库中存储的与所述上报数据匹配的数据的关键信息不一致,用所述获取的原始文件的关键信息更新所述数据库中存储的与所述上报数据匹配的数据的关键信息。
另一方面,还提供了一种在下载文件时处理数据的系统,所述系统包括:如上所述的客户端和服务器。
本发明实施例提供的技术方案,在服务器端预先存储下载文件的校验信息,当客户端下载到完整数据分片后,根据校验信息判断完整数据分片是否已被污染,从而能够快速检测出污染数据,并将污染数据及时屏蔽,有效控制污染数据的扩散,降低用户下载到错误数据概率,节省用户宝贵的带宽资源。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是现有技术中的P2SP的系统示意图;
图2是本发明实施例1提供的一种在下载文件时处理数据的方法的流程图;
图3是本发明实施例2提供的一种在下载文件时处理数据的方法的流程图;
图4是本发明实施例2提供的一种P2SP的系统示意图;
图5是本发明实施例3提供的一种客户端的示意图;
图6是本发明实施例3提供的另一种客户端的示意图;
图7是本发明实施例3提供的一种服务器的示意图;
图8是本发明实施例3提供的另一种服务器的示意图;
图9是本发明实施例3提供的一种在下载文件时处理数据的系统的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
在介绍本发明提供的在下载文件时处理数据的方法之前,首先对本发明的基础知识进行简要的介绍:
参见图1,现有的P2SP系统架构,包括:资源索引服务器组、P2PTracker服务器组、统计服务器、下载客户端。其中,在现有的系统架构的基础上,客户端的下载流程包括:
(1)下载客户端需要下载文件的时候从互联网或者资源网站获取Url链接;
(2)下载客户端以Url(Uniform/UniversalResourceLocator,统一资源定位符)链接为入口,从资源索引服务器查询多资源及文件Hash,然后从查询到的Url下载数据;
(3)下载客户端下载完成后注册文件信息到Tracker服务器,其他客户端可以通过Tracker服务查询到已经下载完成的Peer和正在下载的Peer;
(4)其它下载客户端开始多源P2P下载,在Peer之间相互交换数据;
(5)下载完成以后将相关的统计信息上报给统计服务器。
实施例1
参见图2,本发明实施例提供了一种在下载文件时处理数据的方法,包括:
步骤101:客户端获取服务器端预先存储的下载文件的校验信息;
步骤102:根据校验信息判断下载的下载文件的完整数据分片是否已被污染;如果是,则将污染数据的关键信息上报给服务器端,使服务器端将污染数据的源节点屏蔽。
其中,根据校验信息判断下载的下载文件的完整数据分片是否已被污染,包括:
判断完整数据分片的校验信息是否与获取的服务器端预先存储的校验信息一致;如果不一致,则完整数据分片已被污染。
本实施例中,使服务器端将污染数据的源节点屏蔽,包括:
服务器端根据预设规则在黑白名单中更新上报数据的源节点的记录,并根据黑白名单中的记录将被污染的源节点屏蔽。
本实施例中,可选地,服务器端根据预设规则在黑白名单中更新上报数据的源节点的记录,之前还包括:
对客户端的上报数据的相关信息进行二次验证,验证上报数据是否为污染数据,如果验证结果为是,则继续执行步骤。
其中,对所述客户端的上报数据进行二次验证,验证上报数据是否为污染数据,包括:
下载需要验证的上报数据对应的原始文件,并获取原始文件的关键信息;
如果原始文件的关键信息与数据库中存储的与上报数据匹配的数据的关键信息一致,或原始文件的关键信息与数据库中存储的与上报数据匹配的数据的关键信息和上报数据的关键信息均不一致,则上报数据为被污染数据。
可选地,本实施例中的方法还包括:
如果原始文件的关键信息与数据库中存储的与上报数据匹配的数据的关键信息不一致,用获取的原始文件的关键信息更新数据库中存储的与上报数据匹配的数据的关键信息。
可选地,客户端获取服务器端预先存储的下载文件的校验信息,之前还包括:
判断服务器端是否有下载文件的校验信息;
如果是,则继续执行步骤,否则判断下载文件为新文件,抽取下载文件的校验信息和下载文件的唯一标识上报给服务器端,使服务器端存储下载文件的校验信息。
可选地,本实施例中的方法还包括:
下载完下载文件后,对下载文件进行安全性扫描,并将下载文件的安全属性信息上报给服务器端,使服务器端对下载文件的源节点的信誉度进行加权,并根据源节点的信誉度更新黑白名单的记录。
本发明实施例提供的技术方案,在服务器端预先存储下载文件的校验信息,当客户端下载到完整数据分片后,根据校验信息判断完整数据分片是否已被污染,从而能够快速检测出污染数据,并将污染数据及时屏蔽,有效控制污染数据的扩散,降低用户下载到错误数据概率,节省用户宝贵的带宽资源。
实施例2
参见图3,本发明实施例提供了一种在下载文件时处理数据的方法,方法包括:
步骤201:客户端在查询下载资源时,判断下载校验装置中是否有需要下载文件的校验信息,如果是则从下载校验装置中获取下载文件的校验信息,并执行步骤202,否则判定该下载文件为新文件,并执行步骤204。
本实施例中,在现有下载文件系统的基础上加入下载校验装置,其中,下载校验装置中存储有下载文件的校验信息,以便客户端在下载数据分片时,对数据分片的正确性进行验证。
本实施例中,在服务器端可以单独设置一台资源入库服务器来实现下载校验装置的功能,也可以在服务器端设置一台资源入库服务器和一台下载校验服务器,下载校验服务器和资源入库服务器共同完成下载校验装置的功能,这两种方式都是在服务器端主动依据客户端的反馈信息结合服务器的调度,来调度和控制数据污染的扩散和保证数据的一致性。
本实施例中,优选地,客户端在查询下载资源准备下载文件时,如果下载校验装置中存有该下载文件的校验信息,则客户端从中获取校验信息,如果下载校验装置中没有该下载文件的校验信息,则表明该下载文件是第一次在网上传播,还没有关于其下载校验信息的记录,判定该下载文件对于下载校验装置来说为新的文件。
步骤202:根据校验信息判断下载文件的完整数据分片是否已被污染,如果是,则执行步骤203;否则,继续下载其它数据分片。
其中,P2P共享网络都支持基于文件数据片的文件下载。一个大文件以预先确定的大小分成了若干小块。由于文件的数据片不用顺序地下载,所以用户可以从多个物理节点同时下载不同的数据片。这除了能增加下载过程的吞吐量和提高文件传送率外,还能实现基于数据片的完整性检测。当用户获取目标文件的索引信息时,也同时得到了文件片的摘要。本实施例中,为了保障下载数据的完整性,对文件进行分片,每一片数据保留一份Hash校验数据,每当客户端下载完成一片数据以后,通过拉取到的校验信息验证下载的正确性,校验信息保存在服务器端,客户端在查询多资源Url的时候,同时从下载校验装置获取校验信息。
本实施例中,下载客户端在下载过程中对已下载的数据片进行完整性验证,筛选出有错误的数据片,主动并将错误的源反馈给后台系统。具体的,根据校验信息判断下载文件的完整数据分片是否为污染数据,包括:
当下载到下载文件的完整数据分片后,判断完整数据分片的校验信息是否与从下载校验装置中获取的校验信息一致;如果不一致,则完整数据分片已被污染。
步骤203:将污染数据上报给下载校验装置。
本实施例中,客户端一旦发现被污染的数据,则将该数据和来源链接或者Peer上报给下载校验装置,下载校验装置在接收到该上报数据后,对其进行二次验证,如果判断其为污染数据,则将该污染数据的源节点根据预设规则加入到黑名单中,并实时同步Tracker服务器和资源索引服务器的记录,使Tracker服务器和资源索引服务器根据黑名单的记录将被污染的节点屏蔽,以避免其它客户端再次访问该污染节点,从而使污染数据不会继续在网络中传播。
步骤204:抽取下载文件的校验信息和下载文件的唯一标识上报给下载校验装置。
本实施例中,当下载文件为新文件时,在下载完该文件后,抽取其校验信息和该文件的唯一标识上报给下载校验装置,当其它客户端再下载该文件时,能够从下载校验装置中获取其校验信息,并进行数据的验证。
步骤205:下载校验装置接收客户端的上报数据。
本实施例中,在客户端下载文件的同时,在步骤203或步骤204中,会将筛选出的被污染数据或新文件的相关信息上报给下载校验装置,所以下载校验装置接收到的上报数据包括污染数据和下载文件的校验信息和唯一标识。
步骤206:下载校验装置对客户端的上报数据进行二次验证,验证上报数据是否为污染数据。
其中,下载校验装置在接收到上报数据后,会对上报数据进行二次验证。具体的,下载校验装置下载上报数据对应的原始文件,并获取原始文件的关键信息,如果原始文件的关键信息与数据库中存储的与上报数据匹配的数据的关键信息一致,或原始文件的关键信息与数据库中存储的与上报数据匹配的数据的关键信息和上报数据的关键信息均不一致,则上报数据为被污染数据。其中关键信息包括:数据来源的Peer,Url,文件Hash、文件大小和Hash标识等。
具体的,判断数据库中是否有与上报数据匹配的记录,如果是,则表明该上报数据可能为污染数据,根据上报数据的相关字段,进一步对其进行判定,如果上报数据为污染数据,则屏蔽上报数据的相关信息;如果没有匹配的记录,则表明该上报数据为新文件,直接将该上报数据存储到数据库中。其中相关字段包括文件大小和Hash标识。进一步地,下载校验装置根据上报数据的相关字段,判断上报数据是否为被污染的数据,包括:
1)判断上报数据的相关字段是否与数据库中匹配的数据的相关字段一致;
2)如果上报数据的相关字段与数据库中匹配的数据的相关字段不一致,则继续验证不一致的相关字段;
3)如果原始文件的相关字段与数据库中存储的与上报数据匹配的相关字段一致,或原始文件的相关字段与数据库中存储的与上报数据匹配的相关字段和上报数据的相关字段均不一致,则上报数据为被污染数据。
其中,判断上报数据的相关字段是否与数据库中匹配的数据的相关字段一致,如果一致则表明客户端的判断结果错误,客户端上报的数据不是被污染的数据,则不对该数据进行处理,由于数据库中已存有该下载文件的相关信息,所以相当于此次入库操作已完成;但如果相关字段不一致,则表明该数据可能为被污染的数据,从下载文件内容当中抽取文件各种Hash特征值和文件的分片Hash校验信息;将获取的原始文件的相关信息与数据库中已存储的相关信息进行比较,如果比较结果一致,则表明客户端上报的数据为被污染的数据,如果比较的结果不一致,且与上报数据的相关信息一致,则表明该数据库中存储的下载文件的相关信息不正确,则用获取到的原始文件的相关信息更新该数据库中的记录。例如,对于一个URL在数据库只可能有一条记录,则直接更新该记录;对于H2U,如果URL对应的Hash改了,则应先将H2U(Hash到Url的映射记录表)表中以前Hash对应的该URL记录删除掉,再插入新的记录;对于分片校验信息,一个Hash只对应一个记录,直接更新该记录;如果原始文件的相关信息与数据库中存储的和客户端上报的相关信息都不一致,则用下载验证返回的信息更新数据库。
进一步地,本实施例中,下载校验装置判断出接收的上报数据为被污染数据后,在确定更新数据库中分片校验信息记录的时候,不是客户端有上报验证返回就马上更新,采样基于信任度和概率的策略,客户端P2P节点信誉系统根据其他对等节点的反馈信息来建立和更新节点间的信誉评价。任何一个节点的信誉值都由两部分组成:用户自己从它下载的经验和别的节点从它下载的经验。因此节点信誉能反映一个节点的一贯的行为,从而有效地识别和排除节点的恶意行为,这些信息会反馈给服务端;对于客户端下载的Url源设定一个阀值,如果同样Url有多个人报告错误,实施更新该Url在黑白名单中的记录,依据客户端上报的次数,设置一个分级的黑名单机制。
进一步地,本实施例中,如果上报数据为污染数据,则屏蔽上报数据的相关信息,包括:根据预设规则在黑白名单中更新上报数据的源节点的记录;根据黑白名单中的记录将被污染的源节点屏蔽。具体的实时同步资源索引服务器和Tracker服务器的记录,使资源索引服务器和Tracker服务器根据黑白名单中的记录将被污染的源节点屏蔽。
进一步地,本实施例中,每个下载的Url源都有一个安全属性标记,下载客户端每下载完成一个文件,可以通过本地的安全软件扫描对下载文件进行安全性扫描,并将下载文件的安全属性信息上报给下载校验装置,使下载校验装置对下载文件的源节点的信誉度进行加权,并根据源节点的信誉度更新黑白名单的记录。
参见图4,本实施例提供了一种P2SP系统图,在现有P2SP的基础上增加资源入库服务器和下载校验服务器,客户端通过统计服务器与资源入库服务器进行信息交互。其中,下载校验服务器的作用是:(1)依据资源入库服务器的调度,从网络上下载需要验证的原始文件内容;(2)下载过程中,依据调度的需要,从下载文件内容当中抽取文件各种Hash特征值和文件的分片Hash校验信息。资源入库服务器的作用是:(1)接收客户端入库上报请求:资源入库服务器收到入库请求后,首先向数据库查询该资源的信息,如果没有匹配的记录,直接将该资源入库,请求验证资源,要求客户端上报文件分片校验信息;如果有匹配的记录,则检查相关字段(文件大小,Hash标识)内容是否一致。如果一致,则此次入库操作完成;如果有字段不一致,则请求验证不一致的字段;(2)调动下载验证服务器验证入库数据的合法性、有效性;将资源索引信息保存在数据库当中:下载验证返回后,如果验证结果与旧信息一致,则此次入库操作完;(3)依据客户端上报的下载错误数据的Url和Peer信息,主动同步到Tracker服务器和多资源服务器;(4)依据运营的需要,对需要控制传播的Url内容通过资源资源入库管理控制资源索引服务器和Tracker提供所有服务。
本发明实施例提供的技术方案的有益效果是:在服务器端预先存储下载文件的校验信息,当客户端下载到完整数据分片后,根据校验信息判断完整数据分片是否已被污染,从而能够快速检测出污染数据,并通过下载校验装置对污染数据进行二次验证,增加判断结果的准确性,有效控制污染数据的扩散,降低用户下载到错误数据概率,节省用户宝贵的带宽资源。
实施例3
参见图5,本发明实施例提供了一种客户端,包括:获取模块301、判断模块302、第一上报模块303。
获取模块301,用于获取服务器端预先存储的下载文件的校验信息;
判断模块302,用于根据校验信息判断下载的下载文件的完整数据分片是否已被污染;
第一上报模块303,用于如果判断模块的结果为是,则将污染数据的关键信息上报给服务器端,使服务器端将污染数据的源节点屏蔽。
其中,判断模块302,具体用于:
判断完整数据分片的校验信息是否与获取的服务器端预先存储的校验信息一致;如果不一致,则完整数据分片已被污染。
参见图6,本发明实施例中,客户端还包括:
第二上报模块304,用于获取模块301获取服务器端预先存储的下载文件的校验信息之前,判断服务器端是否有下载文件的校验信息;如果是,则继续执行步骤,否则判断下载文件为新文件,抽取下载文件的校验信息和下载文件的唯一标识上报给服务器端,使服务器端存储下载文件的校验信息。
可选地,参见图6,本实施例中客户端还包括:
第三上报模块305,用于下载完下载文件后,对下载文件进行安全性扫描,并将下载文件的安全属性信息上报给服务器端,使服务器端对下载文件的源节点的信誉度进行加权,并根据源节点的信誉度更新黑白名单的记录。
参见图7,本发明实施例还提供了一种服务器,包括:验证模块401、屏蔽模块402。
验证模块401,用于对客户端的上报数据进行二次验证,验证上报数据是否为污染数据;
屏蔽模块402,用于根据预设规则在黑白名单中更新上报数据的源节点的记录;并根据黑白名单中的记录将被污染的源节点屏蔽。
其中,参见图8,验证模块401,包括:
获取单元401a,用于下载需要验证的上报数据对应的原始文件,并获取原始文件的关键信息;
判断单元401b,用于如果原始文件的关键信息与数据库中存储的与上报数据匹配的数据的关键信息一致,或原始文件的关键信息与数据库中存储的与上报数据匹配的数据的关键信息和上报数据的关键信息均不一致,则上报数据为被污染数据。
参见图8,验证模块401还包括:
更新单元401c,用于如果原始文件的关键信息与数据库中存储的与上报数据匹配的数据的关键信息不一致,用获取的原始文件的关键信息更新数据库中存储的与上报数据匹配的数据的关键信息。
参见图9,本发明实施例还提供了一种在下载文件时处理数据的系统,包括:本实施例提供的客户端501和服务器502。
本发明实施例提供的技术方案,在服务器端预先存储下载文件的校验信息,当客户端下载到完整数据分片后,根据校验信息判断完整数据分片是否已被污染,从而能够快速检测出污染数据,并将污染数据及时屏蔽,有效控制污染数据的扩散,降低用户下载到错误数据概率,节省用户宝贵的带宽资源。
本实施例提供的客户端、服务器和系统,具体可以,与方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
本发明实施例提供的上述技术方案的全部或部分可以通过程序指令相关的硬件来完成,所述程序可以存储在可读取的存储介质中,该存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (16)

1.一种在下载文件时处理数据的方法,其特征在于,所述方法包括:
客户端获取服务器端预先存储的下载文件的校验信息;
根据所述校验信息判断下载的所述下载文件的完整数据分片是否已被污染;
如果是,则将所述污染数据的关键信息上报给所述服务器端,使所述服务器端将所述污染数据的源节点屏蔽;
所述方法还包括:
所述服务器根据所述客户端上报的所述污染数据的关键信息,更新所述下载文件的校验信息。
2.根据权利要求1所述的方法,其特征在于,所述根据所述校验信息判断下载的所述下载文件的完整数据分片是否已被污染,包括:
判断所述完整数据分片的校验信息是否与所述获取的服务器端预先存储的校验信息一致;如果不一致,则所述完整数据分片已被污染。
3.根据权利要求1所述的方法,其特征在于,所述使所述服务器端将所述污染数据的源节点屏蔽,包括:
所述服务器端根据预设规则在黑白名单中更新所述上报数据的源节点的记录,并根据所述黑白名单中的记录将被污染的源节点屏蔽。
4.根据权利要求3所述的方法,其特征在于,所述服务器端根据预设规则在黑白名单中更新所述上报数据的源节点的记录,之前还包括:
对所述客户端的上报数据的相关信息进行二次验证,验证所述上报数据是否为污染数据,如果所述验证结果为是,则继续执行步骤。
5.根据权利要求4所述的方法,其特征在于,所述对所述客户端的上报数据进行二次验证,验证所述上报数据是否为污染数据,包括:
下载需要验证的所述上报数据对应的原始文件,并获取所述原始文件的关键信息;
如果所述原始文件的关键信息与所述数据库中存储的与所述上报数据匹配的数据的关键信息一致,或所述原始文件的关键信息与所述数据库中存储的与所述上报数据匹配的数据的关键信息和所述上报数据的关键信息均不一致,则所述上报数据为被污染数据。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
如果所述原始文件的关键信息与所述数据库中存储的与所述上报数据匹配的数据的关键信息不一致,用所述获取的原始文件的关键信息更新所述数据库中存储的与所述上报数据匹配的数据的关键信息。
7.根据权利要求1所述的方法,其特征在于,所述客户端获取服务器端预先存储的下载文件的校验信息,之前还包括:
判断服务器端是否有下载文件的校验信息;
如果是,则继续执行步骤,否则判断所述下载文件为新文件,抽取所述下载文件的校验信息和所述下载文件的唯一标识上报给所述服务器端,使所述服务器端存储所述下载文件的校验信息。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
下载完所述下载文件后,对所述下载文件进行安全性扫描,并将所述下载文件的安全属性信息上报给所述服务器端,使所述服务器端对所述下载文件的源节点的信誉度进行加权,并根据所述源节点的信誉度更新黑白名单的记录。
9.一种服务器,其特征在于,所述服务器包括:
验证模块,用于对客户端的上报数据进行二次验证,验证所述上报数据是否为污染数据;
屏蔽模块,用于根据预设规则在黑白名单中更新所述上报数据的源节点的记录;并根据所述黑白名单中的记录将被污染的源节点屏蔽;
所述服务器还包括:用于根据所述客户端上报的污染数据的关键信息,更新下载文件的校验信息的模块。
10.根据权利要求9所述的服务器,其特征在于,所述验证模块,包括:
获取单元,用于下载需要验证的所述上报数据对应的原始文件,并获取所述原始文件的关键信息;
判断单元,用于如果所述原始文件的关键信息与所述数据库中存储的与所述上报数据匹配的数据的关键信息一致,或所述原始文件的关键信息与所述数据库中存储的与所述上报数据匹配的数据的关键信息和所述上报数据的关键信息均不一致,则所述上报数据为被污染数据。
11.根据权利要求10所述的服务器,其特征在于,所述验证模块还包括:
更新单元,用于如果所述原始文件的关键信息与所述数据库中存储的与所述上报数据匹配的数据的关键信息不一致,用所述获取的原始文件的关键信息更新所述数据库中存储的与所述上报数据匹配的数据的关键信息。
12.一种在下载文件时处理数据的系统,其特征在于,所述系统包括:客户端和如权利要求9-11所述的服务器。
13.根据权利要求12所述的系统,其特征在于,所述客户端包括:
获取模块,用于获取服务器端预先存储的下载文件的校验信息;
判断模块,用于根据所述校验信息判断下载的所述下载文件的完整数据分片是否已被污染;
第一上报模块,用于如果所述判断模块的结果为是,则将所述污染数据的关键信息上报给所述服务器端,使所述服务器端将所述污染数据的源节点屏蔽。
14.根据权利要求13所述的系统,其特征在于,所述判断模块,具体用于:
判断所述完整数据分片的校验信息是否与所述获取的服务器端预先存储的校验信息一致;如果不一致,则所述完整数据分片已被污染。
15.根据权利要求13所述的系统,其特征在于,所述客户端还包括:
第二上报模块,用于所述获取模块获取服务器端预先存储的下载文件的校验信息之前,判断服务器端是否有下载文件的校验信息;如果是,则继续执行步骤,否则判断所述下载文件为新文件,抽取所述下载文件的校验信息和所述下载文件的唯一标识上报给所述服务器端,使所述服务器端存储所述下载文件的校验信息。
16.根据权利要求13所述的系统,其特征在于,所述客户端还包括:
第三上报模块,用于下载完所述下载文件后,对所述下载文件进行安全性扫描,并将所述下载文件的安全属性信息上报给所述服务器端,使所述服务器端对所述下载文件的源节点的信誉度进行加权,并根据所述源节点的信誉度更新黑白名单的记录。
CN201110097908.5A 2011-04-19 2011-04-19 在下载文件时处理数据的方法、服务器和系统 Active CN102752326B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110097908.5A CN102752326B (zh) 2011-04-19 2011-04-19 在下载文件时处理数据的方法、服务器和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110097908.5A CN102752326B (zh) 2011-04-19 2011-04-19 在下载文件时处理数据的方法、服务器和系统

Publications (2)

Publication Number Publication Date
CN102752326A CN102752326A (zh) 2012-10-24
CN102752326B true CN102752326B (zh) 2016-05-25

Family

ID=47032225

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110097908.5A Active CN102752326B (zh) 2011-04-19 2011-04-19 在下载文件时处理数据的方法、服务器和系统

Country Status (1)

Country Link
CN (1) CN102752326B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103795765B (zh) * 2012-11-02 2018-09-28 腾讯科技(深圳)有限公司 一种文件上传校验方法及系统
CN103841156A (zh) * 2012-11-26 2014-06-04 腾讯科技(深圳)有限公司 一种基于端对端协议的文件下载保护方法、装置,及系统
CN103384240B (zh) * 2012-12-21 2016-09-07 北京安天电子设备有限公司 一种p2p主动防御方法及系统
CN104283933B (zh) * 2013-07-12 2018-11-23 腾讯科技(深圳)有限公司 下载数据的方法、客户端及系统
CN103716199B (zh) * 2013-11-15 2017-04-26 南京云川信息技术有限公司 一种跨协议的p2p安全内容监管方法
CN105208059B (zh) * 2014-06-19 2019-09-17 腾讯科技(深圳)有限公司 一种内容分发方法、终端、服务器,及系统
CN106209417A (zh) * 2016-06-23 2016-12-07 努比亚技术有限公司 一种资源下载链接可用性的监控处理系统及方法
CN108111561B (zh) * 2016-11-25 2021-03-02 腾讯科技(深圳)有限公司 一种数据下载方法及其设备
CN108874825B (zh) * 2017-05-12 2021-11-02 北京京东尚科信息技术有限公司 一种异常数据的校验方法和装置
CN107528926A (zh) * 2017-10-11 2017-12-29 郑州云海信息技术有限公司 一种文件上传方法和系统
CN108304728A (zh) * 2017-11-28 2018-07-20 中国电子科技集团公司电子科学研究院 一种终端防御的方法、装置及计算机可读介质
CN111291000B (zh) * 2018-05-18 2023-11-03 腾讯科技(深圳)有限公司 基于区块链的文件获取方法、设备及存储介质
CN109558752B (zh) * 2018-11-06 2021-05-07 北京威努特技术有限公司 主机白名单机制下一种快速实现文件鉴别的方法
CN110855748B (zh) * 2019-10-21 2022-04-12 中国电子科技集团公司第二十九研究所 基于ftp的遥感影像数据自动规范化处理方法、装置及介质
CN112579321A (zh) * 2020-12-23 2021-03-30 京东数字科技控股股份有限公司 业务数据的下载方法、装置及设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101282366A (zh) * 2008-05-21 2008-10-08 北京中企开源信息技术有限公司 点对点网络中的数据传输处理方法及装置
CN101505253A (zh) * 2008-02-05 2009-08-12 突触计算机系统(上海)有限公司 网络设备的附属设备中为网络设备提供数据的方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101505253A (zh) * 2008-02-05 2009-08-12 突触计算机系统(上海)有限公司 网络设备的附属设备中为网络设备提供数据的方法及装置
CN101282366A (zh) * 2008-05-21 2008-10-08 北京中企开源信息技术有限公司 点对点网络中的数据传输处理方法及装置

Also Published As

Publication number Publication date
CN102752326A (zh) 2012-10-24

Similar Documents

Publication Publication Date Title
CN102752326B (zh) 在下载文件时处理数据的方法、服务器和系统
JP7144117B2 (ja) モデルトレーニングシステムおよび方法および記憶媒体
US7907531B2 (en) Apparatus and methods for managing firmware verification on a wireless device
US7770785B2 (en) Apparatus and methods for detection and management of unauthorized executable instructions on a wireless device
CN111291000B (zh) 基于区块链的文件获取方法、设备及存储介质
CN101711470A (zh) 一种用于在对等网络上创建共享信息列表的系统和方法
CN111339471A (zh) 动态加载页面埋点数据的方法及装置
CN103634283A (zh) 一种审核结果的反馈方法及云端服务器
CN110838971B (zh) 消息发送方法、装置、电子设备及存储介质
Jones et al. Deploying android security updates: an extensive study involving manufacturers, carriers, and end users
CN112306973A (zh) 一种图片导入系统及方法
CN105553671A (zh) 一种数字证书的管理方法、装置及系统
CN103684809B (zh) 一种网络资源管理方法、装置、客户端及系统
CN108650123B (zh) 故障信息记录方法、装置、设备和存储介质
CN112468840B (zh) 一种iptv系统内第三方epg服务器防篡改系统及方法
CN111625700B (zh) 防抓取的方法、装置、设备及计算机存储介质
CN117640738A (zh) 报表推送方法、装置、设备及存储介质
CN110471966B (zh) 信息数据校验方法、装置、计算机设备及存储介质
CN110874316B (zh) 扫描代码的方法、装置和系统
CN115134356A (zh) 针对中心节点分发监控节点下载的方法、系统和介质
CN104660721B (zh) 资源数据下载中的下载地址处理方法、系统和装置
CN113239297A (zh) 消息推送方法、系统及存储介质
CN113660277B (zh) 一种基于复用埋点信息的反爬虫方法及处理终端
CN113965899B (zh) 一种检测短信扣量服务器及检测短信扣量的方法
US20060069757A1 (en) Automated PCN downloads

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20190731

Address after: 518000 Guangdong city of Shenzhen province Futian District SEG Science Park 2 East Room 403

Co-patentee after: Tencent cloud computing (Beijing) limited liability company

Patentee after: Tencent Technology (Shenzhen) Co., Ltd.

Address before: 518000 Guangdong city of Shenzhen province Futian District SEG Science Park 2 East Room 403

Patentee before: Tencent Technology (Shenzhen) Co., Ltd.

TR01 Transfer of patent right