CN103379139B - 分布式缓存内容的校验方法、系统和装置 - Google Patents

分布式缓存内容的校验方法、系统和装置 Download PDF

Info

Publication number
CN103379139B
CN103379139B CN201210113263.4A CN201210113263A CN103379139B CN 103379139 B CN103379139 B CN 103379139B CN 201210113263 A CN201210113263 A CN 201210113263A CN 103379139 B CN103379139 B CN 103379139B
Authority
CN
China
Prior art keywords
contrast
check value
content
user
machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210113263.4A
Other languages
English (en)
Other versions
CN103379139A (zh
Inventor
刘凡
蒋浩
刘宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201210113263.4A priority Critical patent/CN103379139B/zh
Publication of CN103379139A publication Critical patent/CN103379139A/zh
Application granted granted Critical
Publication of CN103379139B publication Critical patent/CN103379139B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提出一种分布式缓存内容的校验方法、系统和装置。方法包括以下步骤:多个缓存节点接收用户请求并从源站获得相应的响应内容;所述多个缓存节点根据所述响应内容生成对应的响应校验值,并将所述用户请求及对应的响应校验值发送至对比机;所述对比机根据所述用户请求从所述源站获取对比内容,并根据所述对比内容生成相应的第一对比校验值;以及所述对比机根据所述多个缓存节点发送的响应校验值和生成的所述第一对比校验值进行校验。根据本发明的校验方法,通过增加对比机从源站获取对比内容以生成校验值进行校验,显著地提高了校验速度,能够及时发现缓存内容与源站内容不同的情况,保证良好的用户体验。

Description

分布式缓存内容的校验方法、系统和装置
技术领域
本发明涉及缓存校验技术领域,特别涉及一种分布式缓存内容的校验方法、系统和装置。
背景技术
目前,通常使用CDN(Content Delivery Network,内容分发网络)系统缓存较远处源站的内容,这种缓存存在的问题是,无法保证缓存内容与源站内容总是相同的。因此,需要提供一种机制以对比缓存内容和源站内容,确保缓存内容的正确性。但是,CDN系统中的缓存数据量巨大,对所有数据进行全部校验是不现实的。因此,需要考虑如何以最小的代价获取最好的校验效果。
基于上述考虑,现有的一种校验方法是,抽取用户访问的部分URL,从CDN系统的各个节点上下载缓存内容,再从源站下载源站内容,比较缓存内容和源站内容是否相同。
现有技术存在的缺点是,需要从CDN系统的各个节点和源站再下载一次内容,因此校验速度很慢,只能覆盖极少量访问频度高或比较重要的URL,校验效果差。
发明内容
本发明的目的旨在至少解决上述技术缺陷之一。
为此,本发明的一个目的在于提出一种校验速度快且校验效果好的分布式缓存内容的校验方法。
本发明的另一个目的在于提出一种分布式缓存内容的校验系统。
本发明的再一个目的在于提出一种缓存节点。
本发明的又一个目的在于提出一种对比机。
为达到上述目的,根据本发明第一方面的实施例公开了一种分布式缓存内容的校验方法,包括以下步骤:多个缓存节点接收用户请求并从源站获得相应的响应内容;所述多个缓存节点根据所述响应内容生成对应的响应校验值,并将所述用户请求及对应的响应校验值发送至对比机;所述对比机根据所述用户请求从所述源站获取对比内容,并根据所述对比内容生成相应的第一对比校验值;以及所述对比机根据所述多个缓存节点发送的响应校验值和生成的所述第一对比校验值进行校验。
根据本发明实施例的分布式缓存内容的校验方法,通过增加分别与源站和多个缓存节点相连的对比机进行内容提取和校验,提高内容下载速度,从而提高校验速度,由此能够及时发现缓存内容与源站内容不同的情况,保证良好的用户体验。
为达到上述目的,根据本发明第二方面的实施例公开了一种分布式缓存内容的校验系统,包括:源站,用于根据用户请求提供相应响应内容;多个缓存节点,所述多个缓存节点与所述源站相连,用于向所述源站发送用户请求,并从所述源站获得相应的响应内容,以及根据所述响应内容生成对应的响应校验值;以及对比机,所述对比机分别与所述源站和所述多个缓存节点相连,用于接收所述多个缓存节点反馈的响应校验值,并根据所述用户请求从所述源站获取对比内容,并根据所述对比内容生成相应的第一对比校验值,以及根据所述多个缓存节点发送的响应校验值和生成的所述第一对比校验值进行校验。
根据本发明实施例的分布式缓存内容的校验系统,通过增加分别与源站和多个缓存节点相连的对比机进行内容提取和校验,提高内容下载速度,从而提高校验速度,由此能够及时发现缓存内容与源站内容不同的情况,保证良好的用户体验。
为达到上述目的,根据本发明第三方面的实施例公开了一种缓存节点,包括:第一发送模块,用于向源站转发用户请求;第一接收模块,用于从所述源站接收与所述用户请求相应的响应内容;以及第一校验模块,用于根据所述响应内容生成对应的响应校验值,并将所述响应校验值发送至对比机。
根据本发明实施例的缓存节点,分别与源站和对比机相连,通过将响应校验值发送至对比机,从而使得对比机可以根据响应校验值完成后续的校验工作,提高校验速度。
为达到上述目的,根据本发明第四方面的实施例公开了一种对比机,包括:第二接收模块,用于从多个缓存节点接收用户请求和与所述用户请求对应的响应校验值,并根据所述用户请求从源站中获得相应的对比内容;第二发送模块,用于将所述用户请求发送至所述源站;以及第二校验模块,用于根据所述对比内容生成相应的第一对比校验值,并根据所述多个缓存节点发送的响应校验值和生成的所述第一对比校验值进行校验。
根据本发明实施例的对比机,分别与源站和多个缓存节点相连以进行内容提取和校验,提高内容下载速度,从而提高校验速度,由此能够及时发现缓存内容与源站内容不同的情况,保证良好的用户体验。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为根据本发明一个实施例的分布式缓存内容的校验方法的流程图;
图2为根据本发明另一个实施例的分布式缓存内容的校验方法的流程图;
图3为根据本发明一个实施例的分布式缓存内容的校验系统的结构示意图;
图4为根据本发明一个实施例的缓存节点的结构示意图;
图5为根据本发明一个实施例的对比机的结构示意图;
图6为根据本发明另一个实施例的对比机的结构示意图;以及
图7为根据本发明又一个实施例的对比机的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
在本发明的描述中,需要理解的是,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。此外,在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
下面参考说明书附图描述根据本发明实施例的分布式缓存内容的校验方法。
一种分布式缓存内容的校验方法,包括以下步骤:多个缓存节点接收用户请求并从源站获得相应的响应内容;多个缓存节点根据响应内容生成对应的响应校验值,并将用户请求及对应的响应校验值发送至对比机;对比机根据用户请求从源站获取对比内容,并根据对比内容生成相应的第一对比校验值;以及对比机根据多个缓存节点发送的响应校验值和生成的第一对比校验值进行校验。
图1为本发明一个实施例的分布式缓存内容的校验方法的流程图。如图1所示,该校验方法包括下述步骤。
步骤S101,多个缓存节点接收用户请求并从源站获得相应的响应内容。
其中,多个缓存节点分布在全国各地,缓存源站的内容。
步骤S102,多个缓存节点根据相应内容生成对应的响应校验值,并将上述用户请求及对应的响应校验值发送至对比机。
在本发明的实施例中,在多个缓存节点响应用户请求的同时计算响应校验值,而不是校验时再从各个节点拉取一次内容,从而节省了大量访问。具体地,可在给用户发送数据的过程中,实时流式计算校验值,由此只占用极少的系统资源。
由于多个缓存节点和对比机之间传输的文件较大,因此在本发明的一个实施例中,多个缓存节点与对比机之间通过FTP(File Transfer Protocol,文件传输协议)的方式进行通信。此外,在网络部署上,可以只部署一台对比机接收多个缓存节点上传的文件,如果速度不够,可以部署多台对比机接收上传的文件,多台对比机之间使用nfs同步数据。
此外,多个缓存节点提取的响应内容包括URL、checksum等很多项,在实践过程中可根据实际需要提取用户关心的项,例如提取URL项。提取完成后,并不是所有的URL都需要校验,例如,前一天已经校验过的可以不进行校验等。因此,在本发明的一个实施例中,多个缓存节点中设置有校验策略,多个缓存节点按照校验策略有选择地对用户请求所请求的内容进行校验。
步骤S103,对比机根据用户请求从源站获取对比内容,并根据对比内容生成相应的第一对比校验值。
其中,对比机为距离源站较近的某台机器,例如对比机与源站位于同一个机房。由此,对比机可以以较高的速率从源站上拉取内容,并且拉取速率可配置,保证不超过源站的承载能力。
此外,由于不同的缓存节点上传的用户请求有很大的重合度,因此,在本发明的一个实施例中,为了节省回源量,在用户请求及其校验值上传到对比机后,对比机对相同URL的用户请求进行合并。而且回源时,为了提高速率或者为了减少带宽费用,也应该考虑内网回源,当然如果环境不允许,也可以走外网回源。
在本发明的另一个实施例中,在对比机接收到用户请求及其校验值后,首先按照用户请求的访问频次由高到低进行排序,然后再按照用户请求的排序结果从源站获取对比内容,计算第一对比校验值。由此,在请求量巨大而无法全部校验的情况下,仍然可以获得较好的实际校验效果。
步骤S104,对比机根据多个缓存节点发送的响应校验值和生成的第一对比校验值进行校验。
如果响应校验值和生成的第一对比校验值相同,则可确定缓存内容正确。如果响应校验值和生成的第一对比校验值不同,则仍须进行进一步的判断(参见下面实施例的描述)。
根据本发明实施例的分布式缓存内容的校验方法,通过增加分别与源站和多个缓存节点相连的对比机进行内容提取和校验,提高内容下载速度,从而提高校验速度,由此能够及时发现缓存内容与源站内容不同的情况,保证良好的用户体验。
图2是根据本发明另一个实施例的分布式缓存内容的校验方法的流程图。在本发明实施例中,具体描述了当校验值不同时的处理方式。如图2所示,该校验方法包括下述步骤。
步骤S201,多个缓存节点接收用户请求并从源站获得相应的响应内容。
步骤S202,多个缓存节点根据响应内容生成对应的响应校验值,并将用户请求及对应的响应校验值发送至对比机。
步骤S203,对比机根据用户请求从源站获取对比内容,并根据对比内容生成相应的第一对比校验值。
步骤S204,对比机根据多个缓存节点发送的响应校验值和生成的第一对比校验值进行校验。
上述步骤S201至步骤S204的具体实现方法与上述步骤S101至步骤S104的实现方法相同,此处不再详细描述。
步骤S205,当响应校验值和第一对比校验值不同时,对比机从多个缓存节点中获取与用户请求相应的对比内容。
对于少量校验值不同的请求,有可能是由于从用户访问到对比机从源拉取这段时间内,源站改变了内容。对于这部分URL,需要再次与URL所在的节点进行比较,以验证缓存内容的正确性。
此外,少数情况下,由于源站不按约定的缓存时间更新大量内容,导致校验大量失败。针对这种情况,在本发明的一个实施例中采取的策略是,只与节点比较固定条数的URL,然后发送邮件通告,由源站管理人员根据具体情况处理。这种做法是合理的,这是因为,首先,只有极少数情况下发生大量校验失败的情况;其次,大量校验失败最大的可能是源进行了操作,需要与源站管理人员确认原因,程序不必逐条URL对比;再者,如果真是网络错误导致缓存失败,从对比机到各个缓存节点的拉取速度太慢,应该到各个节点本身拉取内容进行对比。总之,出现大量校验失败的情况时,程序进行报警,具体的处理由人工进行。
步骤S206,对比机根据获取的内容生成第二对比校验值。
步骤S207,对比机根据响应校验值和第二对比校验值进行校验。
步骤S208,当响应校验值和第二对比校验值仍不同,则确定缓存内容错误。
当然,如果响应校验值和第二对比校验值相同,则可确定是由于从用户访问到对比机从源拉取这段时间内源站内容改变而导致的第一次校验失败,此时可确定缓存内容无误。
根据本发明实施例的分布式缓存内容的校验方法,通过二次校验,避免由于从用户访问到对比机从源拉取这段时间内源站内容改变而导致的误判,提高校验准确性。
下面参考说明书附图描述根据本发明实施例的分布式缓存内容的校验系统。
一种分布式缓存内容的校验系统,包括:源站,用于根据用户请求提供相应响应内容;多个缓存节点,与源站相连,用于向源站发送用户请求,并从源站获得相应的响应内容,以及根据响应内容生成对应的响应校验值;以及对比机,分别与源站和多个缓存节点相连,用于接收多个缓存节点反馈的响应校验值,并根据用户请求从源站获取对比内容,并根据对比内容生成相应的第一对比校验值,以及根据多个缓存节点发送的响应校验值和生成的第一对比校验值进行校验。
图3为根据本发明一个实施例的分布式缓存内容的校验系统的结构示意图。如图3所示,该校验系统包括:源站10、两个缓存节点20和对比机30。需要说明的是,图3仅为示意性的例子,并不用于限制本发明,缓存节点20的数目可以为任意多个,且可分布在全国各地。对比机30与源站10的距离较近,例如位于同一个机房,使用内网进行通信。
源站10用于根据用户请求提供相应的响应内容。多个缓存节点20均与源站10相连,用于向源站10发送用户请求,并从源站10获得相应的响应内容,以及根据响应内容生成对应的响应校验值。对比机30分别与源站10和多个缓存节点20相连,用于接收多个缓存节点20反馈的响应校验值,并根据用户请求从源站10获取对比内容,并根据对比内容生成相应的第一对比校验值,以及根据多个缓存节点20发送的响应校验值和生成的第一对比校验值进行校验。
具体地,对比机30在接收到多个缓存节点20发送的对比请求后,根据用户请求的内容的访问频次由高到低对用户请求进行排序,并按照用户请求的排序结果从源站获取对比内容。由此,在请求量巨大而无法全部校验的情况下,任然可以获得较好的实际校验效果。此外,对比机30在接收到多个缓存节点20发送的对比请求后,还可对具有相同URL的用户请求进行合并。由此,节省回源量,减少资源占用。
此外,当响应校验值和第一对比校验值不同时,对比机30还用于从多个缓存节点20中获取与用户请求相应的对比内容,并根据获取的对比内容生成第二对比校验值,以及根据响应校验值和第二对比校验值进行校验。当第二对比校验值和响应校验值仍然不同时,确定缓存内容有误。由此,避免由于从用户访问到对比机从源拉取这段时间内源站内容改变而导致的误判。
在本发明的一个实施例中,由于多个缓存节点20和对比机30之间传输的文件较大,因此多个缓存节点20和对比机30之间采用FTP的方式进行通信。此外,为了提高文件上传的速度,在本发明的另一个实施例中,可部署多个对比机30接收上传文件,多台对比机30之间使用nfs同步数据。
在本发明的一个实施例中,多个缓存节点20中设置有校验策略,多个缓存节点20根据校验策略有选择地对用户请求所请求的响应内容进行校验。例如,前一天已经校验过的用户请求对应的响应内容可以不校验。
根据本发明实施例的分布式缓存内容的校验系统,通过增加分别与源站和多个缓存节点相连的对比机进行内容提取和校验,提高内容下载速度,从而提高校验速度,由此能够及时发现缓存内容与源站内容不同的情况,保证良好的用户体验。
下面参考说明书附图描述根据本发明实施例的缓存节点。
图4为根据本发明一个实施例的缓存节点的结构示意图。如图4所示,该缓存节点包括第一发送模块210、第一接收模块220和第一校验模块230。
第一发送模块210用于向源站10转发用户请求。第一接收模块用于从源站10接收与用户请求相应的响应内容。第一校验模块230用于根据响应内容生成对应的响应校验值,并将响应校验值发送至对比机。
在本发明的一个实施例中,缓存节点中设置有校验策略,第一校验模块230根据校验策略有选择性地对用户请求所请求的响应内容进行校验。例如,前一天已经校验过的用户请求对应的响应内容可以不校验。应理解,校验策略可以设置在第一校验模块230中,或者存储在单独的存储单元中。
根据本发明实施例的缓存节点,分别与源站和对比机相连,通过将响应校验值发送至对比机,从而使得对比机可以根据响应校验值完成后续的校验工作,提高校验速度。
下面参考说明书附图描述根据本发明实施例的对比机。
图5为根据本发明一个实施例的对比机的结构示意图。如图5所示,该对比机包括第二接收模块310、第二发送模块320和第二校验模块330。
第二接收模块310用于多个缓存节点20接收用户请求和用户请求对应的响应校验值,并根据用户请求从源站10中获取相应的对比内容。第二发送模块320用于将用户请求发送至源站10。第二校验模块330用于根据对比内容生成第一对比校验值,并根据多个缓存节点20发送的响应校验值和生成的第一对比校验值进行校验。
根据本发明实施例的对比机,分别与源站和多个缓存节点相连以进行内容提取和校验,提高内容下载速度,从而提高校验速度,由此能够及时发现缓存内容与源站内容不同的情况,保证良好的用户体验。
在本发明的一个实施例中,当响应校验值和第一对比校验值不同时,第二校验模块还用于从多个缓存节点20中获取与用户请求相应的响应内容,并根据获取的响应内容生成第二对比校验值,以及根据响应校验值和第二对比校验值进行校验。由此,避免由于从用户访问到对比机从源拉取这段时间内源站内容改变而导致的误判,提高校验准确性。
图6为根据本发明另一个实施例的对比机的结构示意图。如图6所示,在图5所示的实施例的基础上,该对比机还包括排序模块340。
排序模块340用于根据用户请求的内容的访问频次对用户请求进行排序,例如由高到低,以便按照用户请求的排序结果从源站10获取对比内容。
根据本发明实施例的对比机,通过按照用户请求的访问频次的排序结果从源站获取对比内容,保证在请求量巨大而无法全部校验的情况下,仍然可以获得较好的实际校验效果。
图7为根据本发明又一个实施例的对比机的结构示意图。如图7所示,在图5所示的实施例的基础上,该对比机还包括合并模块350。
合并模块350用于对相同URL的用户请求进行合并。
根据本发明实施例的对比机,通过对相同URL的用户请求进行合并,节省了回源量,提高了速率,减少了资源占用。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同限定。

Claims (20)

1.一种分布式缓存内容的校验方法,其特征在于,包括以下步骤:
多个缓存节点接收用户请求并从源站获得相应的响应内容;
所述多个缓存节点根据所述响应内容生成对应的响应校验值,并将所述用户请求及对应的响应校验值发送至对比机;
所述对比机根据所述用户请求从所述源站获取对比内容,并根据所述对比内容生成相应的第一对比校验值;以及
所述对比机根据所述多个缓存节点发送的响应校验值和生成的所述第一对比校验值进行校验。
2.如权利要求1所述的分布式缓存内容的校验方法,其特征在于,在所述对比机接收到所述用户请求及对应的响应校验值之后,还包括:
所述对比机根据所述用户请求的内容的访问频次对所述用户请求进行排序;以及
所述对比机按照所述用户请求的排序结果从所述源站获取对比内容。
3.如权利要求1所述的分布式缓存内容的校验方法,其特征在于,还包括:
当所述响应校验值和所述第一对比校验值不同时,则所述对比机从所述多个缓存节点中获取与所述用户请求相应的对比内容;
所述对比机根据所述获取的对比内容生成第二对比校验值;
所述对比机根据所述响应校验值和所述第二对比校验值进行校验。
4.如权利要求1-3任一项所述的分布式缓存内容的校验方法,其特征在于,所述多个缓存节点中设置有校验策略,所述多个缓存节点根据所述校验策略有选择地对所述用户请求所请求的响应内容进行校验。
5.如权利要求1-3任一项所述的分布式缓存内容的校验方法,其特征在于,所述多个缓存节点与所述对比机之间通过文件传输协议FTP的方式进行通信。
6.如权利要求1-3任一项所述的分布式缓存内容的校验方法,其特征在于,所述对比机为多个。
7.如权利要求1所述的分布式缓存内容的校验方法,其特征在于,在所述对比机接收到所述用户请求及对应的响应校验值之后,还包括:
所述对比机对相同URL的所述用户请求进行合并。
8.一种分布式缓存内容的校验系统,其特征在于,包括:
源站,用于根据用户请求提供相应响应内容;
多个缓存节点,所述多个缓存节点与所述源站相连,用于向所述源站发送用户请求,并从所述源站获得相应的响应内容,以及根据所述响应内容生成对应的响应校验值;以及
对比机,所述对比机分别与所述源站和所述多个缓存节点相连,用于接收所述多个缓存节点反馈的响应校验值,并根据所述用户请求从所述源站获取对比内容,并根据所述对比内容生成相应的第一对比校验值,以及根据所述多个缓存节点发送的响应校验值和生成的所述第一对比校验值进行校验。
9.如权利要求8所述的分布式缓存内容的校验系统,其特征在于,所述对比机,还用于根据所述用户请求的内容的访问频次对所述用户请求进行排序,并按照所述用户请求的排序结果从所述源站获取对比内容。
10.如权利要求8所述的分布式缓存内容的校验系统,其特征在于,当所述响应校验值和所述第一对比校验值不同时,所述对比机还用于从所述多个缓存节点中获取与所述用户请求相应的对比内容,并根据所述获取的对比内容生成第二对比校验值,以及根据所述响应校验值和所述第二对比校验值进行校验。
11.如权利要求8所述的分布式缓存内容的校验系统,其特征在于,其中,所述多个缓存节点中设置有校验策略,所述多个缓存节点还用于根据所述校验策略有选择地对所述用户请求所请求的响应内容进行校验。
12.如权利要求8所述的分布式缓存内容的校验系统,其特征在于,所述多个缓存节点与所述对比机之间通过文件传输协议FTP的方式进行通信。
13.如权利要求8所述的分布式缓存内容的校验系统,其特征在于,所述对比机为多个。
14.如权利要求8所述的分布式缓存内容的校验系统,其特征在于,所述对比机还用于对具有相同URL的所述用户请求进行合并。
15.一种缓存节点,其特征在于,包括:
第一发送模块,用于向源站转发用户请求;
第一接收模块,用于从所述源站接收与所述用户请求相应的响应内容;以及
第一校验模块,用于根据所述响应内容生成对应的响应校验值,并将所述响应校验值以及所述用户请求发送至对比机,其中,所述对比机根据所述用户请求从所述源站获取对比内容,并根据所述对比内容生成相应的第一对比校验值,并根据所述响应校验值和所述第一对比校验值行校验。
16.如权利要求15所述的缓存节点,其特征在于,其中,缓存节点中设置有校验策略,所述第一校验模块根据所述校验策略有选择地对所述用户请求所请求的响应内容进行校验。
17.一种对比机,其特征在于,包括:
第二接收模块,用于从多个缓存节点接收用户请求和与所述用户请求对应的响应校验值,并根据所述用户请求从源站中获得相应的对比内容;
第二发送模块,用于将所述用户请求发送至所述源站;以及
第二校验模块,用于根据所述对比内容生成相应的第一对比校验值,并根据所述多个缓存节点发送的响应校验值和生成的所述第一对比校验值进行校验。
18.如权利要求17所述的对比机,其特征在于,还包括:
排序模块,用于根据所述用户请求的内容的访问频次对所述用户请求进行排序,以便按照所述用户请求的排序结果从所述源站获取对比内容。
19.如权利要求17所述的对比机,其特征在于,当所述响应校验值和所述第一对比校验值不同时,所述第二校验模块还用于从所述多个缓存节点中获取与所述用户请求相应的响应内容,并根据所述获取的响应内容生成第二对比校验值,以及根据所述响应校验值和所述第二对比校验值进行校验。
20.如权利要求17所述的对比机,其特征在于,还包括:
合并模块,用于对具有相同URL的所述用户请求进行合并。
CN201210113263.4A 2012-04-17 2012-04-17 分布式缓存内容的校验方法、系统和装置 Active CN103379139B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210113263.4A CN103379139B (zh) 2012-04-17 2012-04-17 分布式缓存内容的校验方法、系统和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210113263.4A CN103379139B (zh) 2012-04-17 2012-04-17 分布式缓存内容的校验方法、系统和装置

Publications (2)

Publication Number Publication Date
CN103379139A CN103379139A (zh) 2013-10-30
CN103379139B true CN103379139B (zh) 2017-07-25

Family

ID=49463696

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210113263.4A Active CN103379139B (zh) 2012-04-17 2012-04-17 分布式缓存内容的校验方法、系统和装置

Country Status (1)

Country Link
CN (1) CN103379139B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9928281B2 (en) * 2015-03-20 2018-03-27 International Business Machines Corporation Lightweight table comparison
CN107528825A (zh) * 2017-07-06 2017-12-29 努比亚技术有限公司 一种资源下载方法、终端及计算机可读存储介质
CN110086756B (zh) * 2018-01-26 2022-12-02 沪江教育科技(上海)股份有限公司 一种验证方法、终端以及服务器
CN108282543A (zh) * 2018-03-05 2018-07-13 北京云端智度科技有限公司 一种cdn节点内容校验方法和系统
CN108667827B (zh) * 2018-04-25 2019-07-26 北京白山耘科技有限公司 云分发网络缓存内容校验方法、装置、网络、存储介质及计算设备
CN110943876B (zh) * 2018-09-21 2023-04-18 阿里巴巴集团控股有限公司 Url状态检测方法、装置、设备和系统
CN111385157B (zh) * 2018-12-27 2022-06-03 厦门白山耘科技有限公司 一种服务器异常检测方法及装置
CN110247740B (zh) * 2019-05-17 2022-03-08 五邑大学 一种数据传输方法、装置、设备和存储介质
CN110460487B (zh) * 2019-06-25 2022-04-05 网宿科技股份有限公司 服务节点的监控方法及系统、服务节点
CN110460486B (zh) * 2019-06-25 2022-08-05 网宿科技股份有限公司 服务节点的监控方法及系统
CN112866310B (zh) * 2019-11-12 2022-03-04 北京金山云网络技术有限公司 Cdn回源的校验方法和校验服务器、cdn集群
CN111314365B (zh) * 2020-02-25 2022-08-16 卓望数码技术(深圳)有限公司 应用下载、应用链接生成方法、设备及介质
CN113300875A (zh) * 2021-02-10 2021-08-24 阿里巴巴集团控股有限公司 回源数据校验方法、服务器、系统及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008034352A1 (fr) * 2006-09-22 2008-03-27 Huawei Technologies Co., Ltd. Procédé, système et serveur frontière destinés à distribuer des ressources
CN101360260A (zh) * 2007-07-31 2009-02-04 广东新支点技术服务有限公司 适合2.5g/3g移动数据网络的混合式移动p2p内容共享系统架构
CN101924785A (zh) * 2010-04-28 2010-12-22 华为技术有限公司 数据的上传方法、下载方法和系统
CN102075561A (zh) * 2010-11-29 2011-05-25 成都市华为赛门铁克科技有限公司 一种网络资源下载方法,装置及系统
CN102255695A (zh) * 2011-07-22 2011-11-23 乐视网信息技术(北京)股份有限公司 一种应用于p2p网络分发系统的数据校验方法与系统
CN102387179A (zh) * 2010-09-02 2012-03-21 联想(北京)有限公司 分布式文件系统及其结点、存储方法和存储控制方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8799409B2 (en) * 2009-01-15 2014-08-05 Ebay Inc. Server side data cache system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008034352A1 (fr) * 2006-09-22 2008-03-27 Huawei Technologies Co., Ltd. Procédé, système et serveur frontière destinés à distribuer des ressources
CN101360260A (zh) * 2007-07-31 2009-02-04 广东新支点技术服务有限公司 适合2.5g/3g移动数据网络的混合式移动p2p内容共享系统架构
CN101924785A (zh) * 2010-04-28 2010-12-22 华为技术有限公司 数据的上传方法、下载方法和系统
CN102387179A (zh) * 2010-09-02 2012-03-21 联想(北京)有限公司 分布式文件系统及其结点、存储方法和存储控制方法
CN102075561A (zh) * 2010-11-29 2011-05-25 成都市华为赛门铁克科技有限公司 一种网络资源下载方法,装置及系统
CN102255695A (zh) * 2011-07-22 2011-11-23 乐视网信息技术(北京)股份有限公司 一种应用于p2p网络分发系统的数据校验方法与系统

Also Published As

Publication number Publication date
CN103379139A (zh) 2013-10-30

Similar Documents

Publication Publication Date Title
CN103379139B (zh) 分布式缓存内容的校验方法、系统和装置
CN104468363B (zh) 页面重定向方法、路由设备、终端设备及系统
CN104423378B (zh) 车辆电子控制单元校准的方法和系统
US8572187B2 (en) Automated duplicate message content detection
CN105548749B (zh) 一种基于互联网的通讯终端测试方法、装置及系统
CN104133704B (zh) 软件升级、升级包下发方法、装置和设备
CN110489374A (zh) 多片式处理器中的信号通路
CN110463138A (zh) 网络结构信息生成方法及通信设备
CN103716348B (zh) 基于cdn网络的数据访问方法、系统及装置
CN109995548B (zh) 设备管理方法、系统和数据传输方法、系统及终端设备
CN103560937B (zh) 数据访问方法和入口服务器
CN106612309B (zh) 配置文件的更新方法、装置及系统
CN103051722B (zh) 一种确定页面是否被劫持的方法及相关设备
CN106411753A (zh) 通过路由器进行下载的方法和路由器
CN102685155B (zh) 内容传送的方法、内容传送服务器及内容传送代理服务器
CN106156308B (zh) 用于网页的局部更新方法及系统
CN105245410A (zh) 一种数据编码传输方法
CN111049926B (zh) 一种数据传输方法及相关设备
CN109284173A (zh) 一种用于虚拟机业务迁移的智能管理设备
CN108062293A (zh) 一种基于内容的分级数据校验方法
CN104468190A (zh) 一种wifi数据抓包方法、装置及智能终端
CN104270651B (zh) 基于多ip库的消息投放方法及装置
WO2016058462A1 (zh) 可扩展的跨网元业务配置方法及系统
CN102195860B (zh) 网络节点互联数据的配置方法及平台
CN109542487A (zh) 升级方法、装置、云服务器及计算机可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant