CN112825526B

CN112825526B - 文件更新方法、装置、介质及设备

Info

Publication number: CN112825526B
Application number: CN201911143359.3A
Authority: CN
Inventors: 郑友声; 蔡少君; 吴志军; 王少阳
Original assignee: Guizhou Baishancloud Technology Co Ltd
Current assignee: Guizhou Baishancloud Technology Co Ltd
Priority date: 2019-11-20
Filing date: 2019-11-20
Publication date: 2023-01-31
Anticipated expiration: 2039-11-20
Also published as: CN112825526A

Abstract

本文是关于一种文件更新的方法、装置及介质，文件更新的方法包括：加载管理中心发送的更新规则；接收访问请求，查找与所述访问请求对应的响应文件；根据所述更新规则确定所述响应文件是否需要更新；在所述响应文件需要更新时，获取所述响应文件的源文件，并更新所述响应文件。适应热加载模式，不会加载未使用的域名配置信息，节约内存，减少CPU消耗，在待更新响应文件很多时，文件更新会在响应不同客户端不同时间段的请求时进行，避免并发大面积更新，保持服务器的稳定。

Description

文件更新方法、装置、介质及设备

技术领域

本文涉及文件存储领域，尤其涉及文件更新方法、装置、介质及设备。

背景技术

CDN业务或其他网站，系统核心都是文件正确性，当文件发生错误时影响的可能是整个服务。还有在对外服务时因为服务器性能问题一般都会设置缓存，于是缓存就代表文件本身，快速处理错误缓存极为重要。相关技术中，处理错误缓存的主要模式为：匹配URL特征进行清理过期、错误的文件或缓存推送，无法解决特殊场景的推送。其系统原理是在服务器上找到文件存储位置的索引将其设置为EXPIRE或是ERROR，在处理千万条并发错误情况下查找索引极其消耗CPU，IO资源。而且，在CDN场景下域名和配置多采用热加载方式，当执行大批量推送时需要激活这些未加载域名到系统中，会在瞬间占用大量内存。以上结果叠加轻则导致服务器负载高，当加载量级特别高，用尽所有内存时，甚至系统崩溃。

发明内容

为克服相关技术中存在的问题，本文提供一种文件更新方法、装置、介质及设备。

根据本文的第一方面，提供一种文件更新方法，包括：

加载管理中心发送的更新规则；

接收访问请求，查找与所述访问请求对应的响应文件；

根据所述更新规则确定所述响应文件是否需要更新；

在所述响应文件需要更新时，获取所述响应文件的源文件，并更新所述响应文件。

所述更新规则包括URL样式匹配条件，头部特征匹配条件，文件大小匹配条件，文件内容匹配条件，文件存储时间中的一条或多条。

所述根据更新规则确定所述响应文件是否需要更新包括：

当所述响应文件满足所述更新规则中的所有匹配条件时，确定所述响应文件需要更新。

所述更新规则还包括计数器，所述在所述响应文件需要更新时，获取所述响应文件的源文件，并更新所述响应文件后，将所述计数器的值减1，在所述计数器的值为0时，忽略所述更新规则。

当所述接收访问请求后，未查找到与所述访问请求对应的响应文件时，回源拉取所述请求对应的源文件，并缓存。

根据本文的另一方面，提供一种文件更新装置，包括：

加载模块，用于加载管理中心发送的更新规则；

访问请求接收模块，用于接收访问请求，查找与所述访问请求对应的响应文件；

处理模块，用于根据所述更新规则确定所述响应文件是否需要更新；

更新模块，用于在所述响应文件需要更新时，获取所述响应文件的源文件，并更新所述响应文件。

所述根据更新规则确定所述响应文件是否需要更新包括：

根据本文的另一方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现文件更新方法的步骤。

根据本文的另一方面，提供一种计算机设备，包括处理器、存储器和存储于所述存储器上的计算机程序，所述处理器执行所述计算机程序时实现文件更新方法的步骤。

本文提供的文件更新方法，通过加载更新规则，可以实现热加载模式，不会加载未使用的域名配置信息，节约内存，减少CPU消耗；在待更新响应文件很多时，文件更新会在响应不同客户端不同时间段的请求时进行，避免并发大面积更新，保持服务器的稳定；支持多内容匹配规则，可实现各种场景下的精确匹配业务；通过分层判断逻辑，将响应的响应文件快速分类，加快判断的过程，减少用户等待时间，同时适用于多规则与分布式集群架构。对于劫持情况下，多层资源存在错误文件时，可增加逻辑判断次数，通过多次回源过程，将响应文件更新为正确的文件。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本文。

附图说明

构成本文的一部分的附图用来提供对本文的进一步理解，本文的示意性实施例及其说明用于解释本文，并不构成对本文的不当限定。在附图中：

图1是根据一示例性实施例示出的一种文件更新方法的流程图。

图2是根据一示例性实施例示出的一种文件更新装置的框图。

图3是根据一示例性实施例示出的一种计算机设备的框图。

具体实施方式

为使本文实施例的目的、技术方案和优点更加清楚，下面将结合本文实施例中的附图，对本文实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本文一部分实施例，而不是全部的实施例。基于本文中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本文保护的范围。需要说明的是，在不冲突的情况下，本文中的实施例及实施例中的特征可以相互任意组合。

在一些场景，特别是CDN场景下，如果发现源文件存在错误，或者源文件需要更新，或者部分节点服务器被劫持，导致部分缓存服务器中缓存的文件为错误文件，需要及时更新，如将正确的源文件推送到全部缓存服务器，需要耗费大量的资源和时间，特别是在需要推送的文件较多时，容易耗尽系统内存，造成系统崩溃。为解决上述问题，本文提供一种文件更新的方法。

图1是根据一示例性实施例示出的一种文件更新方法的流程图。参考图1，文件更新方法包括：

步骤S11，加载管理中心发送的更新规则。

步骤S12，接收访问请求，查找与访问请求对应的响应文件。

步骤S13，根据更新规则确定响应文件是否需要更新。

步骤S14，在响应文件需要更新时，获取响应文件的源文件，并更新所述响应文件。

在本实施例中，当有文件需要更新时，不需要将最新的文件推送到所有服务器，而是将更新规则发送到全部服务器，由服务器将更新规则加载到系统中。在服务器收到访问请求时，会在本地查找是否存在与访问请求对应的响应文件。如果查找到本地有该访问请求对应的响应文件，再根据更新规则确定响应文件是否需要更新，并在响应文件需要更新时，获取响应文件的源文件，将响应文件更新。这里的服务器，可以是缓存服务器，也可以是WEB服务器。缓存服务器又可以是边缘服务器或者边缘服务器的上层服务器。边缘服务器接收的是客户端的访问请求，上层服务器接收的是边缘服务器的回源请求，而WEB服务器接收的有可能是客户端的访问请求，也可能是缓存服务器的回源请求。

以边缘服务器为例，在接收到客户端的请求后，如果本地缓存了该客户端的请求对应的响应文件，先根据更新规则判断该响应文件是否需要更新，如果需要更新，先删除该缓存的响应文件，然后到边缘服务器的上层服务器请求，如果上层服务器缓存有该请求对应的响应文件，将响应文件拉取到本地。同时，上层服务器会在响应边缘服务器回源请求时，根据更新规则，先确定本地缓存的文件是否需要更新，如果需要更新，上层服务器会在更新本地缓存后，才会响应边缘服务器的回源请求，保证边缘服务器拉取到正确的文件。

由本实施例，本文中的文件更新方法，适应热加载模式，不会加载未使用的域名配置信息，节约内存，减少CPU消耗，在待更新文件很多时，文件更新会在响应不同客户端不同时间段的请求时进行，避免并发大面积更新，保持服务器的稳定。

在一实施例中，管理中心确定了需要更新文件后，根据文件的多个特征，制定相应的更新规则，并将更新的规则发送到全部服务器。更新规则包括URL样式匹配条件，头部特征匹配条件，文件大小匹配条件，文件内容匹配条件，文件存储时间中的一条或多条。

例如，发现域名http://A.baishancloud.com/下的1.TXT文件存在错误，需要更新，可以制定如下规则：

"rule1":{

"url":"http://A.baishancloud.com/1.txt"，

}

更新规则中包含一条URL样式匹配条件，服务器在接收到针对该域名的访问请求时，将与该URL样式匹配的响应文件更新。

又例如，发现部分节点中，域名http://B.baishancloud.com/下的2.TXT文件，被不法分子劫持篡改，可以制定如下规则：

"rule2":{

"url":"http://B.baishancloud.com/2.txt",

"header":{

"Content-Type":"video/mp4",

"Server":"nginx"

},

"filesize":"<1000Byte"

}

规则信息中包含URL样式匹配条件，头部特征匹配条件，文件大小匹配条件，服务器在接收到针对该域名的访问时，更新与上述三个匹配条件全部匹配的响应文件。

在本实施例中，对多种匹配条件进行排列组合，可以形成多种分层判断逻辑，例如在一条更新规则中，可以包含上面的全部匹配条件，从而将响应响应文件进行快速分类，先根据URL样式将满足URL样式的缓存分类出来，再根据文件的存储时间，进行分类，再进一步按响应头部特征匹配条件进行分类，再按文件大小进行分类，最后根据文件内容进一步判断，加快判断的同时，可以适应各种场景下的精确匹配。

服务器在收到更新规则后，将规则加载到系统中。服务器并不主动更新响应文件，而是在接收到访问请求后，查找与请求对应的响应文件。例如客户端请求http://A.baishancloud.com/1.txt，服务器会在本地查找是否存在1.TXT的响应文件。如果存在，进入步骤S13，根据更新规则确定响应文件是否需要更新。

在一实施例中，接收访问请求，未查找到与请求对应的响应文件时，回源拉取请求对应的源文件，并缓存。对于回源拉取的响应文件，仍然会进入步骤S13，根据更新规则确定该响应文件是否需要更新。因为考虑到在被劫持的情况下，回源时的上层服务器也有可能被劫持，导致拉取的源文件也是错误的。

在一实施例中，根据更新规则确定响应文件是否需要更新包括：

当响应文件满足更新规则中的所有匹配条件时，确定响应文件需要更新。例如客户端请求http://A.baishancloud.com/1.txt，服务器会在本地查找是否存在1.TXT的响应文件，如果存在，且满足更新规则rule1中的url:http://A.baishancloud.com/1.txt条件，从而确定该文件1.txt需要更新。

在一实施例中，更新规则还包括计数器，在响应文件需要更新时，获取响应文件的源文件，并更新响应文件后，将计数器的值减1，在计数器的值为0时，忽略该规则。

比如rule1中，只有一条条件url:http://A.baishancloud.com/1.txt。当有客户端请求该URL时，更新条件会一直满足，导致不停的更新响应文件，而不响应客户端的请求。因此可以在更新规则中设置计数器，并使响应文件更新一次，计数器的数值减1，在计数器的值为0时，忽略该条更新规则。又如在rule2中，虽然有多条条件，不会出现上述只有一条条件时的情况，但在特殊情况下，例如发生劫持，导致多层服务器缓存的响应文件被篡改，可以将计数器的数值设置为较大的整数，直到经过多次回源将多层服务器中的响应文件更新，并拉取到正确的响应文件为止。具体数值，需要根据实际情况，CDN系统规模综合考虑。

为清楚地理解本文中的文件更新方法，举例说明。

具体实施例一

CDN系统在运行过程中，内容提供商需要对自身网站内的部分内容进行更新，更新的内容包括全部缓存服务器中响应为http://A.baishancloud.com/1.txt的文件，以及部分缓存服务器中响应为http://B.baishancloud.com/2.txt的文件。

管理中心可以配置2个更新规则，如下：

rule1":{

"url":"http://A.baishancloud.com/1.txt"，

"count":"1"

},

"rule2":{

"url":"http://B.baishancloud.com/2.txt",

"header":{

"Content-Type":"video/mp4",

"Server":"nginx"

},

"filesize":"<1000Byte"

}。

将上述两个更新规则发送到全部服务器，服务器收到更新规则后，将更新规则加载到系统中。当有客户端请求为http://A.baishancloud.com/1.txt时，服务器会先在自身缓存中查找是否存在响应为该URL的响应文件，如果本地有响应文件，由于该响应文件与rule1中的URL样式匹配，确定该响应文件需要更新，回源获取源文件，更新本地的响应文件，同时将计数器值减1。响应文件更新后，计数器的值变为0。更新后的缓存与更新规则rule2不匹配，于是使用该更新后的响应文件响应客户端的请求。当该缓存服务器再次收到客户端请求http://A.baishancloud.com/1.txt时，会忽略rule1，判断该响应文件是否与rule2中的匹配条件相匹配，确定与更新规则rule2不匹配后，使用该响应文件响应客户端的请求。

当有客户端请求为http://B.baishancloud.com/2.txt时，缓存服务器在本地查找相应的响应文件，根据更新规则rule2，确定URL样式匹配，进而判断头部特征，看响应文件类型是否匹配，使用代理是否匹配，如果匹配，判断响应文件大小是否匹配，如果响应文件大小也匹配，说明该响应文件需要更新，回源拉取源文件，更新本地响应文件后，使用更新后的响应文件响应客户端的请求。如果在判断头部特征时，响应文件类型匹配，使用的代理不匹配，则说明缓存的响应文件与更新规则不符，不需要更新，使用现有的响应文件响应客户端的请求。

通过以上实施例，本文中文件更新方法，适应热加载模式，不会加载未使用的域名配置信息，节约内存，减少CPU消耗；在待更新响应文件很多时，文件更新会在响应不同客户端不同时间段的请求时进行，避免并发大面积更新，保持服务器的稳定；支持多内容匹配规则，可实现各种场景下的精确匹配业务；通过分层判断逻辑，将响应的文件快速分类，加快判断的过程，减少用户等待时间，同时适用于多规则与分布式集群架构。对于劫持情况下，多层资源存在错误文件时，可增加逻辑判断次数，通过多次回源过程，将响应文件更新为正确的文件。

图2是根据一示例性实施例示出的一种文件更新装置的框图。参考图2，文件更新装置包括：加载模块201，访问请求接收模块202，处理模块203，更新模块204。

该加载模块201被配置为用于加载管理中心发送的更新规则；

该访问请求接收模块202被配置为用于接收访问请求，查找与访问请求对应的响应文件；

该处理模块203被配置为用于根据更新规则确定响应文件是否需要更新；

该更新模块204被配置为用于在响应文件需要更新时，获取响应文件的源文件，并更新响应文件。

更新规则包括URL样式匹配条件，头部特征匹配条件，文件大小匹配条件，文件内容匹配条件，文件存储时间中的一条或多条。

根据更新规则确定响应文件是否需要更新包括：

当响应文件满足所述更新规则中的匹配条件时，确定响应文件需要更新。

当更新规则只有一条匹配条件时，设置计数器，在响应文件需要更新时，获取响应文件的源文件，并更新响应文件后，将计数器的值减1，在计数器的值为0时，忽略该更新规则。

当接收客户端请求，未查找到与请求对应的响应文件时，回源拉取请求对应的源文件，并缓存。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图3是根据一示例性实施例示出的一种用于文件更新的计算机设备300的框图。例如，计算机设备300可以被提供为一服务器。参照图3，计算机设备300包括处理器301，处理器的个数可以根据需要设置为一个或者多个。计算机设备300还包括存储器302，用于存储可由处理器301的执行的指令，例如应用程序。存储器的个数可以根据需要设置一个或者多个。其存储的应用程序可以为一个或者多个。处理器301被配置为执行指令，以执行上述文件更新方法。

本领域技术人员应明白，本文的实施例可提供为方法、装置(设备)、或计算机程序产品。因此，本文可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本文可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质,包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质等。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

本文是参照根据本文实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。

尽管已描述了本文的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本文范围的所有变更和修改。

显然，本领域的技术人员可以对本文进行各种改动和变型而不脱离本文的精神和范围。这样，倘若本文的这些修改和变型属于本文权利要求及其等同技术的范围之内，则本文的意图也包含这些改动和变型在内。

Claims

1.一种文件更新方法，其特征在于，包括：

加载管理中心发送的更新规则；

接收访问请求，查找与所述访问请求对应的响应文件；

根据所述更新规则确定所述响应文件是否需要更新；

在所述响应文件需要更新时，获取所述响应文件的源文件，并更新所述响应文件；

2.如权利要求1所述的文件更新方法，其特征在于，所述更新规则包括URL样式匹配条件，头部特征匹配条件，文件大小匹配条件，文件内容匹配条件，文件存储时间中的一条或多条。

3.如权利要求2所述的文件更新方法，其特征在于，所述根据更新规则确定所述响应文件是否需要更新包括：

4.如权利要求1所述的文件更新方法，其特征在于，当所述接收访问请求后，未查找到与所述访问请求对应的响应文件时，回源拉取所述请求对应的源文件，并缓存。

5.一种文件更新装置，其特征在于，包括：

加载模块，用于加载管理中心发送的更新规则；

更新模块，用于在所述响应文件需要更新时，获取所述响应文件的源文件，并更新所述响应文件；

6.如权利要求5所述的文件更新装置，其特征在于，所述更新规则包括URL样式匹配条件，头部特征匹配条件，文件大小匹配条件，文件内容匹配条件，文件存储时间中的一条或多条。

7.如权利要求6所述的文件更新装置，其特征在于，所述根据更新规则确定所述响应文件是否需要更新包括：

8.如权利要求5所述的文件更新装置，其特征在于，当所述接收访问请求后，未查找到与所述访问请求对应的响应文件时，回源拉取所述请求对应的源文件，并缓存。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被执行时实现如权利要求1－4中任意一项所述方法的步骤。

10.一种计算机设备，包括处理器、存储器和存储于所述存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1－4中任意一项所述方法的步骤。