CN115510346A - 页面缓存处理方法、系统、装置及存储介质 - Google Patents

Abstract

本发明公开一种页面缓存处理方法、系统、装置及存储介质，涉及计算机技术领域。通过提前设置链接模板定义表来表征定义的参数特征与链接模板的对应关系，在获取经销商发布的修改数据后，基于修改数据中的参数特征从链接模板定义表进行分布式查找，确定修改数据所影响的相关链接模板，再根据修改数据中参数值和链接模板得到具体的页面链接请求，根据页面链接请求从业务服务集群获取新的页面内容，以主动更新页面缓存，提高前端显示实时性，减少人工成本。

Description

页面缓存处理方法、系统、装置及存储介质

技术领域

本发明涉及计算机技术领域，尤其涉及一种页面缓存处理方法、系统、装置及存储介质。

背景技术

随着公司垂直媒体业务的扩张，越来越多商家的接入，数据量级越来越大。以车辆经销为例，公司垂直媒体平台上经销商管理的车型数达到10万，近10万多经销商分布在全国300多个地区，通过这些维度的数据组合和每天发布的行情信息，导致经销商报价页面、行情页面数量非常巨大，都是以亿计，且页面更新及时性要求也越来越高。

目前，前台页面或接口采用被动式缓存，后端页面内容更新后，需要等前端当前页面缓存到期，前端才能显示更新后的内容。公司垂直媒体业务中，经销商经常需要实时更新一些报价或者行情，此时经常需要人工处理，将经销商修改内容所涉及到的页面链接找出来，再去更新前端的页面缓存。从海量数据确定相关连接难度较大，甚至有时要穷举所有可能链接，然后再去清理缓存，人工成本非常的高。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种页面缓存处理方法、系统、装置及存储介质，能够自动更新页面缓存，提高前端显示实时性，减少人工成本。

一方面，本发明实施例提供了一种页面缓存处理方法，包括以下步骤：

获取修改数据，其中，所述修改数据包括参数特征和参数值；

根据所述参数特征从链接模板定义表中匹配多个链接模板，其中，所述链接模板定义表用于表征链接模板与多个特征的映射关系；

根据所述参数值和每一个所述链接模板确定页面链接请求；

根据所述页面链接请求从业务服务集群获取新的页面内容，以更新页面缓存。

根据本发明一些实施例，所述页面缓存处理方法还包括以下步骤：

对所述修改数据中的参数值进行去重处理，得到修正后的修改数据。

根据本发明一些实施例，所述根据所述参数值和每一个所述链接模板确定页面链接请求包括以下步骤：

从所述链接模板定义表中确定每一个所述链接模板的参数；

将所述参数和参数值拼接到所述链接模板中，得到每一个页面链接请求。

根据本发明一些实施例，所述链接模板定义表中的链接模板还配置有优先级，所述页面缓存处理方法还包括以下步骤：

根据所述链接模板的优先级确定对应的页面链接请求的优先级；

按照所述页面链接请求的优先级依次调度所述页面链接请求，以访问所述业务服务集群。

根据本发明一些实施例，所述根据所述页面链接请求从业务服务集群获取新的页面内容，以更新页面缓存包括以下步骤：

根据所述页面链接请求从业务服务集群获取新的页面内容；

将所述新的页面内容与已缓存的页面内容进行对比，当所述新的页面内容与所述已缓存的页面内容不一致，则更新缓存服务器中的页面缓存。

根据本发明一些实施例，所述链接模板定义表由所述业务服务集群统计获得，所述链接模板定义表包括参数、参数特征和链接模板的映射关系。

根据本发明一些实施例，所述页面缓存处理方法还包括以下步骤：

从获得的所述链接模板定义表提取参数和对应的链接模板，得到参数白名单；

将所述参数白名单发送至缓存服务器，以使所述缓存服务器根据所述参数白名单过滤无效的页面访问请求。

另一方面，本发明实施例还提供一种页面缓存处理系统，包括：

第一模块，用于获取修改数据，其中，所述修改数据包括参数特征和参数；

第二模块，用于根据所述参数特征从链接模板定义表中匹配多个链接模板，其中，所述链接模板定义表用于表征链接模板与多个特征的映射关系；

第三模块，用于根据所述参数值和每一个所述链接模板确定页面链接请求；

第四模块，用于根据所述页面链接请求从业务服务集群获取新的页面内容，以更新页面缓存。

另一方面，本发明实施例还提供一种页面缓存处理装置，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得至少一个所述处理器实现如前面所述的页面缓存处理方法。

另一方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如前面所述的页面缓存处理方法。

本发明上述的技术方案至少具有如下优点或有益效果之一：通过提前设置链接模板定义表来表征定义的参数特征与链接模板的对应关系，在获取经销商发布的修改数据后，基于修改数据中的参数特征从链接模板定义表进行分布式查找，确定修改数据所影响的相关链接模板，再根据修改数据中参数值和链接模板得到具体的页面链接请求，根据页面链接请求从业务服务集群获取新的页面内容，以主动更新页面缓存，提高前端显示实时性，减少人工成本。

附图说明

图1是本发明实施例提供的页面缓存处理方法流程图；

图2是本发明实施例提供的页面缓存处理装置示意图；

图3是本发明实施例提供的缓存管理平台示意图；

图4是本发明实施例提供的链接模板定义表示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或者类似的标号表示相同或者类似的原件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、左、右等指示的方位或者位置关系为基于附图所示的方位或者位置关系，仅是为了便于描述本发明和简化描述，而不是指示或者暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

本发明的描述中，如果有描述到第一、第二等只是用于区分技术特征为目的，而不能理解为指示或者暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

本发明实施例提供一种页面缓存处理方法，参照图1，本发明实施例的了一种页面缓存处理方法包括但不限于步骤S110、步骤S120、步骤S130和步骤S140。

步骤S110，获取修改数据，其中，修改数据包括参数特征和参数值；

步骤S120，根据参数特征从链接模板定义表中匹配多个链接模板，其中，链接模板定义表用于表征链接模板与多个特征的映射关系；

步骤S130，根据参数值和每一个链接模板确定页面链接请求；

步骤S140，根据页面链接请求从业务服务集群获取新的页面内容，以更新页面缓存。

具体地，参照图3，本发明实施例的页面缓存处理方法可应用于如图3所示的TSM(Traffic Server Manager Platform，缓存管理平台)中，缓存管理平台包括缓存控制单元、业务服务集群和ATS(Apache Traffic Server，高性能缓存服务器)，后台的业务服务集群包括但不限于商家服务、报价服务和行情服务等。缓存控制单元包括通知服务子单元、匹配服务子单元、调度服务子单元、推送服务子单元和后台管理子单元。运营终端和缓存管理平台之间可以通过MQTT协议进行消息的发布和订阅，以实现海量消息的实时传输。

运营终端发布报价、车型信息等的页面修改数据，缓存管理平台的通知服务子单元接收上述修改数据，匹配服务子单元根据修改数据中的参数特征从链接模板定义表中查找所有相关的链接模板，并根据修改数据中的参数值和多个链接模板分别得到多个页面链接请求。调度服务子单元按照一定的规则消费页面链接请求至推送服务子单元，推送服务子单元根据页面链接请求访问后台的业务服务集群，获取页面链接请求的页面内容，将页面内容推送至缓存服务器缓存，实现自动查询修改参数所涉及的所有相关页面，避免遗漏，实时更新缓存服务器中的页面内容。

用户通过PC、WAP或者API接口等方式向缓存服务器查询页面内容时，可以获取实时更新的内容，不需要等到上一个页面内容到期后才能获取后台运营终端已经修改的数据。此外，本发明实施例能够避免缓存雪崩现象，缓存雪崩原因在于数量较多的页面缓存同一个时间过期而触发同时访问后台服务器，即业务服务集群，如果过于流量集中，后端服务器负载会瞬间升高，影响正常服务。本发明实施例的缓存管理平台，通过在缓存服务器和业务服务集群加入缓存控制单元，当运营终端改变页面数据时，缓存控制单元进行缓存主动更新，而不需要设置缓存内容的有效期限，因此不会因为缓存到期，为了获取新的缓存而导致请求流量集中到达后端服务器，保障服务的稳定运行。

根据本发明一些具体实施例，本发明实施例的页面缓存处理方法还包括但不限于步骤S120。

步骤S120，对修改数据中的参数值进行去重处理，得到修正后的修改数据。

在本实施例中，商家可能会在短时间内就同一个参数进行重复的参数值修改，为了避免运营终端的无效修改操作浪费计算机资源，对获取到的修改数据的参数值进行去重处理。具体地，修改数据中包括参数和参数值，通知服务子单元会保存一段时间内参数的不重复参数，当通知服务子单元接收到当前修改数据，根据修改数据中的查找已保存的所有参数值，判断当前修改数据中的参数值是否与已保存的参数值相同，如果相同，则不继续就该相同参数值进行页面缓存更新操作，如果不相同，则将修改数据的不相同参数值发送至匹配服务子单元处理。

根据本发明一些具体实施例，业务服务集群根据自身的页面开发方案，统计页面会受哪些参数的影响，从而得到链接模板定义表。如图4所示，链接模板定义表包括参数、参数特征和链接模板的映射关系，进一步地，链接模板定义表中的每一个链接模板还对应配置有优先级。优先级用于表征对应的链接模板的处理顺序，处理顺序可以是优先级越小越被优先处理，也可以是优先级越大越被优先处理。参数用于表征对应链接模板所使用的有效参数。参数特征用于表征链接模板受什么类型参数影响，如“DEALER”表示受到经销商影响，用户可能修改了经销商信息；“DEALER”和“SERIALGROUP”表示受到经销商和车系影响，用户可能修改了车系信息报价等。

根据本发明一些具体实施例，步骤S130中，根据参数值和每一个链接模板确定页面链接请求这一步骤，包括但不限于步骤S310和步骤S320。

步骤S310，从链接模板定义表中确定每一个链接模板的参数；

步骤S320，将参数和参数值拼接到所述链接模板中，得到每一个页面链接请求。

在本实施例中，匹配服务子单元获取到修改数据后，根据修改数据中的参数特征“DEALER”匹配到链接模板“/qd/dealer/intf/getDealerlnfo”和“/qd/price/web/shop/sgPrice.html”，然后将对应的参数“dealerld”和修改数据中对应的参数值进行组合拼接到上述两个链接模板中，得到具体的两个页面链接请求。

根据本发明一些具体实施例，链接模板定义表中的链接模板还配置有优先级，本发明实施例的页面缓存处理方法还包括但不限于步骤S410和步骤S420。

步骤S410，根据链接模板的优先级确定对应的页面链接请求的优先级；

步骤S420，按照页面链接请求的优先级依次调度页面链接请求，以访问业务服务集群。

在本实施例中，如图4所示，每一个链接模板配置有优先级，对应地，根据该链接模板和具体参数值得到的页面链接请求也具有与该链接模板相同的优先级。在匹配服务子单元中，根据修改数据中的参数特征确定多个链接模板后，按照链接模板的优先级顺序进行处理得到页面链接请求，并依次发送至调度服务子单元中。调度服务子单元根据页面链接请求的优先级将页面链接请求加入对应的优先级队列中，当优先级越高的优先级队列中的页面链接请求全部被消费后，才消费下一优先级的优先级队列，从而实现越重要的页面越容易更新，提高重要页面更新的实时性。

根据本发明一些具体实施例，步骤步骤S140中，根据页面链接请求从业务服务集群获取新的页面内容，以更新页面缓存这一步骤，包括但不限于步骤S510和步骤S520。

步骤S510，根据页面链接请求从业务服务集群获取新的页面内容；

步骤S520，将新的页面内容与已缓存的页面内容进行对比，当新的页面内容与已缓存的页面内容不一致，则更新缓存服务器中的页面缓存。

在本实施例中，调度服务子单元将页面链接请求消费至推送服务子单元中，如果调度执行有异常，可以重试进行故障转移。推送服务子单元根据页面链接请求访问业务服务集群调用后端服务获取新的页面内容，进一步生成内容摘要，对比新的内容摘要和已缓存的内容摘要是否一致，如果不一致，表明新的页面内容相比于已缓存的页面内容已经发生变化，此时请求缓存服务器的API接口推送新的内容覆盖旧的缓存内容。

根据本发明一些具体实施例，本发明实施例的页面缓存处理方法还包括但不限于步骤S610和步骤S620。

步骤S610，从获得的链接模板定义表提取参数和对应的链接模板，得到参数白名单；

步骤S620，将参数白名单发送至缓存服务器，以使缓存服务器根据参数白名单过滤无效的页面访问请求。

在本实施例中，缓存控制单元中的后台管理子单元从业务服务集群中获得链接模板定义表，基于链接模板定义表提取参数和对应的链接模板，得到参数白名单，将参数白名单以及页面访问请求中的参数顺序以cache-key插件的形式安装至缓存服务器中，从而实现无侵入式地自动配置缓存服务器的过滤功能和前端的页面访问链接中参数自动排序功能，避免缓存服务器的缓存穿透。

具体地，缓存穿透是比较常见的现象，一般的缓存服务器按照前端接收到的页面访问请求中的参数去生成展示的缓存内容，如果缓存服务器不能命中页面访问请求中的参数，导致缓存服务器会进一步访问后端服务器。在这种场景下，如果遇到恶意请求或者恶意爬虫，修改页面访问请求的格式，包括修改参数或者修改参数顺序，缓存服务器不能命中参数，进入后端服务器，此时相当于缓存服务器失效，导致后端服务器压力变大，甚至引起宕机。本发明实施例使用cache-key的插件在缓存服务器配置每个页面链接的有效参数白名单和参数顺序。缓存服务器接收到页面访问请求后，会对页面访问请求按照参数白名单进行参数过滤和排序，使页面访问请求转化成符合规定的格式来进行缓存内容查询，因此，不管页面访问请求添加多少参数，在到达进行缓存查询之前只会保留有效参数，然后命中缓存，从而避免了缓存穿透，影响服务性能。

根据本发明一些具体实施例，后台管理子单元支持链接的管理，如删除，禁用，刷新缓存等，如数据库调整了数据，进行缓存内容的全部刷新或者缓存内容的单个刷新。

另一方面，本发明实施例还提供一种页面缓存处理系统，包括：

第一模块，用于获取修改数据，其中，修改数据包括参数特征和参数；

第二模块，用于根据参数特征从链接模板定义表中匹配多个链接模板，其中，链接模板定义表用于表征链接模板与多个特征的映射关系；

第三模块，用于根据参数值和每一个链接模板确定页面链接请求；

第四模块，用于根据页面链接请求从业务服务集群获取新的页面内容，以更新页面缓存。

可以理解的是，上述页面缓存处理方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述页面缓存处理方法实施例相同，并且达到的有益效果与上述页面缓存处理方法实施例所达到的有益效果也相同。

参照图2，图2是本发明一个实施例提供的页面缓存处理装置的示意图。本发明实施例的页面缓存处理装置包括一个或多个控制处理器和存储器，图2中以一个控制处理器及一个存储器为例。

控制处理器和存储器可以通过总线或者其他方式连接，图2中以通过总线连接为例。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于控制处理器远程设置的存储器，这些远程存储器可以通过网络连接至该页面缓存处理装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本领域技术人员可以理解，图2中示出的装置结构并不构成对页面缓存处理装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

实现上述实施例中应用于页面缓存处理装置的页面缓存处理方法所需的非暂态软件程序以及指令存储在存储器中，当被控制处理器执行时，执行上述实施例中应用于页面缓存处理装置的页面缓存处理方法。

此外，本发明的一个实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器执行，可使得上述一个或多个控制处理器执行上述方法实施例中的页面缓存处理方法。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (10)

1.一种页面缓存处理方法，其特征在于，包括以下步骤：

获取修改数据，其中，所述修改数据包括参数特征和参数值；

根据所述参数特征从链接模板定义表中匹配多个链接模板，其中，所述链接模板定义表用于表征链接模板与多个特征的映射关系；

根据所述参数值和每一个所述链接模板确定页面链接请求；

根据所述页面链接请求从业务服务集群获取新的页面内容，以更新页面缓存。

2.根据权利要求1所述的页面缓存处理方法，其特征在于，所述页面缓存处理方法还包括以下步骤：

对所述修改数据中的参数值进行去重处理，得到修正后的修改数据。

3.根据权利要求1所述的页面缓存处理方法，其特征在于，所述根据所述参数值和每一个所述链接模板确定页面链接请求包括以下步骤：

从所述链接模板定义表中确定每一个所述链接模板的参数；

将所述参数和参数值拼接到所述链接模板中，得到每一个页面链接请求。

4.根据权利要求1所述的页面缓存处理方法，其特征在于，所述链接模板定义表中的链接模板还配置有优先级，所述页面缓存处理方法还包括以下步骤：

根据所述链接模板的优先级确定对应的页面链接请求的优先级；

按照所述页面链接请求的优先级依次调度所述页面链接请求，以访问所述业务服务集群。

5.根据权利要求1所述的页面缓存处理方法，其特征在于，所述根据所述页面链接请求从业务服务集群获取新的页面内容，以更新页面缓存包括以下步骤：

根据所述页面链接请求从业务服务集群获取新的页面内容；

将所述新的页面内容与已缓存的页面内容进行对比，当所述新的页面内容与所述已缓存的页面内容不一致，则更新缓存服务器中的页面缓存。

6.根据权利要求1所述的页面缓存处理方法，其特征在于，所述链接模板定义表由所述业务服务集群统计获得，所述链接模板定义表包括参数、参数特征和链接模板的映射关系。

7.根据权利要求6所述的页面缓存处理方法，其特征在于，所述页面缓存处理方法还包括以下步骤：

从获得的所述链接模板定义表提取参数和对应的链接模板，得到参数白名单；

将所述参数白名单发送至缓存服务器，以使所述缓存服务器根据所述参数白名单过滤无效的页面访问请求。

8.一种页面缓存处理系统，其特征在于，包括：

第一模块，用于获取修改数据，其中，所述修改数据包括参数特征和参数；

第二模块，用于根据所述参数特征从链接模板定义表中匹配多个链接模板，其中，所述链接模板定义表用于表征链接模板与多个特征的映射关系；

第三模块，用于根据所述参数值和每一个所述链接模板确定页面链接请求；

第四模块，用于根据所述页面链接请求从业务服务集群获取新的页面内容，以更新页面缓存。

9.一种页面缓存处理装置，其特征在于，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得至少一个所述处理器实现如权利要求1至7任一项所述的页面缓存处理方法。

10.一种计算机可读存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序被由所述处理器执行时用于实现如权利要求1至7任一项所述的页面缓存处理方法。

Images