CN112565437B - 一种面向跨界服务网络的服务缓存方法 - Google Patents

Abstract

本发明公开了一种面向跨界服务网络的服务缓存方法：将服务交换机节点的缓存空间划分为常驻区、变动区、预回收区和维护索引区；其中，缓存命中频率为：常驻区＞变动区＞预回收区，维护索引区用于单独存储服务调用路径；服务调用产生时，根据未命中的缓存或命中的缓存的缓存价值替换缓存空间中的缓存内容；服务路由器和对应区域的服务交换机节点共同组成分层缓存模式，当服务交换机节点中的任一节点的缓存空间不足时，同一区域内的服务交换机节点进行协同缓存，通过索引的方式存储到其他服务交换机节点。本发明提供的方法可以提高跨界服务网络中的缓存利用效率，从而加速服务调用。

Description

一种面向跨界服务网络的服务缓存方法

技术领域

本发明属于跨界服务集成与计算领域，特别涉及一种面向跨界服务网络的服务缓存方法。

背景技术

随着网络信息技术的发展，互联网时代己经全面到来，其中Web服务是互联网产品研发的重要载体，它的引入提高了工程师的开发效率和产品的迭代周期。Web服务是服务导向架构技术，是一个软件系统，通过标准的Web协议提供服务，隐藏服务实现细节，支持不同机器间的通信，保证跨平台、跨语言、跨协议的应用服务可以互相操作。

越来越多的web服务被企业发布在互联网上，服务开放已经成为互联网发展趋势，第三方web服务已经渗透进人们生活的点点滴滴，提高人们的生活质量。2017年，API通用资源网站Programmable Web宣布网站目录中的API已达5000并预言最终所有公司都将拥有自己的API，其中甚至还包括政府部门。开放服务，实现数据共享，赋价值于数据，不仅可以为企业带来额外的经济效益，还可以作为企业的发展战略。然而现在的企业大多独立开放服务，服务处于孤立状态，这些跨越不同行业、组织、地域、价值链等边界的Web服务，将这些Web服务称为跨界服务，如何将跨界服务进行集成再利用成为课题研究的重大挑战。如公开号为CN109286530A的中国专利文献公开了一种跨界服务网络运行与支撑架构，跨界服务网络定义为四元组(V，E，ρ，f，event)的无向图，其中，V是节点集合，E是无向图边集合，ρ是节点质量评估函数，f是服务与服务交换机节点、服务路由器节点的映射关系，event是事件，服务交换机节点负责将企业服务转化为统一服务风格后，开放到跨界服务网络中；服务路由器节点将服务交换机开放的服务同步到跨界服务网络中，对服务消费者的服务请求进行转发以加速服务消费，为服务标准化和服务组合提供支撑载体；服务超级节点负责服务路由器、服务交换机和消息队列的管理；跨界服务网络中，节点的通讯机制包括服务信息事件广播机制和服务调用路由机制。

在跨界服务网络架构中，服务节点之间通过服务路由机制建立起路由路径而后发起服务调用获取服务资源。随着服务调用数量的增长，节点之间的直接服务调用会对服务节点带来巨大的压力，从而给整个服务网络带来巨大的负担。而节点数量增加导致网络拓扑更加复杂，直接进行服务调用往往会产生返回速度相对缓慢，影响用户服务调用返回的速度。因此需要服务缓存技术，即对服务调用结果进行缓存，在服务调用阶段发生缓存命中时不再占用服务资源，直接通过缓存返回的方式加速服务调用，提高服务调用速度，从而降低跨界服务网络的整体负担，提高用户调用服务的体验。

发明内容

本发明的目的在于提出一种面向跨界服务网络的服务缓存方法，该方法可以提高跨界服务网络中的缓存利用效率，从而加速服务调用。

为实现上述目的，本发明提供以下技术方案：

一种面向跨界服务网络的服务缓存方法，所述方法包括：

将服务交换机节点的缓存空间划分为常驻区、变动区、预回收区和维护索引区；其中，缓存命中频率为：常驻区＞变动区＞预回收区，维护索引区用于单独存储服务调用路径；

服务调用产生时，根据未命中的缓存或命中的缓存的缓存价值替换缓存空间中的缓存内容；

服务路由器和对应区域的服务交换机节点共同组成分层缓存模式，当服务交换机节点中的任一节点的缓存空间不足时，同一区域内的服务交换机节点进行协同缓存，通过索引的方式存储到其他服务交换机节点。

其中，常驻区内缓存的内容为最近得到频繁调用(缓存命中频率)的缓存内容，预回收区内缓存的内容为较少调用的缓存内容，变动区内缓存的内容调用频率介于两者之间。根据实际需要，可以设定常驻区、变动区和预回收区的缓存命中频率范围，如常驻区为81％-100％，变动区为51％-80％，预回收区为50％以下。

优选的，缓存空间的空间分配为：变动区＞常驻区＝预回收区＞维护索引区；缓存容忍度和缓存生存时间为：常驻区＞变动区＞预回收区。如常驻区和预回收区占缓存空间的比例为小于等于20％，变动区占缓存空间的比例为小于等于60％，剩余的缓存空间为维护索引区。

对于缓存容忍度和缓存生存时间的划分比例关系：常驻区存储缓存服务调用中的热点信息，即在最近一段时间内得到了频繁地调用，对于这一分类的服务调用信息，节点将会分配更大的缓存容忍度和缓存生存时间；变动区存储的服务调用信息在缓存中经常发生替换，对于这一分类的服务调用信息，节点会分配相对较少的缓存容忍度和缓存生存时间；预回收区存储缓存命中率较低的缓存内容，属于不频繁被使用的缓存，对于这一类信息节点会分配最少的缓存容忍度和缓存生存时间。

优选的，根据缓存命中频率，常驻区和变动区中的缓存内容相互替换，变动区中的缓存内容替换到预回收区，预回收区中的缓存内容在失去缓存容忍度和缓存生存空间之后从缓存空间中去除。即，常驻区和变动区中缓存的内容可以相互转变，变动区和预回收区缓存的内容可以相互转变，预回收区中缓存的内容不可以和常驻区直接进行转变。

根据未命中的缓存或命中的缓存的缓存价值替换缓存空间中的缓存的方法包括：

(1)服务调用产生时，如果命中缓存，则执行步骤(2)，如果未命中缓存，则执行步骤(3)；

(2)更新命中缓存的缓存价值，根据缓存价值判断为完全命中缓存或部分命中缓存；如果完全命中缓存，服务调用返回，如果部分命中缓存，缓存局部替换；检查缓存所处的区域，如果需要进行分区调整，则进行缓存空间区域替换；

(3)检查索引区是否有对应缓存的调用路径信息，如果有，则进行相应的服务调用，如果没有则需要重新发起服务调用流程；

根据服务调用结果替换预回收区中缓存价值最低的缓存，将需要的缓存替换进入变动区，如果变动区存储空间已满，则根据变动区中缓存的缓存价值，将缓存价值最低的缓存替换进入预回收区。

在步骤(2)中，缓存价值的计算公式为：

其中V表示缓存价值，Size(i)表示需要缓存的服务调用信息中第i个参数的大小，Fr是一个和访问频率相关的函数，T_now表示当前时间，T_score表示缓存进入时记录的时间；

即在缓存命中时，函数值加一，在缓存未命中时，函数值不变。

在步骤(2)中，缓存完全命中时，检查缓存所处位置标记，如果缓存在变动区，检查当前缓存价值是否到达变动区阈值，如果到达阈值，则将缓存从变动区调整到常驻区；如果缓存在预回收区，检查当前缓存是否达到预回收区阈值；如果超过预回收区阈值，则将缓存从预回收区调整到变动区。

在步骤(2)中，缓存部分命中时，更新缓存内容，将需要存储的信息局部替换到缓存空间中；检查缓存所处位置标记，检查缓存是否到达对应区域阈值，如果到达，则更改缓存所在区域标记。

在缓存被替换出缓存空间时替换存储空间中的内容，同时保留该缓存对应的服务调用路径到索引区，索引区使用LRU策略进行管理，提高索引区的效率。

当服务交换机节点中的任一节点的缓存空间不足时，同一区域内的服务交换机节点进行协同缓存，通过索引的方式存储到其他服务交换机节点的方法包括：

(1)当服务交换机节点i中的缓存空间不足时，在区域内发起协同缓存流程；

(2)服务路由器维护本区域内服务交换机节点的节点价值；

(3)选取区域内节点价值最低的节点j，节点i会将需要缓存的内容转发到节点j，由节点j保存，同时节点j会向节点i返回缓存具体的存储位置；节点i以<IP_j,index>的形式保存索引；

(4)在节点i中命中和缓存之后会通过索引向节点j发起缓存命中的请求，同时附带服务调用发起方的地址，节点j在获悉了地址之后向服务调用发起方返回服务调用结果的缓存；

(5)当节点j中发生了服务热点现象，同时其余缓存值的缓存价值大于节点i发起的协同缓存价值，此时节点j会将协同缓存替换掉，同时向节点i发送缓存失效的信息，节点i接收到缓存失效的消息后会重新在区域内发起协同缓存的请求；

(6)在节点i中的服务热点现象消失之后，节点i会向所有协同缓存的节点发起请求，其他节点在收到消息之后会将本节点内的协同缓存失效。

其中，步骤(5)和(6)中的服务热点现象是指缓存空间不足。

在步骤(2)中，所述节点价值的计算公式为：

其中，Load_i为节点i当前负载，n为区域内节点数量，Value(i)_static为根据网络拓扑所计算出的静态节点价值；

其中，R_jk为区域内任意两个节点j、k之间的最短路径条数，R_jk(i)为其中经过节点i的最短路径条数，n为区域内节点数量；

其中，V(i)为节点缓存价值，ρ为区域内缓存空间剩余率。

在本发明中，区域内的节点缓存通过协同缓存提高整个区域内的缓存利用效率，扩大单个节点的逻辑缓存空间，缓解服务调用高峰时期的单个节点缓存压力。

与现有技术相比，本发明的有益效果在于：通过件缓存空间进行划分，可以解决短时间内服务高峰调用所产生的服务缓存占用时间过长问题，以提高缓存空间利用效率。通过计算缓存价值，从而最优化地替换缓存空间中的缓存内容，有效提高节点缓存空间的利用效率，从而对服务调用进行加速。通过采用协同缓存，在同一区域内，即，区域内总缓存空间不变的情况下扩大单个节点的逻辑缓存空间，最优化地利用各个节点的缓存空间，从而在服务调用高峰时降低单个节点的缓存压力，提高缓存效率。

附图说明

图1为服务交换机节点的缓存空间划分图；

图2为服务调用信息在缓存空间中的局部替换图；

图3为服务缓存替换方法的流程图；

图4为区域内协同缓存方法的流程图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅用于解释本发明，并不限定本发明的保护范围。

本发明提供的面向跨界服务网络的服务缓存方法包括：

将服务交换机节点的缓存空间划分为常驻区、变动区、预回收区和维护索引区；其中，缓存命中频率为：常驻区＞变动区＞预回收区，维护索引区用于单独存储服务调用路径；

服务调用产生时，根据未命中的缓存或命中的缓存的缓存价值替换缓存空间中的缓存内容；

服务路由器和对应区域的服务交换机节点共同组成分层缓存模式，当服务交换机节点中的任一节点的缓存空间不足时，同一区域内的服务交换机节点进行协同缓存，通过索引的方式存储到其他服务交换机节点。

其中，缓存空间的空间分配为：变动区＞常驻区＝预回收区＞维护索引区；缓存容忍度和缓存生存时间为：常驻区＞变动区＞预回收区。常驻区存储缓存服务调用中的热点信息，即在最近一段时间内得到了频繁地调用，对于这一分类的服务调用信息，节点将会分配更大的缓存容忍度和缓存生存时间。变动区存储的服务调用信息在缓存中经常发生替换，对于这一分类的服务调用信息，节点会分配相对较少的缓存容忍度和缓存生存时间。预回收区存储缓存命中率较低的缓存内容，属于不频繁被使用的缓存，对于这一类信息节点会分配最少的缓存容忍度和缓存生存时间。其中，图1为服务交换机节点的缓存空间节点内缓存空间划分图。如三个区域的空间分配为常驻区和预回收区各占缓存空间的约20％，变动区占缓存空间的约60％。

其中，根据缓存命中频率，常驻区和变动区中的缓存内容相互替换，变动区中的缓存内容替换到预回收区，预回收区中的缓存内容在失去缓存容忍度和缓存生存空间之后从缓存空间中去除。如变动区中的服务调用信息在得到了相对频繁地使用之后，超过了变动区的缓存命中频率的上阈值之后，会从变动区转化到常驻区。而变动区的缓存使用频率下降之后，低于变动区的缓存命中频率的下阈值之后，会从变动区转化到预回收区。而常驻区的服务信息在命中频率下降至常驻区的缓存命中频率的下阈值之后会从常驻区转到变动区。预回收区的服务信息则在失去缓存容忍度和缓存生存空间之后从缓存空间中去除。服务信息在第一次被替换进缓存的时候处于变动区。

图2为服务调用信息在缓存空间中的局部替换图，在服务调用Query命中缓存时首先检查Query所需要的参数，发现其中命中Parameter_1、Parameter_2、Parameter_k这三个参数，其中Parameter_2缓存中的内容与当前服务的实际提供内容已经产生了不同，因此需要替换为Parameter_2_new，而Parameter_k的内容则未命中，此时将需要的内容调入缓存，实现局部替换，而不会发生该条服务调用信息被整体替换的情况。

如图3所示，根据未命中的缓存或命中的缓存的缓存价值替换缓存空间中的缓存的方法包括：

(1)服务调用产生时，如果命中缓存或者部分命中缓存，则执行步骤(2)，如果未命中缓存，则执行步骤(6)。

(2)更新命中缓存的缓存价值，缓存价值的计算公式为：

其中V表示缓存价值，Size(i)表示需要缓存的服务调用信息中第i个参数的大小，Fr是一个和访问频率相关的函数，T_now表示当前时间，T_score表示缓存进入时记录的时间。

即在缓存命中时，函数值加一，在缓存未命中时，函数值不变。

(3)命中缓存的情况下，检查缓存是否完全命中，如果缓存完全命中则执行步骤(4)，如果缓存局部命中则执行步骤(5)

(4)缓存完全命中，检查缓存所处位置标记，如果缓存在变动区，检查当前缓存价值是否到达变动区阈值，如果到达阈值，则将缓存从变动区调整到常驻区；如果缓存在预回收区，检查当前缓存是否达到预回收区阈值。如果超过预回收区阈值，则将缓存从预回收区调整到变动区。

(5)更新缓存内容，将需要存储的信息局部替换到缓存空间中。检查缓存所处位置标记，检查缓存是否到达对应区域阈值，如果到达，则更改缓存所在区域标记；

其中，在缓存被替换出缓存空间时替换存储空间中的内容，同时保留该缓存对应的服务调用路径到索引区，索引区使用LRU策略进行管理，提高索引区的效率。

(6)检查索引区是否有对应缓存的调用路径信息，如果有，则进行相应的服务调用，如果没有则需要重新发起服务调用流程。替换预回收区中缓存价值最低的缓存内容，将需要的缓存替换进入变动区，如果变动区存储空间已满，则根据变动区缓存价值，将缓存价值最低的缓存内容替换进入预回收区。

如图4所示，当服务交换机节点中的任一节点的缓存空间不足时，同一区域内的服务交换机节点进行协同缓存，通过索引的方式存储到其他服务交换机节点的方法包括：

(1)当服务交换机节点i中的缓存空间不足时，在区域内发起协同缓存流程。

(2)服务路由器维护本区域内服务交换机节点的节点价值，节点价值的计算公式为：

其中，Load_i为节点i当前负载，n为区域内节点数量，Value(i)_static为根据网络拓扑所计算出的静态节点价值。

其中，R_jk为区域内任意两个节点j、k之间的最短路径条数，R_jk(i)为其中经过节点i的最短路径条数，n为区域内节点数量。

其中，V(i)为权利要求3中所述的节点缓存价值，ρ为区域内缓存空间剩余率。

(3)选取区域内节点价值最低的节点j，节点i会将需要缓存的内容转发到节点j，由节点j保存，同时节点j会向节点i返回缓存具体的存储位置；节点i以<IP_j,index>的形式保存索引。

(4)在节点i中命中和缓存之后会通过索引向节点j发起缓存命中的请求，同时附带服务调用发起方的地址，节点j在获悉了地址之后向服务调用发起方返回服务调用结果的缓存。

(5)当节点j中也发生了服务热点现象，同时其余缓存值的缓存价值大于节点i发起的协同缓存价值，此时节点j会将协同缓存替换掉，同时向节点i发送缓存失效的信息，节点i接收到缓存失效的消息后会重新在区域内发起协同缓存的请求。

(6)在节点i中的服务热点现象消失之后，节点i会向所有协同缓存的节点发起请求，其他节点在收到消息之后会将本节点内的协同缓存失效。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种面向跨界服务网络的服务缓存方法，其特征在于，所述方法包括：

将服务交换机节点的缓存空间划分为常驻区、变动区、预回收区和维护索引区；其中，缓存命中频率为：常驻区＞变动区＞预回收区，维护索引区用于单独存储服务调用路径；

服务调用产生时，根据未命中的缓存或命中的缓存的缓存价值替换缓存空间中的缓存内容；

服务路由器和对应区域的服务交换机节点共同组成分层缓存模式，当服务交换机节点中的任一节点的缓存空间不足时，同一区域内的服务交换机节点进行协同缓存，通过索引的方式存储到其他服务交换机节点；

当服务交换机节点中的任一节点的缓存空间不足时，同一区域内的服务交换机节点进行协同缓存，通过索引的方式存储到其他服务交换机节点的方法包括：

(1)当服务交换机节点i中的缓存空间不足时，在区域内发起协同缓存流程；

(2)服务路由器维护本区域内服务交换机节点的节点价值；

(3)选取区域内节点价值最低的节点j，节点i会将需要缓存的内容转发到节点j，由节点j保存，同时节点j会向节点i返回缓存具体的存储位置；节点i以＜IP_j,index＞的形式保存索引；

(4)在节点i中命中和缓存之后会通过索引向节点j发起缓存命中的请求，同时附带服务调用发起方的地址，节点j在获悉了地址之后向服务调用发起方返回服务调用结果的缓存；

(5)当节点j发生了服务热点现象，同时其余缓存的缓存价值大于节点i发起的协同缓存价值，此时节点j会将协同缓存替换掉，同时向节点i发送缓存失效的信息，节点i接收到缓存失效的消息后会重新在区域内发起协同缓存的请求；

(6)在节点i中的服务热点现象消失之后，节点i会向所有协同缓存的节点发起请求，其他节点在收到消息之后会将本节点内的协同缓存失效。

2.根据权利要求1所述的面向跨界服务网络的服务缓存方法，其特征在于，缓存空间的空间分配为：变动区＞常驻区＝预回收区＞维护索引区；缓存容忍度和缓存生存时间为：常驻区＞变动区＞预回收区。

3.根据权利要求2所述的面向跨界服务网络的服务缓存方法，其特征在于，根据缓存命中频率，常驻区和变动区中的缓存内容相互替换，变动区中的缓存内容替换到预回收区，预回收区中的缓存内容在失去缓存容忍度和缓存生存空间之后从缓存空间中去除。

4.根据权利要求1所述的面向跨界服务网络的服务缓存方法，其特征在于，根据未命中的缓存或命中的缓存的缓存价值替换缓存空间中的缓存的方法包括：

(1)服务调用产生时，如果命中缓存，则执行步骤(2)，如果未命中缓存，则执行步骤(3)；

(2)更新命中缓存的缓存价值，根据缓存价值判断为完全命中缓存或部分命中缓存；如果完全命中缓存，服务调用返回，如果部分命中缓存，缓存局部替换；检查缓存所处的区域，如果需要进行分区调整，则进行缓存空间区域替换；

(3)检查索引区是否有对应缓存的调用路径信息，如果有，则进行相应的服务调用，如果没有则需要重新发起服务调用流程；

根据服务调用结果替换预回收区中缓存价值最低的缓存，将需要的缓存替换进入变动区，如果变动区存储空间已满，则根据变动区中缓存的缓存价值，将缓存价值最低的缓存替换进入预回收区。

5.根据权利要求4所述的面向跨界服务网络的服务缓存方法，其特征在于，在步骤(2)中，缓存价值的计算公式为：

其中V表示缓存价值，Size(i)表示需要缓存的服务调用信息中第i个参数的大小，Fr是一个和访问频率相关的函数，T_now表示当前时间，T_score表示缓存进入时记录的时间；

即在缓存命中时，函数值加一，在缓存未命中时，函数值不变。

6.根据权利要求4所述的面向跨界服务网络的服务缓存方法，其特征在于，在步骤(2)中，缓存完全命中时，检查缓存所处位置标记，如果缓存在变动区，检查当前缓存价值是否到达变动区阈值，如果到达阈值，则将缓存从变动区调整到常驻区；如果缓存在预回收区，检查当前缓存是否达到预回收区阈值；如果超过预回收区阈值，则将缓存从预回收区调整到变动区。

7.根据权利要求4所述的面向跨界服务网络的服务缓存方法，其特征在于，在步骤(2)中，缓存部分命中时，更新缓存内容，将需要存储的信息局部替换到缓存空间中；检查缓存所处位置标记，检查缓存是否到达对应区域阈值，如果到达，则更改缓存所在区域标记。

8.根据权利要求7所述的面向跨界服务网络的服务缓存方法，其特征在于，在缓存被替换出缓存空间时替换存储空间中的内容，同时保留该缓存对应的服务调用路径到索引区，索引区使用LRU策略进行管理，提高索引区的效率。

9.根据权利要求1所述的面向跨界服务网络的服务缓存方法，其特征在于，在步骤(2)中，所述节点价值的计算公式为：

其中，Load_i为节点i当前负载，n为区域内节点数量，Value(i)_static为根据网络拓扑所计算出的静态节点价值；

其中，R_jk为区域内任意两个节点j、k之间的最短路径条数，R_jk(i)为其中经过节点i的最短路径条数，n为区域内节点数量；

其中，V(i)为节点缓存价值，ρ为区域内缓存空间剩余率。

Images