CN107704582A - 一种基于服务器和网页的闭环生态反馈链系统 - Google Patents

Abstract

一种基于服务器和网页的闭环生态反馈链系统，涉及网页与服务器技术领域，首先网页发送请求数据到接入层，通过前置逻辑和多级缓存进行数据查询，调用服务器进行回源处理，获取数据信息；数据异构和数据原子化，获取到各个依赖系统的数据并进行存储和原子化；数据原子化能够更好的构建数据闭环系统；数据聚合，结合系统架构将多个原子数据聚合成一个模块数据用于传递，为前段页面展示提供高性能的读取；前端展示系统分离后的数据，减少数据耦合，完成服务器和网页之间的闭环反馈链。本发明能够在接收大量访问时快速响应用户请求，提升用户体验；解决受限于第三方接口获取数据的问题，避免数据依赖带来的冗余，形成生态闭环链来降低维护成本。

Description

一种基于服务器和网页的闭环生态反馈链系统

技术领域：

本发明涉及网页与服务器技术领域，具体涉及一种基于服务器和网页的闭环生态反馈链系统。

背景技术：

当前的网页需要通过不同的渠道获取数据和支持，对各个服务系统产生不同程度上的依赖关系，难以对相关数据进行有效控制和维护；外部数据接口不能形成闭环，会影响到系统整体的发展性和健壮性，对系统的维护成本也将大大提高。本发明的目的在于提供一种基于服务器和网页的闭环生态反馈链系统，旨在解决服务器和网页交互受制于数据依赖和响应速度，无法形成交互生态闭环的问题。

发明内容：

本发明所要解决的技术问题在于提供一种基于服务器和网页的闭环生态反馈链系统，能够在接收大量访问时快速响应用户请求，提升用户体验；解决受限于第三方接口获取数据的问题，避免数据依赖带来的冗余，形成生态闭环链来降低维护成本。

本发明所要解决的技术问题采用以下的技术方案来实现：

一种基于服务器和网页的闭环生态反馈链系统，其中包括：从服务器本身渠道和外部依赖渠道获取到各种类型的数据信息之后，通过消息队列方式通知，数据异构Worker得到通知，然后按照一些维度进行数据存储，存储到数据异构JIMDB集群(JIMDB：Redis+持久化引擎)，存储的数据都是未加工的原子化数据，包括基本信息、扩展属性、页面其它一些相关信息、数据规格参数、分类；

数据异构Worker存储成功后，会发送一个MQ到数据聚合Worker，按照相应的维度聚合数据存储到相应的JIMDB集群；在此设置三个维度：基本信息(基本信息+扩展属性等的一个聚合)、展示类型(PC版、移动版)、其它信息(分类、商家等维度，数据量小，直接Redis存储)；

使用Nginx+Lua获取数据并渲染模板输出，前端展示系统分离后的数据，减少数据耦合来增强系统可维护性，提高服务器并发能力来加快响应速度，数据的去依赖化等方式完成网页与服务器的闭环生态链系统；

在一种基于服务器和网页的闭环生态反馈链系统整体架构中，请求首先进入Nginx调用Lua进行一些前置逻辑处理，如果前置逻辑不合法直接返回；然后查询本地缓存，如果命中直接返回数据；

在多级缓存系统中，如果1.1步骤本地缓存不命中数据，则通过步骤1.2查询分布式Redis集群，如果命中数据，则直接返回，完成数据查询；

同时在多级缓存系统中，如果分布式Redis集群不命中，则通过步骤2会调用Tomcat进行回源处理；把结果异步写入Redis集群并返回。

数据闭环系统：数据闭环即数据的自我管理，获取到的数据在闭环生态系统中进行维护，不依赖于任何其它系统，去依赖化；数据异构是数据闭环的基础，将各个依赖系统的数据拿过来，按照自己的要求存储起来；

数据原子化模块：数据异构的数据是原子化数据，原子化之后的数据进行分类、加工、聚合能够更好的响应变化的需求；

数据聚合模块：将多个原子数据聚合为一个数据段，按照系统架构和前段显示需求更，例如我们使用的Redis改造，Redis又是单线程系统，我们需要部署更多的Redis来支持更高的并发，另外存储的值要尽可能的小；

系统划分模块：将系统按照整体结构和功能划分拆分为多个子系统；数据异构系统存储的数据是原子化数据，子系统可以按照一些维度对外提供服务；数据同步系统存储的是聚合数据，可以为前端展示提供高性能的读取。前端展示系统分离为各个子模块数据，可以减少相互耦合；

异步并发模块：我们系统大量使用异步化，通过异步化机制提升并发能力。首先我们使用了消息异步化进行系统解耦合，通过消息通知我变更，然后我再调用相应接口获取相关数据；数据更新异步化，更新缓存时，同步调用服务，然后异步更新缓存。可并行任务并发化，数据系统来源有多处，但是可以并发调用聚合，这样本来串行需要1s的经过这种方式我们提升到300ms之内。异步请求合并，异步请求做合并，然后一次请求调用就能拿到所有数据。前端服务异步化/聚合，实时价格、实时库存异步化，使用如线程或协程机制将多个可并发的服务聚合。异步化还一个好处就是可以对异步请求做合并，原来N次调用可以合并为一次，还可以做请求的排重。

多级缓存模块：在多级缓存系统中，浏览器缓存，当页面之间来回跳转时走localcache，或者打开页面时拿着Last-Modified去CDN验证是否过期，减少来回传输的数据量；CDN缓存，用户去离自己最近的CDN节点拿数据，而不是都回源到机房获取数据，提升访问性能；服务端应用本地缓存，我们使用Nginx+Lua架构，使用HttpLuaModule模块的shareddict做本地缓存(reload不丢失)或内存级Proxy Cache，从而减少带宽；另外我们还使用使用一致性哈希(如商品编号/分类)做负载均衡内部对URL重写提升命中率；服务端分布式缓存，我们使用内存+SSD+JIMDB持久化存储。

动态服务模块：

模板渲染实时化，支持随时变更模板需求；重启应用秒级化，使用Nginx+Lua架构，重启速度快，重启不丢共享字典缓存数据；需求上线速度化，因为我们使用了Nginx+Lua架构，可以快速上线和重启应用，不会产生抖动；另外Lua本身是一种脚本语言，我们也在尝试把代码如何版本化存储，直接内部驱动Lua代码更新上线而不需要重启Nginx。

数据校验模块：请求进入接入层后，会对参数进行校验，如果参数校验不合法直接拒绝这次请求；我们对每个请求的参数进行了最严格的数据校验处理，保证数据的有效性。校验模块对关键参数进行了过滤，如果参数不合法就直接拒绝请求。

另外我们还会对请求的参数进行过滤然后重新按照固定的模式重新拼装URL调度到后端应用，此时URL上的参数是固定的而且是有序的，可以按照URL进行缓存。

缓存前置模块：我们把很多缓存前置到了接入层，来进行热点数据的削峰，而且配合一致性哈希可能提升缓存的命中率。在缓存时我们按照业务来设置缓存池，减少相互之间的影响和提升并发。我们使用Lua读取共享字典来实现本地缓存。

业务逻辑前置：接入层直接实现部分业务逻辑，在高峰时出问题，可以在这一层做一些逻辑升级；在Nginx中做进行逻辑实现，支持代码更改推送到服务器，提高重启速度且不存在抖动的问题。这些逻辑都是在Lua中完成。

一种基于服务器和网页的闭环生态反馈链系统，其流程步骤包括：

S101、网页发送请求数据到接入层，通过前置逻辑和多级缓存进行数据查询，若未命中则调用服务器进行回源处理，从而获取数据信息；

S102、通过各种渠道获取到数据信息，其中包括依赖系统和自身服务器渠道方式；

S103、数据异构和数据原子化，获取到各个依赖系统的数据并按照闭环生态系统的规范进行存储和原子化；数据已够的数据是原子化之后的数据，数据原子化能够更好的构建数据闭环系统；

S104、数据聚合，结合系统架构将多个原子数据聚合成一个模块数据用于传递，为前段页面展示提供高性能的读取；

S105、前端展示系统分离后的数据，减少数据耦合，提高服务器并发性，提高了响应速度和完成系统的去依赖化，从而完成服务器和网页之间的闭环反馈链。

本发明的有益效果是：能够在接收大量访问时快速响应用户请求，提升用户体验；解决受限于第三方接口获取数据的问题，避免数据依赖带来的冗余，形成生态闭环链来降低维护成本。

能够有效解决当前的网页需要通过不同的渠道获取数据和支持，对各个服务系统产生不同程度上的依赖关系的问题，客服了难以对相关数据进行有效控制和维护、外部数据接口不能形成闭环的难题。

附图说明：

图1为本发明一种基于服务器和网页的闭环生态反馈链系统流程图；

图2为本发明网页数据闭环系统的结构流程图；

图3为本发明一种基于服务器和网页的闭环生态反馈链系统整体架构图；

图4为本发明多级缓存示意图；

图5为本发明服务器部署和访问架构图；

具体实施方式：

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。

根据图1所示，一种基于服务器和网页的闭环生态反馈链系统，其流程步骤包括：

S101、网页发送请求数据到接入层，通过前置逻辑和多级缓存进行数据查询，若未命中则调用服务器进行回源处理，从而获取数据信息；

S102、通过各种渠道获取到数据信息，其中包括依赖系统和自身服务器渠道方式；

S103、数据异构和数据原子化，获取到各个依赖系统的数据并按照闭环生态系统的规范进行存储和原子化；数据已够的数据是原子化之后的数据，数据原子化能够更好的构建数据闭环系统；

S104、数据聚合，结合系统架构将多个原子数据聚合成一个模块数据用于传递，为前段页面展示提供高性能的读取；

S105、前端展示系统分离后的数据，减少数据耦合，提高服务器并发性，提高了响应速度和完成系统的去依赖化，从而完成服务器和网页之间的闭环反馈链。

本发明中，我们以智能电视商城中商品详情页面所有内容展示为实施例，对基于服务器和网页的闭环生态反馈链系统进行讲解：网页需要向服务器请求商品信息，在通过数据校验之后，采用多级缓存策略提高数据复用率，部分业务逻辑前置提高响应时间；服务器通过第三方依赖系统和自身渠道获取到资源信息后，对数据进行异构、原子化、聚合、多维度化处理，去依赖化形成数据闭环系统；信息展示时，系统采取异步化提高并发能力，支持模块实时渲染来完成动态服务系统；至此，通过闭环生态链系统完成信息从请求到展示。

在所述步骤S101中，我们把Nginx作为应用部署，因此使用Nginx共享字典作为本地缓存，Nginx+Lua架构中，使用HttpLuaModule模块的shared dict做本地缓存(reload不丢失)或内存级Proxy Cache，提升缓存带来的性能并减少带宽消耗；另外我们使用一致性哈希(如商品编号/分类)做负载均衡内部对URL重写提升命中率；

我们在缓存数据时采用了维度化存储缓存数据，增量获取失效缓存数据(比如10个数据，3个没命中本地缓存，只需要取这3个即可)；维度如商家信息、店铺信息、商家评分、店铺头、品牌信息、分类信息等；比如我们本地缓存30分钟，调用量减少差不多3倍；

另外我们使用一致性哈希+本地缓存，如库存数据缓存5秒，平常命中率：本地缓存25％；分布式Redis28％；回源47％；一次普通秒杀活动命中率：本地缓存58％；分布式Redis15％；回源27％；而某个服务使用一致哈希后命中率提升10％；对URL按照规则重写作为缓存KEY，去随机，即页面URL不管怎么变都不要让它成为缓存不命中的因素：

1.1、首先在接入层，会使用Nginx本地缓存，这种前端缓可以减少峰值访问量；根据场景来设置缓存时间；

1.2、如果Nginx本地缓存不命中，接着会读取各个机房的分布式从Redis缓存集群，该缓存主要是保存大量离散数据，抗大规模离散请求，比如使用一致性哈希来构建Redis集群，即使其中的某台机器出问题，防止出现崩溃的情况；

1.3、如果从Redis集群不命中，Nginx会回源到Tomcat；Tomcat首先读取本地堆缓存，这个主要用来支持在一个请求中多次读取一个数据或者该数据相关的数据；而其他情况命中率是非常低的，或者缓存一些规模比较小但用的非常频繁的数据，如分类，品牌数据；堆缓存时间我们设置为Redis缓存时间的一半；

1.4、如果Java堆缓存不命中，会读取主Redis集群，正常情况该缓存命中率非常低，不到5％；读取该缓存的目的是防止前端缓存失效之后的大量请求的涌入，导致我们后端服务压力太大而雪崩；我们默认开启了该缓存，虽然增加了几毫秒的响应时间，但是加厚了我们的防护盾，使服务更稳当可靠。此处可以做下改善，比如我们设置一个阀值，超过这个阀值我们才读取主Redis集群。

在所述步骤S102中，数据获取动态化，例如商品页：按维度获取数据，商品基本数据、其他数据(分类、商家信息等)，可以根据数据属性，按需求制定逻辑。

在所述步骤S103中，数据异构Worker接收到MQ通知，然后按照一些维度进行数据存储，存储到数据异构JIMDB集群(JIMDB：Redis+持久化引擎)，存储的数据都是未加工的原子化数据，例如商品基本信息、商品扩展属性、商品其他一些相关信息、商品规格参数、分类、商家信息等。

在所述步骤S104中，在系统中数据聚合会将多个原子数据聚合为一个大JSON数据，这样前端展示只需要一次请求；考虑系统架构，比如我们使用的Redis改造，Redis又是单线程系统，我们需要部署更多的Redis来支持更高的并发，另外存储的值要尽可能的小；例如：数据异构Worker存储成功后，会发送一个MQ给数据同步Worker，数据同步Worker也可以叫做数据聚合Worker，按照相应的维度聚合数据存储到相应的JIMDB集群；三个维度：基本信息(基本信息+扩展属性等的一个聚合)、商品介绍(PC版、移动版)、其他信息(分类、商家等维度，数据量小，直接Redis存储)。

在所述步骤S105中，系统将前端展示分为两个：商品页和介绍，使用Nginx+Lua技术获取数据并渲染模板输出；前段接口逻辑服务器聚合，前端异步请求API，服务器把相关数据准备好发过去，前端直接拿到数据展示即可；所有或大部分逻辑在服务端完成而不是在客户端完成；因此我们在接入层使用Lua协程机制并发调用多个相关服务然后最后把这些服务进行了合并。例如库存的服务都要进行判断，因此把相关逻辑封装到服务端完成。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (7)

1.一种基于服务器和网页的闭环生态反馈链系统，其特征在于：包括以下流程步骤：

(1)网页发送请求数据到接入层，通过前置逻辑和多级缓存进行数据查询，若未命中则调用服务器进行回源处理，从而获取数据信息；

(2)通过各种渠道获取到数据信息，其中包括依赖系统和自身服务器渠道方式；

(3)数据异构和数据原子化，获取到各个依赖系统的数据并按照闭环生态系统的规范进行存储和原子化；数据已够的数据是原子化之后的数据，数据原子化能够更好的构建数据闭环系统；

(4)数据聚合，结合系统架构将多个原子数据聚合成一个模块数据用于传递，为前段页面展示提供高性能的读取；

(5)前端展示系统分离后的数据，减少数据耦合，提高服务器并发性，提高了响应速度和完成系统的去依赖化，从而完成服务器和网页之间的闭环反馈链。

2.根据权利要求1所述的一种基于服务器和网页的闭环生态反馈链系统，其特征在于：从服务器本身渠道和外部依赖渠道获取到各种类型的数据信息之后，通过消息队列方式通知，数据异构Worker得到通知，然后按照一些维度进行数据存储，存储到数据异构JIMDB集群，存储的数据都是未加工的原子化数据，包括基本信息、扩展属性、页面其它一些相关信息、数据规格参数、分类，数据异构Worker存储成功后，会发送一个MQ到数据聚合Worker，按照相应的维度聚合数据存储到相应的JIMDB集群；在此设置三个维度：基本信息、展示类型、其它信息，使用Nginx+Lua获取数据并渲染模板输出，前端展示系统分离后的数据，减少数据耦合来增强系统可维护性，提高服务器并发能力来加快响应速度，数据的去依赖化等方式完成网页与服务器的闭环生态链系统。

3.根据权利要求1所述的一种基于服务器和网页的闭环生态反馈链系统，其特征在于：系统整体架构中，请求首先进入Nginx调用Lua进行一些前置逻辑处理，如果前置逻辑不合法直接返回；然后查询本地缓存，如果命中直接返回数据；在多级缓存系统中，如果1.1步骤本地缓存不命中数据，则通过步骤1.2查询分布式Redis集群，如果命中数据，则直接返回，完成数据查询；同时在多级缓存系统中，如果分布式Redis集群不命中，则通过步骤2会调用Tomcat进行回源处理；把结果异步写入Redis集群并返回。

4.根据权利要求1所述的一种基于服务器和网页的闭环生态反馈链系统，其特征在于：在数据闭环系统中数据闭环即数据的自我管理，获取到的数据在闭环生态系统中进行维护，不依赖于任何其它系统，去依赖化；数据异构是数据闭环的基础，将各个依赖系统的数据拿过来，按照自己的要求存储起来。

5.根据权利要求1所述的一种基于服务器和网页的闭环生态反馈链系统，其特征在于：在系统中的数据异构的数据采用的是原子化数据。

6.根据权利要求1所述的一种基于服务器和网页的闭环生态反馈链系统，其特征在于：在缓存前置模块单元中，将缓存前置到了接入层，来进行热点数据的削峰。

7.根据权利要求1所述的一种基于服务器和网页的闭环生态反馈链系统，其特征在于：在数据接入但愿中首先在接入层，使用Nginx本地缓存，如果Nginx本地缓存不命中，接着会读取各个机房的分布式从Redis缓存集群，如果从Redis集群不命中，Nginx会回源到Tomcat；如果Java堆缓存不命中，会读取主Redis集群。