CN105893543B - 数据缓冲服务方法及系统 - Google Patents

Abstract

一种数据缓冲服务方法及系统，该系统包括：业务脚本引擎对业务数据结构进行初始化处理；数据结构初始化及定义模块在初始化处理过程中调用数据读取驱动适配器从数据源获取最新的业务数据；数据同步模块在初始化处理结束后周期性地通过数据读取驱动适配器从数据源获取最新的业务数据，并同步到数据缓冲模块；数据缓冲模块存储最新的业务数据和整理索引；业务脚本引擎调用消息同步广播模块和消息接口广播同步消息给集群内其他服务器；以及进行数据查询，并对查询到的业务数据进行加工处理后通过调用对外服务接口返回结果给用户。通过采用内嵌自定义数据整理脚本主动从数据源整理缓冲数据及更新广播同组服务器同步，从而实现主动式最终一致数据缓冲。

Description

数据缓冲服务方法及系统

技术领域

本发明涉及互联网领域内的分布式数据缓冲，特别涉及一种最终一致性预处理数据缓冲服务方法及装置。

背景技术

目前互联网对于数据对外软件服务可分为缓冲类及存储类：

缓冲类数据服务提供对存储类数据进行内存缓冲，从而降低存储服务的访问压力，但缓存的更新等操作需要自实现，提供的服务有一定的局限性，且纵向横向扩展能力不尽人意。多数常见缓冲无法根据业务需要做关系性查询。并不适合作为SAAS(Software-as-a-Service，软件即服务)、PAAS(Platform-as-a-Service，平台即服务)模式的数据服务接口。

存储类数据服务提供对数据的落地存储及关系查询，此类服务往往因为数据一致性等问题承载能力和纵向横向扩展能力不尽人意，并不适合大规模对SAAS、PAAS模式提供数据服务。目前仅有此服务能够提供完整的关系查询。

在实际应用中对于数据的访问70％以上请求都是对数据的查询，70％查询中还可以划分为：关系条件查询及HASH(散列)查询。目前常见的缓冲多为HASH查询，此类缓冲多为查询结果或单条数据的缓冲，此类数据都属于热数据(短周期内访问频率高一类数据)。对于冷数据且支持查找的缓冲较少且并不常见。

现有互联网服务系统中对于数据的处理是计算机最主要的工作，随着用户量增长及数据的积累，行业发现当大流量系统向PAAS、SAAS平台化进军过程中，关系型数据库造成了很大阻碍。

关系性数据库对于横向纵向拆分或扩容、分布式非单点、数据量持续增长的支持不佳，一直带来大量的工作，甚至在每个产品特性开发的细节特性都会受到影响。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：在实际使用中很多数据重复计算频繁，查询量增长不可预知，无法快速迁移及响应成为开发的主要工作。现行业内涌现大量NOSQL(Not Only SQL，不仅仅是SQL)数据服务旨在降低数据库单点压力及提高关系查询统计效率，到目前为止所有的缓冲方案都是针对热数据进行缓冲，都独自为服务与业务结合并不紧密，都存在不同程度的固化数据结构无法根据业务进行优化调整。且很多数据查询操作并不能做到快速自定义响应。

发明内容

本发明实施例提供一种数据缓冲服务系统及方法，将数据结构根据业务进行优化调整，并且数据查询操作实现快速自定义响应。

为达上述目的，一方面本发明提供一种数据缓冲服务系统，其配置于一台服务器内，其包括：

业务脚本引擎，用于根据业务需求或针对数据结构初始化及定义模块的模块更新命令，启动数据结构初始化及定义模块对业务数据结构进行初始化处理；

所述数据结构初始化及定义模块，用于在初始化处理过程中调用数据读取驱动适配器从数据源获取最新的业务数据，并同步到数据缓冲模块；

数据同步模块，用于在初始化处理结束后周期性地通过所述数据读取驱动适配器从数据源获取最新的业务数据，并同步到数据缓冲模块；

所述数据缓冲模块，用于当最新的业务数据从数据源获取后，存储所述最新的业务数据和整理索引；

所述业务脚本引擎，还用于当所述数据缓冲模块中存储的业务数据有变更时，调用消息同步广播模块和消息接口广播同步消息给集群内其他服务器；以及当对外服务接口接收到用户的业务请求时，启动所述自定义数据整理模块向所述数据缓冲模块进行数据查询，并对查询到的业务数据进行加工处理后通过调用所述对外服务接口返回结果给所述用户。

进一步地，所述数据结构初始化及定义模块，具体用于在初始化处理过程中执行数据统计、数据创建、自定义数据结构操作以及恢复本地镜像数据。

进一步地，还包括：定期执行模块，用于周期性执行任务，以及调用执行所述自定义数据整理模块。

进一步地，所述对外服务接口还连接反向代理服务器，所述数据缓冲服务系统通过所述反向代理服务器获取业务请求。

进一步地，所述消息接口是Kafka消息接口，其还用于接收业务日志，以及接收http请求或memcache请求；或者，所述消息接口包括消息同步总线，用于同步同集群内业务数据以保障集群内数据最终一致性。

为达上述目的，另一方面本发明提供一种数据缓冲服务方法，其适用于上述的数据缓冲服务系统，该方法包括如下步骤：

业务脚本引擎根据业务需求或针对数据结构初始化及定义模块的模块更新命令，启动数据结构初始化及定义模块对业务数据结构进行初始化处理；

所述数据结构初始化及定义模块在初始化处理过程中调用数据读取驱动适配器从数据源获取最新的业务数据，并同步到数据缓冲模块；

数据同步模块在初始化处理结束后周期性地通过所述数据读取驱动适配器从数据源获取最新的业务数据，并同步到数据缓冲模块；

当最新的业务数据从数据源获取后，数据缓冲模块存储所述最新的业务数据和整理索引；

当所述数据缓冲模块中存储的业务数据有变更时，调用消息同步广播模块和消息接口广播同步消息给集群内其他服务器；

当对外服务接口接收到用户的业务请求时，业务脚本引擎启动所述自定义数据整理模块向所述数据缓冲模块进行数据查询，并对查询到的业务数据进行加工处理后通过调用所述对外服务接口返回结果给所述用户。

进一步地，所述数据结构初始化及定义模块在初始化处理过程中执行数据统计、数据创建、自定义数据结构操作以及恢复本地镜像数据。

进一步地，所述对外服务接口还连接反向代理服务器，所述方法还包括：通过所述反向代理服务器获取业务请求。

进一步地，所述消息接口是Kafka消息接口，其还用于接收业务日志，以及接收http请求或memcache请求；或者，所述消息接口包括消息同步总线，用于同步同集群内业务数据以保障集群内数据最终一致性。

进一步地，还包括：当接收到同一集群内其他服务器广播的同步消息后，所述业务脚本引擎启动所述自定义数据整理模块对同步过来的业务数据进行处理，并且同时进行备份操作。

上述技术方案具有如下有益效果：因为采用内嵌自定义数据整理脚本主动从数据源整理缓冲数据的技术手段，所以达到了贴合业务需要主动式整理统计的最终一致数据缓冲的技术效果。并且能实现对于PAAS、SAAS的支持，支持分布式非单点，可横向纵向扩容。数据可恢复，高可用，无状态服务，并发高响应速度快，能够充分利用CPU及内存。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的实施例的数据缓冲服务系统内部数据流关系图；

图2是本发明的实施例的数据缓冲服务系统部署结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本实施例的最终一致性预处理数据缓冲服务系统，采用缓存即服务，通过启动时预热对数据进行整理，能够提供高效快速的数据查询服务供业务使用，其是一种新型缓存即服务的数据缓冲系统。

图1本发明的实施例的数据缓冲服务系统内部逻辑结构及数据流关系图，其描述了数据流的走向以及模块间关系。如图1所示，该数据缓冲服务系统包括如下模块，下述模块可通过相应脚本来实现：

业务脚本引擎，用于执行Lua脚本，lua是一个内嵌脚本引擎，可以在不重启服务的情况下热更新新的逻辑到本系统。Lua脚本引擎调用本系统内嵌的数据读取驱动适配器，从各种数据源提取数据到本系统内。目前本数据缓冲服务系统充分利用lua的特性灵活定制各种服务的行为数据整理方式。该业务脚本引擎可根据业务需求或脚本更新命令启动数据结构初始化及定义模块对业务数据结构进行初始化处理。

数据整理模块，用于对数据的结构整理、数据统计，生成数据辅助索引及加工。

定期执行模块，用于周期性执行任务脚本，数据整理模块也会在这里被调用执行。

数据同步模块，用于在初始化过程之后对定期被调用的数据进行更新，该模块会周期性地从数据源获取最新的数据同步到数据缓冲模块。通过该模块可以保证缓冲内数据的实时性。

数据结构初始化及定义模块，用于在初始化阶段定义业务数据结构。本数据缓冲服务为C++开发数据结构编译后是固化的，但是通过Lua脚本及组合指针实现能够自定义的高性能的数据结构以符合业务需要，如UID为key内部数据结构为(用户购买次数，最后购买时间)这类的定义。

对外服务接口，用于当接收到用户业务请求时调用指定lua脚本(数据整理模块对应的脚本)对本系统内数据进行整理并反馈给使用方(需求方)。由于数据缓冲服务结构和统计需求不同，特对外提供API服务。

消息同步广播模块：数据缓冲服务系统单机承载能力有限，大部分都是集群多实例一起工作，由于数据要保证一致性，多机之间对于一些一致性要求较高的数据更新要及时同步(1～2s内)，当本系统内缓冲数据更新后通过定制好的广播脚本将数据更新信息广播出去，由于不同业务不同广播规则不同，所以特设此消息同步广播模块。另外此模块对强一致的数据有特制更新逻辑脚本，可做到强一致更新数据。最后此消息同步广播模块同时负责接收所有上面提及的广播接收服务，通过脚本定制符合各个业务需求。

Kafka消息接口，用于多服务之间发送同步广播。

当发生本地数据更新操作的时候会通过消息同步广播模块发送同步信息到其他服务让其他同样的服务器实例与本服务数据结果一致。消息同步广播模块具有发送广播功能，和接收广播功能，接收到广播后的处理流程是通过调用脚本引擎内相应的脚本实现的。消息同步广播模块和消息接口组合使用以实现广播功能，前者负责广播的支配、驱动与控制，后者负责广播的具体执行，如提供广播接口数据传输路径。

数据缓冲模块，用于当数据从数据源获取后，存储整理索引，整理索引会自动存储到磁盘，如果调用频繁会自动放到(服务器)内存中进行缓冲。

数据读取驱动适配器，用于与一种或多种数据源进行通讯，如Mysql，Redis，Memcache，甚至http，远程文件。通过该数据读取驱动适配器，本系统可以通过一个统一接口获取以上数据源的数据。

大型网站如果需要更高的吞吐需要启动更多的同职能服务实例，本实施例中所提及的其他服务就是同样的服务在其他服务器运行。

以下描述该系统内部各部分/模块相互之间的动态交互过程：

系统启动时会启动业务脚本引擎，该业务脚本引擎会启动数据结构初始化及定义模块对数据结构进行初始化，还可以加载之前加工过并保存在磁盘上的数据(恢复本地镜像数据)。在该期间可以执行数据统计，数据创建及自定义数据结构操作。启动数据结构初始化及定义模块会利用数据读取驱动适配器将所有数据源数据进行读取和/或加工以保持本系统内缓冲数据为最新。启动完毕后将周期性执行数据更新，以及定期执行脚本任务对数据源及数据进行持续更新。如果本系统缓冲数据有变更将会调用消息同步广播模块和消息接口通知集群内的其他服务器实例服务，同时更新保证全局数据一致。

当有用户业务请求时对外服务接口(API接口)会通过业务脚本引擎触发启动对应的Lua脚本(自定义数据整理脚本)对特定查询进行处理并返回给需求方，包括数据查找及加工处理。该自定义数据整理模块可以由用户自定义，包括读取哪些数据，获取哪些数据，整理成什么格式，是否发送广播等动作，返回的数据是什么等。

如果碰到同组内需要集群同步的数据，则广播发送同步消息到同组服务器内(大型网站的数据缓冲多是由多台服务器为一组的服务器群组，每个服务器的服务内容是一样的)。

同组服务器获得该同步消息后会启动对应的模块对同步过来数据进行处理，同时备份等操作也会在这个周期内执行。服务期内通过业务脚本引擎周期执行指定模块对缓冲中的数据进行整理。

本发明的实施例的上述系统具有如下特点：

数据预处理：可对多种数据源数据进行收集、统计、索引，并将数据分布地存储在多台服务器内存内。当单机故障时可快速从数据源及本地镜像恢复，支持自定义多种数据结构及多线程并发运算。数据同步：本服务是可分布式的，可以通过消息同步总线同步同组(集群)内数据以此保证集群之间数据最终一致性。服务之间弱依赖，磐机等故障可通过本地数据镜像快速恢复。数据查询：可对外提供多种协议的服务接口，如Memcache、HTTP。脚本引擎：数据的统计索引及查询都可使用脚本自定义，可以根据需要做到缓存即服务。周期任务：通过业务脚本引擎自定义周期任务对数据进行加工、统计及回收。高可用：服务器磐机重启后可自动根据镜像快速回复，单点不可用可自动切到其他可用单点，数据完全损坏也可自动从原始数据源进行恢复。

图2是本发明的实施例的系统部署结构图。如图2所示，反向代理服务器(ReverseProxy)是一种网关，将访问集群服务器的用户的请求平均分发到集群内服务器。这样可以达到使用一组多台集群服务器统一一个接入点入口，且后端服务器单台故障可以从这个服务器摘除，从而提高服务器的高可用性及性能。消息接口Kafka：其是数据同步模块，当多个服务相互之间需要通讯同步消息时，使用该消息接口Kafka可以广播消息给集群内所有服务器，各服务器可以收到其他服务器发来的信息。其他接口触发：如http请求或memcache协议的请求过来后触发调用指定配置的脚本。业务日志触发：业务日志在业务服务器执行过程中产生，产生的日志会写到本地磁盘服务器上，通过一个进程对日志进行扫描，将所有日志内容实时推送到消息接口kafka内，本系统接收到特定的日志时会触发模块相关联的脚本对其进行处理。

与现有技术中的Redis相比，本发明的实施例技术方案的优点在于：

由于Redis是外置存储业务与其通讯时有网络请求消耗，会延长业务处理时间。而在本发明的实施例的技术方案中，缓存即服务(Cache As A Service)由于数据都在内部存储，所以效率速度更快，更能减少大量通讯损耗加快服务响应速度。

Redis不能以主动方式获取数据源数据，只能业务主动调用存入数据；而本发明的实施例的技术方案，可对多种数据源数据进行收集、统计、索引，并将数据分布地存储在多台服务器内存内。当单机故障时可快速从数据源及本地镜像恢复，支持自定义多种数据结构及多线程并发运算。

Redis不完整的支持分布式，实际属于单点服务。服务之间除主从模式外并没有同步机制。而本发明的实施例的技术方案，服务是可分布式的，可以通过消息同步总线同步同组内数据以此保证集群之间数据最终一致性。服务之间弱依赖，磐机等故障可通过本地数据镜像快速恢复。因而单点实际上是完全独立的。

Redis服务横向纵向拆分支持一般，扩展后因为一致性Hash范围变更导致数据无法命中，需要人工手动导数据。而本发明的实施例的技术方案，支持横向纵向拆分及扩展，服务之间除了通过消息接口(消息中间件)通讯外无其他联系。可轻松组织一致性Hash数据分组分块及HA(双机同步热备)等架构。

在Redis中，数据查询基础于支持的数据结构而不是基础与业务数据结构。而本发明的实施例的技术方案，数据类型可以根据业务需要定制各种组合结构，完全贴合业务需要，能够减少因为技术限制导致重构。

Redis不能对数据进行周期整理，且外置脚本做业务整理时会导致服务卡顿。而本发明的实施例的技术方案，内置Lua(Lua是一个脚本解释引擎)脚本引擎支持各种周期性数据统计及追加整理脚本需求，可以根据业务进行各种定制。

Redis不支持触发数据同步，只能业务自发去同步导致需要多写操作。而本发明的实施例的技术方案，支持触发式消息同步更新对应数据功能，同服务集群内数据最终一致。

在Redis中，单线程并发过高会卡顿，备份会导致服务卡顿。而本发明的实施例的技术方案支持多线程查询处理，支持多线程数据整理，可以做到热备份无卡顿。

本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据缓冲服务系统，其配置于一台服务器内，其特征在于，包括：

业务脚本引擎，用于根据业务需求或针对数据结构初始化及定义模块的模块更新命令，启动数据结构初始化及定义模块对业务数据结构进行初始化处理；

所述数据结构初始化及定义模块，用于在初始化处理过程中调用数据读取驱动适配器从数据源获取最新的业务数据，并同步到数据缓冲模块；

数据同步模块，用于在初始化处理结束后周期性地通过所述数据读取驱动适配器从数据源获取最新的业务数据，并同步到数据缓冲模块；

所述数据缓冲模块，用于当最新的业务数据从数据源获取后，存储所述最新的业务数据和整理索引；

所述业务脚本引擎，还用于当所述数据缓冲模块中存储的业务数据有变更时，调用消息同步广播模块和消息接口广播同步消息给集群内其他服务器；以及当对外服务接口接收到用户的业务请求时，启动自定义数据整理模块向所述数据缓冲模块进行数据查询，并对查询到的业务数据进行加工处理后通过调用所述对外服务接口返回结果给所述用户，其中，所述业务脚本引擎执行Lua脚本，通过所述Lua脚本调用所述数据读取驱动适配器从数据源提取数据。

2.根据权利要求1所述的数据缓冲服务系统，其特征在于，所述数据结构初始化及定义模块，具体用于在初始化处理过程中执行数据统计、数据创建、自定义数据结构操作以及恢复本地镜像数据。

3.根据权利要求1所述的数据缓冲服务系统，其特征在于，还包括：定期执行模块，用于周期性执行任务，以及调用执行所述自定义数据整理模块。

4.根据权利要求1所述的数据缓冲服务系统，其特征在于，所述对外服务接口还连接反向代理服务器，所述数据缓冲服务系统通过所述反向代理服务器获取业务请求。

5.根据权利要求1所述的数据缓冲服务系统，其特征在于，所述消息接口是Kafka消息接口，其还用于接收业务日志，以及接收http请求或memcache请求；或者，所述消息接口包括消息同步总线，用于同步同集群内业务数据以保障集群内数据最终一致性。

6.一种数据缓冲服务方法，其适用于权利要求1所述的数据缓冲服务系统，其特征在于，包括：

业务脚本引擎根据业务需求或针对数据结构初始化及定义模块的模块更新命令，启动数据结构初始化及定义模块对业务数据结构进行初始化处理；

所述数据结构初始化及定义模块在初始化处理过程中调用数据读取驱动适配器从数据源获取最新的业务数据，并同步到数据缓冲模块；

数据同步模块在初始化处理结束后周期性地通过所述数据读取驱动适配器从数据源获取最新的业务数据，并同步到数据缓冲模块；

当最新的业务数据从数据源获取后，数据缓冲模块存储所述最新的业务数据和整理索引；

当所述数据缓冲模块中存储的业务数据有变更时，调用消息同步广播模块和消息接口广播同步消息给集群内其他服务器；

当对外服务接口接收到用户的业务请求时，业务脚本引擎启动自定义数据整理模块向所述数据缓冲模块进行数据查询，并对查询到的业务数据进行加工处理后通过调用所述对外服务接口返回结果给所述用户；

其中，所述业务脚本引擎执行Lua脚本，通过所述Lua脚本调用所述数据读取驱动适配器从数据源提取数据。

7.根据权利要求6所述的方法，其特征在于，所述数据结构初始化及定义模块在初始化处理过程中执行数据统计、数据创建、自定义数据结构操作以及恢复本地镜像数据。

8.根据权利要求6所述的方法，其特征在于，所述对外服务接口还连接反向代理服务器，所述方法还包括：通过所述反向代理服务器获取业务请求。

9.根据权利要求6所述的方法，其特征在于，所述消息接口是Kafka消息接口，其还用于接收业务日志，以及接收http请求或memcache请求；或者，所述消息接口包括消息同步总线，用于同步同集群内业务数据以保障集群内数据最终一致性。

10.根据权利要求6所述的方法，其特征在于，还包括：当接收到同一集群内其他服务器广播的同步消息后，所述业务脚本引擎启动所述自定义数据整理模块对同步过来的业务数据进行处理，并且同时进行备份操作。