CN113750521A - 数据存储系统及方法 - Google Patents

Abstract

本发明提供了一种数据存储系统及方法，数据存储系统包括逻辑服务器、缓存服务器及数据库，逻辑服务器包括第一时延模块，当逻辑服务器接收数据时，第一时延模块以第一时延向缓存服务器延迟转发数据；缓存服务器包括第二时延模块，当缓存服务器接收数据时，第二时延模块以第二时延向数据库延迟转发数据，其中第一时延小于第二时延；缓存服务器还包括备份模块，备份模块基于备份周期将数据中的指定数据部分备份至缓存服务器的备份文件夹内，当缓存服务器接收一回档指令时，自备份文件夹读取指定数据部分。采用上述技术方案后，避免了因数据库崩溃造成的缓存数据丢失的情况，同时可提高缓存服务器的使用率，降低资源成本。

Description

数据存储系统及方法

技术领域

本发明涉及服务器领域，尤其涉及一种数据存储系统及方法。

背景技术

由于智能终端的快速发展，用户使用智能终端进行娱乐性体验的时刻越来越多。对此，大量的游戏类应用程序孕育而生，这类应用程序需要基于移动网络为通信方式，与创建应用程序的厂商所搭建的服务器进行数据交互，从而获得云端数据存储和调用的使用体验。对此，厂商所搭建的服务器通常如图1所示的结构，终端、逻辑服务器、缓存服务器、数据库间数据同步为各项实施，通常具有以下问题：

1：数据丢失风险比较大

逻辑服务器通过缓存服务器的缓存来降低数据库的压力，但若在数据传输过程中，逻辑服务器崩溃，则数据会造成丢失。

2：无法提供玩家个人回档功能

若应用程序使用中出现玩家资源异常等BUG，需要对玩家数据进行回档时，则需要将数据库回档到某一时刻，但由于回档机制通常为通过数据库进行区服回档，一名玩家的数据异常，则整个服务器内的所有数据均需要回档，无法精准对某个玩家数据回档到某一时刻。

3：缓存服务器缺乏故障恢复

若缓存服务器缓存了N个玩家数据，且在某一时刻停止服务，则缓存服务器无法进行同步，若更进一步地，缓存服务器突然崩溃，则缓存的所有玩家数据就会崩溃丢失。

4：缓存服务器缺乏多数据库的支持

缓存服务器由于本身所承载的计算要求比较少，所以能支撑更多的压力，若与数据库一对一的配置，会造成资源的浪费。

因此，需要一种新型的数据存储系统与方法，可降低缓存服务器崩溃时数据丢失的几率，优化回档机制。

发明内容

为了克服上述技术缺陷，本发明的目的在于提供一种数据存储系统及方法，避免了因数据库崩溃造成的缓存数据丢失的情况，同时可提高缓存服务器的使用率，降低资源成本。

本发明公开了一种数据存储系统，包括通信连接的逻辑服务器、缓存服务器及数据库，逻辑服务器自终端接收数据并转发数据至缓存服务器，缓存服务器转发数据至数据库，

逻辑服务器包括第一时延模块，当逻辑服务器接收数据时，第一时延模块以第一时延向缓存服务器延迟转发数据；

缓存服务器包括第二时延模块，当缓存服务器接收数据时，第二时延模块以第二时延向数据库延迟转发数据，其中第一时延小于第二时延；

缓存服务器还包括备份模块，备份模块基于备份周期将数据中的指定数据部分备份至缓存服务器的备份文件夹内，当缓存服务器接收一回档指令时，自备份文件夹读取指定数据部分。

优选地，逻辑服务器接收发自终端的登录信息后，向缓存服务器发送获取对应于登录信息的数据的获取指令；

缓存服务器根据获取指令，查询内存缓存中是否已记录对应于登录信息的数据，若已记录，则返回数据至逻辑服务器，若未记录，缓存服务器自数据库加载数据后返回至逻辑服务器。

优选地，当逻辑服务器接收数据时，第一时延模块记录接收数据的时刻为t1，以t1为起始时刻延迟第一时延后，向缓存服务器延迟转发数据；

当缓存服务器接收数据时，第二时延模块记录接收数据的时刻为t2，以t2为起始时刻延迟第二时延后，向缓存服务器延迟转发数据；

第一时延为第二时延的二十分之一至三分之一间。

优选地，逻辑服务器接收数据向缓存服务器延迟转发数据后，重置起始时刻为t1’，以t1’为起始时刻延迟第一时延后，再次向缓存服务器延迟转发数据。

优选地，当缓存服务器重启时，将内存缓存中的数据发送至数据库；

当数据未同步至数据库时，缓存服务器将未同步的数据存储至备份文件夹。

优选地，当数据库恢复时，缓存服务器将备份文件夹内的未同步的数据加载到同步队列中发送至数据库。

优选地，缓存服务器还包括清理模块，清理模块根据一清理周期清理备份文件夹内的数据。

优选地，数据库包括至少两个数据库单元；

缓存服务器对接每一数据库单元，并根据数据与数据库单元的分区关系发送数据至相应的数据库单元。

本发明还公开了一种数据存储方法，包括以下步骤：

逻辑服务器自终端接收数据；

逻辑服务器的第一时延模块以第一时延向缓存服务器延迟转发数据；

缓存服务器的第二时延模块以第二时延向数据库延迟转发数据，其中第一时延小于第二时延；

缓存服务器的备份模块基于备份周期将数据中的指定数据部分备份至缓存服务器的备份文件夹内，当缓存服务器接收一回档指令时，自备份文件夹读取指定数据部分。

优选地，当逻辑服务器接收数据时，第一时延模块记录接收数据的时刻为t1，以t1为起始时刻延迟第一时延后，向缓存服务器延迟转发数据；

当缓存服务器接收数据时，第二时延模块记录接收数据的时刻为t2，以t2为起始时刻延迟第二时延后，向缓存服务器延迟转发数据，其中第一时延为第二时延的二十分之一至三分之一间；

逻辑服务器接收数据向缓存服务器延迟转发数据后，重置起始时刻为t1’，以t1’为起始时刻延迟第一时延后，再次向缓存服务器延迟转发数据。

采用了上述技术方案后，与现有技术相比，具有以下有益效果：

1.可降低缓存服务器、逻辑服务器、数据库崩溃时数据丢失的几率；

2.回档机制可针对个人的数据，无需对一整个区服内的所有数据进行回档；

3.避免了数据库崩溃时，缓存服务器的缓存数据丢失的情况发生；

4.提高缓存服务器的使用率，降低整体的资源成本。

附图说明

图1为现有技术中数据存储系统的结构示意图；

图2为符合本发明一优选实施例中数据存储系统的结构示意图；

图3为符合本发明一优选实施例中数据存储方法的流程示意图。

具体实施方式

以下结合附图与具体实施例进一步阐述本发明的优点。

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，“模块”与“部件”可以混合地使用。

参阅图2，为符合本发明一优选实施例中数据存储系统的结构示意图，在该实施例中数据存储系统包括：

-逻辑服务器

逻辑服务器与一终端通信连接，该终端为用户所使用，并运行游戏类应用程序的设备，应用程序在运行时，根据用户的操作，形成玩家数据，例如攻击指令、确认指令、调整指令等。逻辑服务器接收上述数据后，将进行游戏业务计算，例如，用户在应用程序内的账户登录后，会根据用户的不断操作，不断修改玩家数据，从而使得逻辑服务器内记录的数据均为针对用户最新操作后的最新数据。

-缓存服务器

缓存服务器与逻辑服务器通信连接，接收逻辑服务器转发来的数据，用于对这些数据读写、缓存、备份。因此，缓存服务器向逻辑服务器提供了读出和写入的接口，作为数据中转的媒介。

-数据库

数据库与缓存服务器通信连接，其内存储有所有用户在应用程序内的数据。逻辑服务器调用和修改的数据来源，便是数据库内存储的数据。

在该优选实施例中，为避免数据在逻辑服务器、缓存服务器崩溃时丢失，逻辑服务器和缓存服务器配置为：

逻辑服务器包括第一时延模块，逻辑服务器从终端收到数据后，第一时延模块将与逻辑服务器的通信模块(或交互模块等用于与外部设备数据交互的设备)连接，控制通信模块的数据发送时间。例如，第一时延模块内配置有第一时延，其控制通信模块不在收到数据的第一时间就向外发送，反之，维持数据在逻辑服务器内一定时间，如第一时延，并在经过第一时延所代表的时间后，才控制通信模块向外发送，使得缓存服务器接收逻辑服务器转发的数据的时间，相较于逻辑服务器收到终端发出的数据的时间，相差第一时延。由于数据在逻辑服务器内缓存第一时延所代表的时间内，当缓存服务器恰好在传输过程中崩溃时，未发出的全部数据或部分数据由于延迟发出的机制而可及时保存在逻辑服务器内。

同样地，缓存服务器包括第二时延模块，缓存服务器从终端收到数据后，第二时延模块将与缓存服务器的通信模块(或交互模块等用于与外部设备数据交互的设备)连接，控制通信模块的数据发送时间。例如，第二时延模块内配置有第二时延，其控制通信模块不在收到数据的第二时间就向外发送，反之，维持数据在缓存服务器内一定时间，如第二时延，并在经过第二时延所代表的时间后，才控制通信模块向外发送，使得数据库接收缓存服务器转发的数据的时间，相较于缓存服务器收到逻辑服务器发出的数据的时间，相差第二时延。由于数据在缓存服务器内缓存第二时延所代表的时间内，当缓存服务器恰好在传输过程中崩溃，或是数据库发生崩溃时，未发出的全部数据或部分数据，或是无法存储在数据库内的数据，将由于延迟发出的机制而可及时保存在缓存服务器内。

此外，该实施例中，还提供了针对某一玩家的数据的回档机制。具体地，为防止游戏类应用程序运营过程中，玩家利用应用程序的漏洞造成数据异常时，则需要对玩家的数据进行回档，回复到某一过去时刻时的数据状态。缓存服务器内包括备份模块，且该备份模块的备份功能为定时性的，其内配置有一备份周期，例如30分钟、1分钟等，每到达该备份周期，备份模块将缓存服务器收到的数据内的全部，或部分指定数据部分(例如活跃玩家的数据，活跃指标的衡量，可以是近期连续登陆天数到达一定的阈值，每天在线的时长到达一定数量、充值数额到达一定数额、账户数量大于一定数量等)，这些指定数据部分将被备份模块备份至缓存服务器的一备份文件夹内，该备份文件夹为缓存服务器的本地文件夹，专用于备份数据。当缓存服务器接收一回档指令时，具体地，应用程序的运营人员向应用程序的管理平台发送一查询指令，以要求查询玩家数据的存档时，管理平台与缓存服务器连接，调用缓存服务器的接口，从而查询玩家数据的已留档的列表，缓存服务器自备份文件夹读取指定数据部分后，返回至管理平台，运营人员可选择指定数据部分中的某一档案(例如过去某一期望时刻下的玩家数据)进行回档，从而可针对某一玩家的数据，靶向回档，而不需要回档整个区服的数据。

一优选实施例中，游戏应用程序的玩家通过终端登录后，将生成登录信息，并经终端发送至逻辑服务器，逻辑服务器为进行游戏事件的业务计算，将向缓存服务器发送获取对应于登陆信息的该玩家的数据的获取指令。缓存服务器根据该获取指令，首先查询自身内存中是否缓存有对应于该登录信息的数据，若存在，则可直接将缓存的数据返回至逻辑服务器，供逻辑服务器的使用，如修改、覆盖、更新等，若不存在，则缓存服务器将向数据库发送加载请求，自数据库内获取数据后，再返回相应数据至逻辑服务器。可以理解的是，反向地将数据从数据库调取至逻辑服务器的传输过程中，可不需要增加时延机制，即便缓存服务器或数据库崩溃时，不会影响数据库内已存储的数据。而上述实施例中逻辑服务器向缓存服务器和数据库的数据传输中的数据时延机制的设置，属于技术人员通常不会考虑的方式，甚至是尽力避免的方式(以最快地向用户反馈数据交互)，而本发明中，克服了上述偏见，计算后的数据仍以正常的传输方式传输至用户的终端侧，延时机制仅应用在数据同步至数据库侧，用户侧不会有时延的体验。

优选地或可选地，应用程序的玩家登陆游戏类应用程序后，会通过终端把玩家数据加载到逻辑服务器中，当逻辑服务器接收数据时，第一时延模块记录此时接收数据的时刻为t1，以t1为起始时刻延迟第一时延N后，记录时间为t3(t3＝t1+N)，向缓存服务器延迟转发数据。在缓存服务器侧，当缓存服务器接收数据时，第二时延模块记录此时接收数据的时刻为t2，以t2为起始时刻延迟第二时延M后，向缓存服务器延迟转发数据，并记录此时时间为t4(t4＝t2+M)，其中第一时延N为第二时延M的二十分之一至三分之一间，例如第二时延M的取值一般都是3-5分钟，但第一时延N就可以取值30秒-1分钟，也就是说，只要把变动的数据更快的从逻辑服务器同步出去，就能减少玩家数据丢失的风险，但是考虑到同步频率越高，给后面的服务器压力就越大。所以需要在同步频率和服务器压力之间做好平衡，压力越小、同步频率越高、安全性越高。，此外，由于逻辑服务器到缓存服务器的同步，只会涉及到网络传输和内存操作；但缓存服务器到数据库的同步，会涉及到网络传输、内存操作、磁盘操作。所以逻辑服务器同步到缓存服务器的压力更低，所以同步频率可以增加。此外，逻辑服务器因为不断增加业务代码，崩溃的概率会比缓存服务器的概率高，所以先同步到缓存服务器会更安全。然后缓存服务器再慢慢的同步到数据库，由此降低数据丢失风险。

在上述实施例中，逻辑服务器接收所述数据向所述缓存服务器延迟转发所述数据后，重置起始时刻为t1’，以t1’为起始时刻延迟第一时延后，再次向所述缓存服务器延迟转发所述数据，从而不断地周期性地记录数据至缓存服务器。

优选地或可选地，缓存服务器包括主动备份的机制，例如在缓存服务器重启时，将主动地把自身内存缓存中的数据发送到数据库，以防止缓存服务器重启后缓存的数据丢失。同时，若数据未同步到数据库时，例如数据库同时崩溃，则判断该情况发生后，缓存服务器将未同步至数据库的数据，或是所有数据存储到备份文件夹内，以本地文件夹存储的方式，保证数据不会丢失。而数据库恢复后，可再次调用回备份文件夹的数据，并将未同步的数据，或所有数据加载到同步队列中，将数据恢复至数据库内，以恢复数据。备份文件夹可以采用本地磁盘的文件夹成型，从而保证数据始终通过某种媒介存储着。

进一步地，缓存服务器还包括清理模块，其内编制有定时清理脚本，定时清理脚本配置有清理周期，例如一周、5天、10天等，根据该清理周期定期清理备份文件夹内的数据，从而可实现清理周期内的精准回档。

优选地或可选地，数据库包括至少两个数据库单元，缓存服务器对接每一数据库单元，，即多个数据库单元可共用一缓存服务器，利用该计算压力最低的服务器，服务于多个数据库单元下，数据将被缓存服务器根据数据与数据库单元的分区关系发送数据至相应的数据库单元作处理，该分区关系，可以是逻辑服务器按数据区与数据库单元的对应关系，从而缓存服务器访问对应的数据库单元。

基于延时机制，缓存的数据并非实时地、不间断地被发送至数据库，一并积攒，且结合备份机制的配置，可减少对数据库的写入频率下，保证数据的始终保有性。

参阅图3，示出了本发明一优选实施例中数据存储方法的流程示意图，该实施例中，数据存储方法包括以下步骤：

S100：逻辑服务器自终端接收数据；

S200：逻辑服务器的第一时延模块以第一时延向缓存服务器延迟转发数据；

S300：缓存服务器的第二时延模块以第二时延向数据库延迟转发数据，其中第一时延小于第二时延；

S400：缓存服务器的备份模块基于备份周期将数据中的指定数据部分备份至缓存服务器的备份文件夹内，当缓存服务器接收一回档指令时，自备份文件夹读取指定数据部分。

优选地，步骤S200及S300具体包括：

当逻辑服务器接收数据时，第一时延模块记录接收数据的时刻为t1，以t1为起始时刻延迟第一时延后，向缓存服务器延迟转发数据；

当缓存服务器接收数据时，第二时延模块记录接收数据的时刻为t2，以t2为起始时刻延迟第二时延后，向缓存服务器延迟转发数据，其中第一时延为第二时延的二十分之一至三分之一间；

逻辑服务器接收数据向缓存服务器延迟转发数据后，重置起始时刻为t1’，以t1’为起始时刻延迟第一时延后，再次向缓存服务器延迟转发数据。

终端可以以各种形式来实施。例如，本发明中描述的终端可以包括诸如移动电话、智能电话、笔记本电脑、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置等等的终端以及诸如数字TV、台式计算机等等的固定终端。下面，假设终端是终端。然而，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本发明的实施方式的构造也能够应用于固定类型的终端。

应当注意的是，本发明的实施例有较佳的实施性，且并非对本发明作任何形式的限制，任何熟悉该领域的技术人员可能利用上述揭示的技术内容变更或修饰为等同的有效实施例，但凡未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何修改或等同变化及修饰，均仍属于本发明技术方案的范围内。

Claims (10)

1.一种数据存储系统，包括通信连接的逻辑服务器、缓存服务器及数据库，所述逻辑服务器自终端接收数据并转发数据至所述缓存服务器，所述缓存服务器转发数据至所述数据库，其特征在于，

所述逻辑服务器包括第一时延模块，当所述逻辑服务器接收所述数据时，所述第一时延模块以第一时延向所述缓存服务器延迟转发所述数据；

所述缓存服务器包括第二时延模块，当所述缓存服务器接收所述数据时，所述第二时延模块以第二时延向所述数据库延迟转发所述数据，其中所述第一时延小于第二时延；

所述缓存服务器还包括备份模块，所述备份模块基于备份周期将所述数据中的指定数据部分备份至缓存服务器的备份文件夹内，当所述缓存服务器接收一回档指令时，自所述备份文件夹读取所述指定数据部分。

2.如权利要求1所述的数据存储系统，其特征在于，

所述逻辑服务器接收发自所述终端的登录信息后，向所述缓存服务器发送获取对应于登录信息的数据的获取指令；

所述缓存服务器根据所述获取指令，查询内存缓存中是否已记录对应于登录信息的数据，若已记录，则返回所述数据至所述逻辑服务器，若未记录，所述缓存服务器自所述数据库加载数据后返回至所述逻辑服务器。

3.如权利要求1所述的数据存储系统，其特征在于，

当所述逻辑服务器接收所述数据时，所述第一时延模块记录接收所述数据的时刻为t1，以t1为起始时刻延迟第一时延后，向所述缓存服务器延迟转发所述数据；

当所述缓存服务器接收所述数据时，所述第二时延模块记录接收所述数据的时刻为t2，以t2为起始时刻延迟第二时延后，向所述缓存服务器延迟转发所述数据；

所述第一时延为第二时延的二十分之一至三分之一间。

4.如权利要求3所述的数据存储系统，其特征在于，

所述逻辑服务器接收所述数据向所述缓存服务器延迟转发所述数据后，重置起始时刻为t1’，以t1’为起始时刻延迟第一时延后，再次向所述缓存服务器延迟转发所述数据。

5.如权利要求1所述的数据存储系统，其特征在于，

当所述缓存服务器重启时，将内存缓存中的数据发送至所述数据库；

当数据未同步至所述数据库时，所述缓存服务器将未同步的数据存储至所述备份文件夹。

6.如权利要求5所述的数据存储系统，其特征在于，

当所述数据库恢复时，所述缓存服务器将备份文件夹内的未同步的数据加载到同步队列中发送至所述数据库。

7.如权利要求1所述的数据存储系统，其特征在于，

所述缓存服务器还包括清理模块，所述清理模块根据一清理周期清理备份文件夹内的数据。

8.如权利要求1所述的数据存储系统，其特征在于，

所述数据库包括至少两个数据库单元；

所述缓存服务器对接每一所述数据库单元，并根据所述数据与所述数据库单元的分区关系发送数据至相应的数据库单元。

9.一种数据存储方法，其特征在于，包括以下步骤：

逻辑服务器自终端接收数据；

逻辑服务器的第一时延模块以第一时延向缓存服务器延迟转发所述数据；

缓存服务器的第二时延模块以第二时延向所述数据库延迟转发所述数据，其中所述第一时延小于第二时延；

缓存服务器的备份模块基于备份周期将所述数据中的指定数据部分备份至缓存服务器的备份文件夹内，当所述缓存服务器接收一回档指令时，自所述备份文件夹读取所述指定数据部分。

10.如权利要求9所述的数据存储方法，其特征在于，

当所述逻辑服务器接收所述数据时，所述第一时延模块记录接收所述数据的时刻为t1，以t1为起始时刻延迟第一时延后，向所述缓存服务器延迟转发所述数据；

当所述缓存服务器接收所述数据时，所述第二时延模块记录接收所述数据的时刻为t2，以t2为起始时刻延迟第二时延后，向所述缓存服务器延迟转发所述数据，其中所述第一时延为第二时延的二十分之一至三分之一间；

所述逻辑服务器接收所述数据向所述缓存服务器延迟转发所述数据后，重置起始时刻为t1’，以t1’为起始时刻延迟第一时延后，再次向所述缓存服务器延迟转发所述数据。

Images