CN102752387B - 数据存储处理系统和数据存储处理方法 - Google Patents

Abstract

本发明提供了一种数据存储处理系统，包括：数据存储业务模块，接收客户端对数据的存储操作的请求；监控负载压力模块，判断当前是否存在存储压力问题，在判断结果为是时，启用平台数据处理模块；所述平台数据处理模块，将所述数据发送至远程任务分发服务器，由所述远程任务分发服务器选择队列服务器，并由所述队列服务器将所述数据存储到所述数据库。根据本发明的又一方面，还提出了一种数据存储处理方法。通过本发明的技术方案能够缓解存储负载压力，并处理数据同步和交互的不一致性。

Description

数据存储处理系统和数据存储处理方法

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种数据存储处理系统和一种数据存储处理方法。

背景技术

在传统基于平台的云计算数据中心中，数据的存储和写入是对整个平台执行性能最大的约束。通常数据的存储和写入是直接与云端的数据库进行交互，大部分客户端的请求都是由HTTP协议进行传递，大量的针对数据库的操作大部分基于短连接执行，或是使用数据库连接池进行操作，例如像LAMP和J2EE体系中的标准执行方式。由于数据库写入连接最大值的限制和连接池回收利用与关闭的机制，导致其成为了整个平台执行效率与吞吐能力最大的瓶颈。

目前市场上针对云计算的数据存储和写入方式主要采用三种执行架构方法：

（1）客户端请求云计算平台后直接连接指定数据库，并根据请求内容对指定已持久化的数据进行直接连接操作。该方法优点是数据的一致性最高，并且最大限度的保证数据的事物性和原子性，同时在开发效率与成本控制上也具有比较大的优势。缺点是对于硬件的依赖过高，在对于大型云平台操作的时候执行效率不高，存在严重的数据排队问题，并且在数据库层方面存在严重的性能约束。

（2）采用消息队列方式进行对发送给云计算平台的执行请求进行分析和操作。该方法优点是可以解决在面对超大数据执行压力下，对数据库的压力稀释，有效的解决了数据层的数据并发问题。缺点是由于采用了消息队列机制，导致数据的一致性最差，在针对频繁交互的程序系统中给用户的体验较差，并且存在一定的业务不实用型。

（3）存在多台数据库服务器，客户端访问云计算平台后，根据负载均衡原则随机或者根据一定的策略选择一台数据库进行连接和数据库操作，在操作结束后，数据库之间通过自身和程序机制自动或手动同步数据，使存在的多台服务器中数据保持一致。该方法优点是随着服务器的增加，对于数据库的压力会最大限度的减小，同时也可以有效的解决当前平台在数据存储和写入的瓶颈。缺点是对于硬件的需求成本过高，当数据库之间同步数据的时候也会因为距离和节点数的限制使自身的性能得到一定程度的下降，同时在数据同步过程中由于延迟问题，会导致数据一致性不统一。

因此，需要一种新的数据存储方法，能够缓解存储负载压力，并处理数据同步和交互的不一致性。

发明内容

本发明正是基于上述问题，提出了一种数据存储处理系统，能够缓解存储负载压力，并处理数据同步和交互的不一致性。

有鉴于此，本发明提出了一种数据存储处理系统，包括：数据存储业务模块，接收客户端对数据的存储操作的请求；监控负载压力模块，判断当前是否存在存储压力问题，在判断结果为是时，启用平台数据处理模块；所述平台数据处理模块，将所述数据发送至远程任务分发服务器，由所述远程任务分发服务器选择队列服务器，并由所述队列服务器将所述数据存储到所述数据库。

在该技术方案中，通过监控数据存储操作的负载压力，可以根据用户连接数、请求连接数、忙闲时间判定和自定义设置等多种其他业务体系中常见的策略模式进行对压力的部署，进而通过对压力进行合理的分配，达到了缓解存储负载压力的效果。

在上述技术方案中，优选地，还包括：任务检查处理模块，所述监控负载压力模块在判断结果为否时启用所述任务检查处理模块，所述任务检查处理模块在当前不存在所述存储任务时，直接将所述数据存储到所述数据库。

在该技术方案中，当存在存储压力问题时，可以直接将所述数据存储到所述数据库，提高了系统的运行速度。

在上述技术方案中，优选地，所述任务检查处理模块在当前存在所述存储任务时，将所述数据发送至远程任务分发服务器，由所述远程任务分发服务器选择队列服务器，并由所述队列服务器将所述数据存储到所述数据库。

在上述技术方案中，优选地，所述平台数据处理模块将所述数据作为缓存数据，和/或对所述数据序列化以及加密后，再发送至所述远程任务分发服务器。

在该技术方案中，将所述数据作为缓存数据，处理了数据同步和交互的不一致性，同时数据缓存可以被系统自动回收和自动分配。

在上述任一技术方案中，优选地，所述监控负载模块根据当前的用户连接数、请求连接数和/或忙闲时间判定，判断是否存在所述存储压力问题。

根据本发明的又一方面，还提出了一种数据存储处理方法，其特征在于，包括：步骤202，接收客户端对数据的存储操作的请求；步骤204，判断当前是否存在存储压力问题，在判断结果为是时，进入步骤206；所述步骤206，将所述数据发送至远程任务分发服务器，由所述远程任务分发服务器选择队列服务器，并由所述队列服务器将所述数据存储到所述数据库。

在该技术方案中，通过监控对于数据存储操作的负载压力，可以根据用户连接数、请求连接数、忙闲时间判定和自定义设置等多种其他业务体系中常见的策略模式进行对压力的部署，进而通过对压力进行合理的分配，达到了缓解存储负载压力的效果。

在上述技术方案中，优选地，所述步骤204还包括：在判断结果为否时进入步骤208；所述数据存储处理方法还包括：所述步骤208，在当前不存在所述存储任务时，直接将所述数据存储到所述数据库。

在该技术方案中，当存在存储压力问题时，可以直接将所述数据存储到所述数据库，提高了系统的运行速度。

在上述技术方案中，优选地，所述步骤208还包括：在当前存在所述存储任务时，将所述数据发送至远程任务分发服务器，由所述远程任务分发服务器选择队列服务器，并由所述队列服务器将所述数据存储到所述数据库。

在上述技术方案中，优选地，所述步骤206包括：将所述数据作为缓存数据，和/或对所述数据序列化以及加密后，再发送至所述远程任务分发服务器。

在该技术方案中，将所述数据作为缓存数据，处理了数据同步和交互的不一致性，同时数据缓存可以被系统自动回收和自动分配。

在上述任一技术方案中，优选地，所述步骤204包括：根据当前的用户连接数、请求连接数和/或忙闲时间判定，判断是否存在所述存储压力问题。

通过本发明的技术方案，能够缓解存储负载压力，并处理数据同步和交互的不一致性。

附图说明

图1示出了根据本发明的实施例的数据存储处理系统的框图；

图2示出了根据本发明的实施例的数据存储处理方法的流程图；

图3示出了根据本发明的实施例的云计算数据存储队列架构的结构图；

图4示出了根据本发明的实施例的云计算机平台逻辑交互结构图；

图5示出了根据本发明的实施例的远程分发服务器的结构图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开的具体实施例的限制。

图1示出了根据本发明的实施例的数据存储处理系统的框图。

如图1所示，数据存储处理系统100包括：数据存储业务模块102，接收客户端对数据的存储操作的请求；监控负载压力模块104，判断当前是否存在存储压力问题，在判断结果为是时，启用平台数据处理模块106；平台数据处理模块106，将数据发送至远程任务分发服务器，由远程任务分发服务器选择队列服务器，并由队列服务器将数据存储到数据库。

通过监控数据存储操作的负载压力，可以根据用户连接数、请求连接数、忙闲时间判定和自定义设置等多种其他业务体系中常见的策略模式进行对压力的部署，进而通过对压力进行合理的分配，达到了缓解存储负载压力的效果。

在上述技术方案中，还包括：任务检查处理模块108，监控负载压力模块104在判断结果为否时启用任务检查处理模块108，任务检查处理模块108在当前不存在存储任务时，直接将数据存储到所述数据库。

在该技术方案中，当存在存储压力问题时，可以直接将数据存储到数据库，提高了系统的运行速度。

在上述技术方案中，任务检查处理模块108在当前存在存储任务时，将数据发送至远程任务分发服务器，由远程任务分发服务器选择队列服务器，并由队列服务器将数据存储到所述数据库。

在上述技术方案中，平台数据处理模块106将数据作为缓存数据，和/或对数据序列化以及加密后，再发送至远程任务分发服务器。

在该技术方案中，将所述数据作为缓存数据，处理了数据同步和交互的不一致性，同时数据缓存可以被系统自动回收和自动分配。

在上述任一技术方案中，监控负载模块104根据当前的用户连接数、请求连接数和/或忙闲时间判定，判断是否存在存储压力问题。

图2示出了根据本发明的实施例的数据存储处理方法的流程图。

如图2所示，数据存储处理方法，包括：步骤202，接收客户端对数据的存储操作的请求；步骤204，判断当前是否存在存储压力问题，在判断结果为是时，进入步骤206；所述步骤206，将数据发送至远程任务分发服务器，由远程任务分发服务器选择队列服务器，并由队列服务器将数据存储到所述数据库。

在该技术方案中，通过监控数据存储操作的负载压力，可以根据用户连接数、请求连接数、忙闲时间判定和自定义设置等多种其他业务体系中常见的策略模式进行对压力的部署，进而通过对压力进行合理的分配，达到了缓解存储负载压力的效果。

在上述技术方案中，步骤204还包括：在判断结果为否时进入步骤208；数据存储处理方法还包括：步骤208，在当前不存在存储任务时，直接将数据存储到所述数据库。

在该技术方案中，当存在存储压力问题时，可以直接将所述数据存储到所述数据库，提高了系统的运行速度。

在上述技术方案中，步骤208还包括：在当前存在存储任务时，将数据发送至远程任务分发服务器，由所述远程任务分发服务器选择队列服务器，并由队列服务器将数据存储到数据库。

在上述技术方案中，步骤206包括：将数据作为缓存数据，和/或对数据序列化以及加密后，再发送至远程任务分发服务器。

在该技术方案中，将数据作为缓存数据，处理了数据同步和交互的不一致性，同时数据缓存可以被系统自动回收和自动分配。

在上述任一技术方案中，步骤204包括：根据当前的用户连接数、请求连接数和/或忙闲时间判定，判断是否存在存储压力问题。

图3示出了根据本发明的实施例的云计算数据存储队列架构的结构示意图。

如图3所示，描述了云端用户、云计算平台300和消息队列服务器之间的关系，以及存储队列架构内部的主要模块。

云计算平台300接收客户端302对于各种操作的请求，智能分析出当前操作有否为针对数据的存储操作，如果存在存储操作会先去查看是否开启队列机制模块中是否开启功能，当默认开启时，调用监控处理负载压力模块304。监控处理负载压力模块304在其中起到根据配置文件或者一定的策略决定当前平台是否存在存储压力问题。当监控处理负载压力模块304判定当前系统存在压力时便开启自动数据存储队列功能。

当启用负载压力时，将需要执行存储的数据交由平台数据处理模块306处理，平台数据处理模块306会执行两个动作，1：把当前数据作为缓存数据，更新或插入进内存中；2：将当前数据序列化后传递给数据加密解密模块308进行加密处理。当以上两个步骤执行完成后，将加密后的序列化数据串传递给远程任务分发服务器310进行操作。远程任务分发服务器310接收到加密串后，先进行数据解密操作，并根据一定的负载均衡策略将执行操作分发给队列服务器312进行对数据的存储操作，队列服务器312采用与数据库持久连接的方式批量执行传递进服务器的数据操作。

当不启用负载压力时，程序会检查存储任务队列模块314，当数据存储任务队列模块314中不存在任务信息时，直接进行对数据库的存储操作，并将存储信息返回给平台。当数据存储任务队列模块314中存在任务信息时，发送一条快速更新数据存储队列消息给远端数据队列分发服务器310，数据队列分发服务器收到消息后将消息快速分给队列服务器312进行执行，执行成功完毕后，将结果返回给平台进行处理。平台收到消息后调用平台数据处理模块清空当前所有缓存数据，完成操作。

图4示出了根据本发明的实施例的云计算机平台逻辑交互结构图。

如图4所示，监控处理负载压力模块402属于云计算平台的核心功能之一。它可以根据四种规则的优先级来判定当前平台是否存在存储负载压力问题，分别是：用户连接数410、请求连接数412、忙闲时间判定414和自定义规则416。

用户连接数410：监控处理负载压力模块402会根据当前访问到网站的用户数量进行智能的开启或关闭数据存储队列功能。这方面的用户数据信息可以是通过数据库或是SESSION信息进行提供。

请求连接数412：监控处理负载压力模块402会根据操作系统提供的当前请求数进行智能的开启或关闭数据存储队列功能。

忙闲时间判定414：此判定数据被动判定模式，监控处理负载压力模块402根据系统时间和配置文件中指定的忙闲时间进行判断是否开启或关闭数据存储队列功能。

自定义规则416：根据用户指定规则进行对开启或者关闭数据存储队列功能的设定，例如：根据用户行为操作进行设定。

Memory缓存数据404格式：

当开启数据存储队列时，程序访问和返回即时数据采用读取内存缓存方式进行处理。一条要执行的数据应至少包括3个内容：1、原始数据；2、经过处理需要执行的数据；3、需要执行的具体时间；

Memory缓存数据404的作用：

当云计算平台执行数据存储操作时，如启用数据消息队列机制引擎，那么需要一块存储临时数据空间，在这里面使用高速内存进行对数据存储。当整个平台处于压力关闭状态时，查看负载任务队列406，如存在执行队列信息，通知远程分发服务器快速执行未执行存储队列，同时清空当前内存数据并更新状态。

图5示出了根据本发明的实施例的远程分发服务器的结构图。

如图5所示，队列服务器510作用可以根据用户具体需要设定数量。

通过远程任务分发服务器500通知，开启执行序列。队列服务器与数据之间建立持久连接，避免了回收和请求数据连接的资源浪费，在执行效率上对比使用多次回收利用的数据库连接要快。

远程任务分发服务器500内部处理流程：

远程任务分发服务器500接收两种类型通知：1、带有执行时间的数据存储分发通知；2、接收快速分发数据存储通知。

服务器接收到带有执行时间的数据存储分发通知后，首先加载启动策略调用数据加密解密模块502进行分析数据，然后根据策略执行数据备份。存入数据至少包括3个内容：1、原始数据；2、经过处理需要执行的数据；3、需要执行的具体时间；数据存储结束后加载负载均衡器504（实现压力自定分配），将执行操作交由队列服务器510处理。

服务器接收到快速分发数据存储通知，首先通知数据存储模块获取当前数据库中存在的未过期的数据执行队列信息，然后将数据队列信息执行时间修改为当前服务器时间，快速平均分发给队列服务器510处理，当所有队列服务器510完成操作后通知远程任务分发服务器500，调用云计算平台存储队列模块，要求清空队列信息和内存数据，完成操作。

综上所述，以上实施例中的技术方案带来以下优点：

1）在目前面向高负载高并发的云计算系统中，对于数据Read方面的架构相当成熟，而相对Write的架构一直发展缓慢，这里面提出了一套完整的体系架构解决方案，并有效的解决了云计算平台遇到的存储负载压力，在当前公开的解决方案体系中属于首创。

2）采用对于存储数据建立临时数据缓存的方式，处理数据同步和交互的不一致性，同时数据缓存可以被系统自动回收和自动分配。

3）提供了根据策略模式并基于负载均衡的消息队列执行机制，一般消息队列执行常用于Socket下数据执行，无任何策略而言（譬如：消息执行时间和是否开启快速执行）。

4）监控负载压力模块：这个模块是属于本体系的核心模块之一，它的只要功能是监控执行对于数据存储操作的负载压力，它可以根据用户连接数、请求连接数、忙闲时间判定和自定义设置等多种其他业务体系中常见的策略模式进行对压力模块的部署。

5）快速更新数据存储模块，当系统目前不存在任何压力的情况下，根据策略启用快速更新数据存储模块，他会清空当前缓存内的数据，并通知远程任务分发服务器执行对数据的快速存储操作。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种数据存储处理系统，其特征在于，包括：

数据存储业务模块，接收客户端对数据的存储操作的请求；

监控负载压力模块，判断当前是否存在存储压力问题，在判断结果为是时，启用平台数据处理模块；

所述平台数据处理模块，将所述数据发送至远程任务分发服务器，由所述远程任务分发服务器选择队列服务器，并由所述队列服务器将所述数据存储到数据库；

其中，所述监控负载压力模块根据当前的用户连接数、请求连接数和/或忙闲时间判定，判断是否存在所述存储压力问题；

任务检查处理模块，所述监控负载压力模块在判断结果为否时启用所述任务检查处理模块，所述任务检查处理模块在当前不存在存储任务时，直接将所述数据存储到所述数据库。

2.根据权利要求1所述的数据存储处理系统，其特征在于，所述任务检查处理模块在当前存在所述存储任务时，将所述数据发送至远程任务分发服务器，由所述远程任务分发服务器选择队列服务器，并由所述队列服务器将所述数据存储到所述数据库。

3.根据权利要求1所述的数据存储处理系统，其特征在于，所述平台数据处理模块将所述数据作为缓存数据，和/或对所述数据序列化以及加密后，再发送至所述远程任务分发服务器。

4.一种数据存储处理方法，其特征在于，包括：

步骤202，接收客户端对数据的存储操作的请求；

步骤204，判断当前是否存在存储压力问题，在判断结果为是时，进入步骤206；

所述步骤206，将所述数据发送至远程任务分发服务器，由所述远程任务分发服务器选择队列服务器，并由所述队列服务器将所述数据存储到数据库；

其中，所述步骤204包括：

根据当前的用户连接数、请求连接数和/或忙闲时间判定，判断是否存在所述存储压力问题；

所述步骤204还包括：在判断结果为否时进入步骤208；

所述数据存储处理方法还包括：所述步骤208，在当前不存在存储任务时，直接将所述数据存储到所述数据库。

5.根据权利要求4所述的数据存储处理方法，其特征在于，所述步骤208还包括：

在当前存在所述存储任务时，将所述数据发送至远程任务分发服务器，由所述远程任务分发服务器选择队列服务器，并由所述队列服务器将所述数据存储到所述数据库。

6.根据权利要求4所述的数据存储处理方法，其特征在于，所述步骤206包括：

将所述数据作为缓存数据，和/或对所述数据序列化以及加密后，再发送至所述远程任务分发服务器。