CN106909613A - 一种自适应均衡数据库访问服务的方法 - Google Patents

Abstract

本发明公开了一种自适应均衡数据库访问服务的方法。该方法包括：接收来自网站服务器的访问请求；分析所述访问请求中的字段；解析所述访问请求所请求的操作类型以及验证操作权限；通过所述访问请求的操作类型，选择处理所述操作类型的处理器资源处理；统计与预测所述不同操作类型的所述访问请求的数据变化，自适应均衡调节处理所述不同操作类型的所述处理器资源；记录访问所述数据库的操作。本发明实现了自适应均衡数据库访问服务，能更好提升系统整体性能，能支持高并发的持续访问数据库的能力，同时可以高效率应对某段时间段内某单类型操作是主要操作的场景。

Description

一种自适应均衡数据库访问服务的方法

技术领域

本发明涉及数据处理技术领域，特别是涉及一种自适应均衡数据库访问服务的方法。

背景技术

数据库（Database）是按照数据结构来组织、存储和管理数据的仓库。随着移动互联网的迅猛发展，个性化定制服务需求的增长，数据库的应用更加广泛和重要。但是，数据库的访问性能也成为系统性能提升的瓶颈之一。

数据库访问服务的能力必须与业务特征匹配，才能更好提升系统整体性能。系统业务量很大，且数据业务量的变化与相对时间（工作日时间等）和操作类型关联；即要求支持高并发的持续访问数据库的能力，同时可以高效率应对某段时间段内某单类型操作是主要操作的场景。

开发人员和维护人员需要了解系统数据访问量的变化特征和性能瓶颈，以便于优化数据库访问服务。

发明内容

为克服相关技术中存在的问题，本发明提供一种自适应均衡数据库访问服务的方法。

本发明至少通过如下技术方案之一实现。

一种自适应均衡数据库访问服务的方法，包括：接收来自网站服务器的访问请求；分析所述访问请求中的字段；解析所述访问请求所请求的操作类型，验证操作权限；通过所述访问请求的操作类型，选择处理所述操作类型的处理器资源处理；统计与预测所述不同操作类型的所述访问请求包数据量的变化，自适应均衡调节处理所述不同操作类型的所述处理器资源；以及记录访问所述数据库的操作。

进一步实施地，所述接收来自网站服务器的访问请求，包括：

利用位于数据库上的数据库访问层，逐条捕捉来自网站服务器的访问请求，并将所述访问请求写入服务器的内存中，以供分析。

进一步实施地，所述分析所述访问请求中的字段，包括：

在所述的内容中预先规定好请求包中操作类型字段的位置，根据规定的位置提取指定字段；

在所述的内容中预先规定好请求包中用户信息字段的位置，根据规定的位置提取指定字段的用户信息；

进一步实施地，所述解析所述访问请求所请求的操作类型，包括：

查询所述服务器的内存中预先建立的访问字典中是否存在与所述访问请求所请求的操作类型相应的字段值；若有，则可获取所述访问请求所请求的操作类型；否则，请求包错误。

首先验证所述访问请求所请求的操作类型，若不符合则判断所述访问请求错误，使得该所述访问请求不需要通过后续的在所述私密数据库中的用户操作权限检查，可以减少对所述私密数据库的访问，使得系统的反应性能提高。

进一步实施地，所述验证操作权限，包括：

在所述的内容中数据库预先建立一个私密的数据库表；结合所述访问请求的操作类型和用户信息，验证所述访问请求的操作权限。

进一步实施地，所述预先建立一个私密的数据库表，包括：

以用户的唯一ID作为主键建立一个所述私密数据库表，每个条数据记录了拥有权限的数据以及具体的权限。

进一步实施地，所述验证所述访问请求的操作权限，包括：

在所述的数据库表中查询，是否存在与所述访问请求的用户信息相匹配的条数据；若有，则把所述访问请求的所述操作类型以及操作数据与所述数据中的表中数据比较；如果一致，则权限验证通过；若不一致，则权限验证失败。

进一步实施地，所述通过所述访问请求的操作类型，选择处理所述操作类型的处理器资源处理,包括：

在所述的内容中预先建立处理所述不同操作类型请求的处理资源池；将不同操作类型的所述访问请求重定向到处理相应操作类型的所述处理资源池。

进一步实施地，所述预先建立处理不同操作类型请求的所述处理资源池,包括：初始化资源管理中心；

根据所述不同操作类型的种数，创建若干个可调节大小的所述处理资源池；

将不同操作的具体处理方案加载到对应的所述处理资源池中。

进一步实施地，所述统计所述不同操作类型的所述访问请求包数据量的变化，包括：通过位于所述数据库上的数据库访问层实时统计所述不同操作类型访问请求的数量；

通过所述资源管理中心，实时统计所述每个处理资源池剩余的访问请求的数量。

进一步实施地，预测所述不同操作类型的所述访问请求的数据变化，包括：

根据最近一段时间所述数据库处理的所述不同操作类型访问请求的数量变化，预测当前相对时间内所述访问请求数量可能的变化；

根据最近一段时间所述资源管理中心统计的所述每个处理资源池剩余的访问请求的数量变化，预测当前相对时间内所述访问请求数量可能的变化；

根据过去一段时间历史记录文件记录的所述访问请求数量的数据，预测当前相对时间内所述访问请求数量可能的变化。

进一步实施地，所述自适应均衡调节处理所述不同操作类型的所述处理器资源,包括：

根据预测的当前相对时间内所述访问请求数量可能的变化，适应均衡调节所述各个处理不同操作类型的处理资源池的容量；

根据用户在配置文件中的预设条件，在所述预设条件下调节所述各个处理不同操作类型的处理资源池的容量。

进一步实施地，所述自适应均衡调节处理所述不同操作类型的所述处理器资源,还包括：

用户根据过去一段时间内历史记录文件记录的所述访问请求数量的数据，分析某段时间所述访问请求的数量变化规律，在配置文件里指定在所述某段时间配置所述处理不同操作类型的处理资源池的容量变化；

资源管理中心根据所述预测变化的结果，自适应调节所述处理不同操作类型的处理资源池的容量。

进一步实施地，所述记录访问所述数据库的操作，包括：

记录所有访问所述数据库的操作记录

输出以某些时间段为单位各个不同操作类型的访问请求的数量变化的记录文件；

输出以某些时间段为单位各个不同操作类型的访问请求的处理速度变化的记录文件。

与现有技术相比，本发明具有如下优点和技术效果：

本发明实现了自适应均衡数据库访问服务，数据库访问服务的能力能与业务特征匹配，进而能更好提升系统整体性能，能支持高并发的持续访问数据库的能力，同时可以高效率应对某段时间段内某单类型操作是主要操作的场景。

附图说明

图1是本发明一个实施例的自适应均衡数据库访问服务的方法的模块示意方框图。

图2是本发明一个实施例的自适应均衡数据库访问服务的方法示意图。

具体实施方式

在此提供的方法和技巧不与任何特定的计算机、虚拟系统或者其他固有相关。各种通用系统也可以与基于在此的示数一起使用。此外，本发明也不针对任何特定编程语言，编程语言仅仅是实现思想的工具，以下涉及上述具体说明时仅仅是为了披露本发明的一种实施方式。

本实例的一种自适应均衡数据库访问服务的方法，包括：接收来自网站服务器的访问请求；分析所述访问请求中的字段；解析所述访问请求所请求的操作类型，验证操作权限；通过所述访问请求的操作类型，选择处理所述操作类型的处理器资源处理；统计与预测所述不同操作类型的所述访问请求包数据量的变化，自适应均衡调节处理所述不同操作类型的所述处理器资源；以及记录访问所述数据库的操作。

所述接收来自网站服务器的访问请求，包括：

利用位于数据库上的数据库访问层，逐条捕捉来自网站服务器的访问请求，并将所述访问请求写入服务器的内存中，以供分析。所述分析所述访问请求中的字段，包括：

在所述的内容中预先规定好请求包中操作类型字段的位置，根据规定的位置提取指定字段； 在所述的内容中预先规定好请求包中用户信息字段的位置，根据规定的位置提取指定字段的用户信息；所述解析所述访问请求所请求的操作类型，包括：

查询所述服务器的内存中预先建立的访问字典中是否存在与所述访问请求所请求的操作类型相应的字段值；若有，则可获取所述访问请求所请求的操作类型；否则，请求包错误。

首先验证所述访问请求所请求的操作类型，若不符合则判断所述访问请求错误，使得该所述访问请求不需要通过后续的在所述私密数据库中的用户操作权限检查，可以减少对所述私密数据库的访问，使得系统的反应性能提高。

进一步实施地，所述验证操作权限，包括：

在所述的内容中数据库预先建立一个私密的数据库表；结合所述访问请求的操作类型和用户信息，验证所述访问请求的操作权限。所述预先建立一个私密的数据库表，包括：

以用户的唯一ID作为主键建立一个所述私密数据库表，每个条数据记录了拥有权限的数据以及具体的权限。

所述验证所述访问请求的操作权限，包括：

在所述的数据库表中查询，是否存在与所述访问请求的用户信息相匹配的条数据；若有，则把所述访问请求的所述操作类型以及操作数据与所述数据中的表中数据比较；如果一致，则权限验证通过；若不一致，则权限验证失败。

所述通过所述访问请求的操作类型，选择处理所述操作类型的处理器资源处理,包括：

在所述的内容中预先建立处理所述不同操作类型请求的处理资源池；将不同操作类型的所述访问请求重定向到处理相应操作类型的所述处理资源池。

所述预先建立处理不同操作类型请求的所述处理资源池,包括：初始化资源管理中心；

根据所述不同操作类型的种数，创建若干个可调节大小的所述处理资源池；

将不同操作的具体处理方案加载到对应的所述处理资源池中。

所述统计所述不同操作类型的所述访问请求包数据量的变化，包括：通过位于所述数据库上的数据库访问层实时统计所述不同操作类型访问请求的数量；

通过所述资源管理中心，实时统计所述每个处理资源池剩余的访问请求的数量。

预测所述不同操作类型的所述访问请求的数据变化，包括：

根据最近一段时间所述数据库处理的所述不同操作类型访问请求的数量变化，预测当前相对时间内所述访问请求数量可能的变化；

根据最近一段时间所述资源管理中心统计的所述每个处理资源池剩余的访问请求的数量变化，预测当前相对时间内所述访问请求数量可能的变化；

根据过去一段时间历史记录文件记录的所述访问请求数量的数据，预测当前相对时间内所述访问请求数量可能的变化。

进一步实施地，所述自适应均衡调节处理所述不同操作类型的所述处理器资源,包括：

根据预测的当前相对时间内所述访问请求数量可能的变化，适应均衡调节所述各个处理不同操作类型的处理资源池的容量；

根据用户在配置文件中的预设条件，在所述预设条件下调节所述各个处理不同操作类型的处理资源池的容量。所述自适应均衡调节处理所述不同操作类型的所述处理器资源,还包括：

用户根据过去一段时间内历史记录文件记录的所述访问请求数量的数据，分析某段时间所述访问请求的数量变化规律，在配置文件里指定在所述某段时间配置所述处理不同操作类型的处理资源池的容量变化；

资源管理中心根据所述预测变化的结果，自适应调节所述处理不同操作类型的处理资源池的容量。所述记录访问所述数据库的操作，包括：

记录所有访问所述数据库的操作记录

输出以某些时间段为单位各个不同操作类型的访问请求的数量变化的记录文件；

输出以某些时间段为单位各个不同操作类型的访问请求的处理速度变化的记录文件。

以下再进一步举例说明能实现发明的一种实例。图1是本发明一个实施例的自适应均衡数据库访问服务的方法的模块示意方框图。该方法可一般性的概括有：请求捕捉模块100、请求包分析模块101、资源管理中心模块102、统计模块103、预测与配置模块104、反馈处理中心模块105、日志生成模块106。

请求捕捉模块100：位于数据库整体的外部，接收所有向数据库发送的请求。这样将捕获的所有请求包写入内存，以供其他模块分析使用。

请求包分析模块101：根据预先指定好的协议规范，获取当前请求包的用户信息和操作类型；将获取的操作类型值与内存中的字典值比较，即可确认实际的操作类型；根据预先建立的数据权限表，验证权限的合法性。如果失败，则剔除请求包。

预先指定好的协议规范，可以使用XML作为协议传输的载体，根据预先指定用户信息字段和操作类型字段对应的唯一字段名称，即可获取相关的字段值。

数据库的操作类型一般以原子性的类别区分，就是创建、更新、删除和读取等四种类型。在预设的字典中，每个不同的二进制序列表示一种类型。

数据的操作权限一般由具体用户、操作权限、数据三者决定。操作权限是数据操作类型中若干种，至多四种。数据权限表格须以用户的唯一ID作为主键，便于迅速的查找；表中每条元素含有对某种数据的具体操作权限。

资源管理中心模块102：统一管理服务器的计算与存储资源；一般地，分别初始化创建、更新、删除和读取等四种类型的处理器资源池。

初始化创建、更新、删除和读取等四种类型的处理器资源池包括两个部分，一是根据当前服务器的空闲资源大小，创建四个适合大小的资源池；二是将不同类型的处理实施步骤加载到资源池中。

资源池的大小由类中的队列大小控制，每种类型包处理池都有一个队列，不同队列元素的类包含承载处理不同处理步骤的方法，每个请求包都需要资源池即队列中的处理类处理。队列越大，资源池越大，可容纳的处理类越多，处理速度越快。

统计模块103：实时统计不同操作类型请求包的数量，以10分钟为一个时间段，每10分钟创建一个新的字典，以时间值（精确到秒）作为字典的键值，以完整收到请求包的时间点为基准，将对应的字典值加1；将旧的字典输出到日志生成模块106，以便生成报表记录；实时统计每个处理资源池中剩余的请求包的数量，通过资源管理中心模块102不断上报各个资源池空闲的大小，记录各个资源池的压力度。

预测与配置模块104：预测请求包数量可能的变化，根据统计模块103提供的字典值，分析不同类型的请求包数量的变化趋势，将不同类型的处理需求以字典值形成通知反馈处理中心模块105；根据日志生成模块106提供的报表数据，用户预测当前相对时间内请求包数量可能的变化。

以字典值形成通知反馈处理中心模块105不同类型的处理需求的将要变化关系。一般地，键值是操作类型；这里规定变化趋势值为。根据统计数据计算增长速度，计算出增长斜率，最大值为5。

日志生成模块106提供的报表数据是一天为单位，显示出不同类型请求包的变化曲线。一般地，业务与星期几、几点有较强的相关性；分析报表，可以在配置文件中预先规定每个处理资源池的大小。配置文件支持设置资源池最小值、资源池最大值和变化时间点等参数。

反馈处理中心模块105：综合预测与配置模块104的结果，参考数据包可能的变化趋势，以及当前资源池处理速度作出决策，将结果下达给资源管理中心模块102，要求系统内各个资源池作出相应调整。

决策资源池增大至少要满足以下两个条件中的一个：一是请求包数据量明显增大，一般趋势值高于（含）3；二是请求包数据量变化不明显，但是资源池的空闲大小却在不断下降，一般空闲大小小于总大小的1/5。

反馈处理中心模块105还需要在闲时释放系统资源。一般地，决策资源池减小至少要满足以下三个条件中的一个：一是请求包数据量明显减少，一般键值低于（含）-3；二是请求包数据量变化不明显，但是资源池的空闲大小却在不断增大；三是请求包数据量与资源池的空闲大小基本不变，但是资源池的空闲大小较大，一般空闲大小大于总大小的1/3。

日志生成模块106包括：日志记载了整个系统的各个模块基本运行信息，记载了整个系统的数据包的基本流向和状态。系统的日志记录由统一的模块专门持久化到磁盘上。

日志生成模块106还包括：将统计模块103的字典值，写入日志文件中；设置日志记录需遵循以下原则：一条信息是一行：便于后期阅读和自动化分析；日志要严格分级：调节分级参数，可以获得详细或者简单的记录信息，避免磁盘空间的浪费。

图2是根据本发明一个实施例的自适应均衡数据库访问服务的方法示意图，如图所示该方法包括一下步骤：

步骤S201，捕捉目标数据库的访问请求。

步骤S202，分析访问数据库的请求包；解析请求对目标数据的操作类型以及验证操作权限。

步骤S203，对应处理器处理相关请求。

步骤S204，统计与预测不同类型的请求数的变化。

步骤S205，调节处理器资源。

步骤S206，记录分析访问数据库的操作。

本实施例对不同类型处理的能力使用资源池大小量化，通过改变处理类的队列大小进而自适应调节各个处理器的处理请求的能力。

本实施例对数据传递使用了较多的字典作为传输介质，方便了对内容的读取、配置和查询。

在上述提供的说明书中，介绍了大量具体细节。然而能够理解，本发明的实施例可以在没有这些具体细节说明下实践。在一些实例中，并未详细公示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解遵循具体实施方式的权利要求书由此明确地进入该具体实施方法，其中每个权利要求本身都作为本发明的单独实施例。

应当注意的是上述实施例对本发明进行说明而不是本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。

至此，本领域技术人员应认识到，虽然本文已详尽描述了本发明的示例性实施例，但是在不脱离本发明思想和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的变形和修改。因此，本发明的范围应被理解和认定为覆盖了所有这些变形或修改。

Claims (10)

1.一种自适应均衡数据库访问服务的方法,其特征在于包括：

接收来自网站服务器的访问请求；分析所述访问请求中的字段；解析所述访问请求所请求的操作类型，验证操作权限；通过所述访问请求的操作类型，选择处理所述操作类型的处理器资源处理；统计与预测所述不同操作类型的所述访问请求包数据量的变化，自适应均衡调节处理所述不同操作类型的所述处理器资源；以及记录访问所述数据库的操作。

2.根据权利要求1所述的一种自适应均衡数据库访问服务的方法，其特征在于，所述接收来自网站服务器的访问请求具体包括：

利用位于数据库上的数据库访问层，逐条捕捉来自网站服务器的访问请求，并将所述访问请求写入服务器的内存中，以供分析。

3.根据权利要求1所述的一种自适应均衡数据库访问服务的方法，其特征在于，所述分析所述访问请求中的字段具体包括：

在所述的内容中预先规定好请求包中操作类型字段的位置，根据规定的位置提取指定字段；

在所述的内容中预先规定好请求包中用户信息字段的位置，根据规定的位置提取指定字段的用户信息。

4.根据权利要求1所述的一种自适应均衡数据库访问服务的方法，其特征在于，解析所述访问请求所请求的操作类型，具体包括：

查询所述服务器的内存中预先建立的访问字典中是否存在与所述访问请求所请求的操作类型相应的字段值；若有，则可获取所述访问请求所请求的操作类型；否则，请求包错误。

5.根据权利要求1所述的一种自适应均衡数据库访问服务的方法，其特征在于，所述验证操作权限具体包括：

在所述的内容中数据库预先建立一个私密的数据库表；结合所述访问请求的操作类型和用户信息，验证所述访问请求的操作权限；所述预先建立一个私密的数据库表，包括：

以用户的唯一ID作为主键建立一个所述私密数据库表，每个条数据记录了拥有权限的数据以及具体的权限。

6.根据权利要求1所述的一种自适应均衡数据库访问服务的方法，其特征在于，所述验证所述访问请求的操作权限具体包括：

在所述的数据库表中查询，是否存在与所述访问请求的用户信息相匹配的条数据；若有，则把所述访问请求的所述操作类型以及操作数据与所述数据中的表中数据比较；如果一致，则权限验证通过；若不一致，则权限验证失败。

7.根据权利要求1所述的一种自适应均衡数据库访问服务的方法，其特征在于，所述通过所述访问请求的操作类型，选择处理所述操作类型的处理器资源处理，具体包括：

在所述的内容中预先建立处理所述不同操作类型请求的处理资源池；将不同操作类型的所述访问请求重定向到处理相应操作类型的所述处理资源池；所述预先建立处理不同操作类型请求的所述处理资源池，包括：

初始化资源管理中心；

根据所述不同操作类型的种数，创建若干个可调节大小的所述处理资源池；

将不同操作的具体处理方案加载到对应的所述处理资源池中。

8.根据权利要求1所述的一种自适应均衡数据库访问服务的方法，其特征在于，所述统计所述不同操作类型的所述访问请求包数据量的变化，具体包括：

通过位于所述数据库上的数据库访问层实时统计所述不同操作类型访问请求的数量；

通过所述资源管理中心，实时统计所述每个处理资源池剩余的访问请求的数量；

所述预测所述不同操作类型的所述访问请求的数据变化，具体包括：

根据最近一段时间所述数据库处理的所述不同操作类型访问请求的数量变化，预测当前相对时间内所述访问请求数量可能的变化；

根据最近一段时间所述资源管理中心统计的所述每个处理资源池剩余的访问请求的数量变化，预测当前相对时间内所述访问请求数量可能的变化；

根据过去一段时间内历史记录文件记录的所述访问请求数量的数据，预测当前相对时间内所述访问请求数量可能的变化。

9.根据权利要求1所述的一种自适应均衡数据库访问服务的方法，其特征在于，所述自适应均衡调节处理所述不同操作类型的所述处理器资源，具体包括：

根据预测的当前相对时间内所述访问请求数量可能的变化，适应均衡调节所述各个处理不同操作类型的处理资源池的容量；

根据用户在配置文件中的预设条件，在所述预设条件下调节所述各个处理不同操作类型的处理资源池的容量。

10.根据权利要求12所述的方法，其特征在于，还包括：

用户根据过去设定时间段内历史记录文件记录的所述访问请求数量的数据，分析其中任一段时间所述访问请求的数量变化规律，在配置文件里指定在所述某段时间配置所述处理不同操作类型的处理资源池的容量变化；

资源管理中心根据所述预测变化的结果，自适应调节所述处理不同操作类型的处理资源池的容量；

所述记录访问所述数据库的操作，具体包括：

记录所有访问所述数据库的操作记录；

输出以某些时间段为单位各个不同操作类型的访问请求的数量变化的记录文件；

输出以某些时间段为单位各个不同操作类型的访问请求的处理速度变化的记录文件。