CN101576918B

CN101576918B - 具备负载均衡功能的数据缓存系统

Info

Publication number: CN101576918B
Application number: CN2009100872470A
Authority: CN
Inventors: 王加位
Original assignee: Yonyou Software Co Ltd
Current assignee: Yonyou Network Technology Co Ltd
Priority date: 2009-06-19
Filing date: 2009-06-19
Publication date: 2012-11-28
Anticipated expiration: 2029-06-19
Also published as: CN101576918A

Abstract

本发明提供了数据缓存系统，包括：数据缓存管理器，接收来自外部的数据获取请求，响应于数据获取请求向数据缓存库发出数据获取指令，判断数据缓存库是否保存相应数据，如是，则取回相应数据，如否，向负载均衡处理器发出获取数据库服务器的请求；数据缓存库，响应于数据存储指令，将需要缓存的数据分块分页存储；响应于数据获取指令，将相应数据发送给数据缓存管理器；负载均衡处理器，响应于获取数据库服务器的请求，将处理请求最少的数据库服务器提供给数据缓存管理器，根据数据库服务器信息，获取数据、返回数据存入数据缓存库。提高了内存利用率，减少交互通讯量，减少使用查询次数，降低磁盘访问次数，提高系统稳定性，提高系统运行效率。

Description

具备负载均衡功能的数据缓存系统

技术领域

本发明涉及数据缓存技术，更具体而言，涉及具备负载均衡功能的数据缓存系统。

背景技术

目前，虽然在SQL Server、Oracle等大型数据库中都有一些标准性能优化策略，通过实现这些策略也可以提高系统的运行效率，但是由于在这些DBMS都是遵循一些国际标准和行业标准的多功能应用系统，数据的缓存处理只是他其中的一个功能，这造成了数据库是很多应用系统的性能瓶颈：譬如无论是在使用大型的财务软件，ERP软件，还是大型的动态网站的时候，有时会出现超时，响应慢等情况。造成这些问题的原因大部分都出在对数据库的访问这个地方，除非程序设计的有问题，否则在目前的绝大多数应用系统中，程序的执行效率不会有问题。

在通常的软件研发过程中，无论是软件平台部分还是产品开发部分，也会对一些常用的数据进行缓存。但这种缓存很多都是根据人员的喜好进行处理，各有各的方法，这在很多产品中比比皆是，后期的维护成本呈数量级增加。同时这种方法还有一个致命的问题就是对程序的执行效率不可量化：

1.从缓存中再次取值耗费了多少时间？

2.如果不缓存数据直接从数据库中取会耗费多少时间？

3.这些处理数据的语句真的是最影响效率和系统稳定的吗？

这些问题都几乎没人知道，很多只是根据开发人员的经验来处理这些问题，提供这些方法。这些问题在绝大部分软件中都存在，出现问题的最常用办法就是让客户重启服务器。

在通常的开发中，缓存区都是零散的，部门档案放一块，客户档案放一块，供应商档案放一块，等等；计算机对内存的管理基本都是块页式管理，这样零散的存储会浪费宝贵的内存空间，并同时增加寻址时间。

在常用的这种缓存处理机制中，除了提高了这小部分数据的访问效率外，对于数量最大，最需要作缓存处理的单据类数据却要从数据库系统中获取，这种频繁的查询操作产生的对内存占用的累加效应，会浪费大量的内存

当负责开发的整个团队，写了大量的存储过程或者SQL语句的时候，哪个存储过程或者SQL语句最耗费时间，执行效率最低？通常情况下，开发人员只能靠自己的经验和知识结构，产品的错误提示来判断，排查错误，找出问题所在。

发明内容

为了解决上述技术问题至少之一，本发明提供了一种具备负载均衡功能的数据缓存系统，包括：数据缓存管理器，用于接收来自外部的数据获取请求，响应于所述数据获取请求向数据缓存库发出数据获取指令，判断所述数据缓存库是否保存有相应数据，如果判断结果为是，则从所述数据缓存库取回所述相应数据，如果判断结果为否，则向负载均衡处理器发出获取数据库服务器的请求；所述数据缓存库，响应于所述数据缓存管理器的数据存储指令，将需要缓存的数据分块分页存储，响应于所述数据缓存管理器的所述数据获取指令，将保存在所述数据缓存库中的所述相应数据发送给所述数据缓存管理器；所述负载均衡处理器，管理多个数据库服务器信息，响应于来自所述数据缓存管理器的所述获取数据库服务器的请求，将多个数据库服务器中处理请求最少的数据库服务器的数据库服务器信息提供给所述数据缓存管理器，所述数据缓存管理器根据得到的所述数据库服务器信息，从所述数据库服务器获取所述相应数据，将所述相应数据存入所述数据缓存库。

优选地，所述负载均衡处理器具有计数器，用于记录每个数据库服务器被请求的次数，将处理请求最少的数据库服务器提供给所述数据缓存管理器；所述负载均衡处理器从特有存储格式的配置文件中读取数据库服务器信息及数据库信息。

优选地，所述数据缓存管理器动态管理所述数据缓存库中的数据，动态响应来自外部的所述数据获取请求。

优选地，所述数据缓存管理器实时记录来自外部的所述数据获取请求的日志信息，向外提供数据访问日志。

优选地，所述数据缓存管理器在从所述负载均衡处理器获取处理请求最少的数据库服务器之后，向所述数据库服务器发出请求，记录当前请求的业务处理，分析当前请求所占用的资源，进行数据分析，获取所述相应数据。

优选地，所述数据缓存管理器在获取所述相应数据后，使用数据压缩策略将所述相应数据推入所述数据缓存库。

优选地，所述数据获取请求包括：查询请求、修改请求、删除请求和添加请求。

优选地，在所述数据获取请求为查询请求的情况下，所述数据缓存管理器根据查询标签查看所述缓存数据库中是否有相应数据，如果所述缓存数据库中有所述相应数据，则取回所述相应数据，如果所述缓存数据库中没有所述相应数据，则向所述负载均衡处理器发出获取所述数据库服务器的请求，然后向所获取的所述数据库服务器发出查询操作，记录当前操作耗费的时间和响应当前操作的数据库服务器，获取所述相应数据，向上层返回所述相应数据并更新所述缓存数据库。

优选地，在所述数据获取请求为修改请求、删除请求或添加请求的情况下，所述数据缓存管理器向所述负载均衡处理器的数据处理管道发出修改、删除或添加的指令，并同时记录相应的操作，并更新所述缓存数据库中的数据。

优选地，所述负载均衡服务器设置有配置文件，所述配置文件包括数据服务器信息、数据服务器初始状态、数据库系统的用户和口令；所述配置文件由一个系统自带的工具生成和编辑，对其它系统和人员是透明的，可以保证系统的安全性，防止有人获取口令后恶意破坏。

根据本发明的技术方案可以实现所有数据的缓存，不只是常用档案等基础数据的缓存，其处于DBMS之上，将数据库作为系统的最后一道数据安全防线，大大降低对数据库的I/O次数，提高数据库服务器的稳定性。并且缓存的大小是可以控制的，可以根据服务器的实际情况调整所需要使用的缓存的大小。

根据本发明的技术方案可以向研发人员提供一个完整的执行报告；对缓存进行统一处理；详细记录每个操作占用的时间，为系统设计和开发人员提供一个可以度量的数值，这个数字精确到微秒的，帮助开发者做出正确决策。

根据本发明的技术方案，将缓存集中处理，放在一个缓存块中，可以降低内存开销，提高内存寻址速度。

根据本发明的技术方案所提供的系统执行日志，调整相关参数，可以将最占用数据库系统时间、I/O量最大的数据：如单据类数据存放在缓存中，而不仅仅是缓存常用的数据。

根据本发明的技术方案，自动分析存储过程或者SQL语句的执行情况，出具最影响系统的报告。

根据本发明的技术方案，只需修改配置文件就可以轻松实现数据库服务器的动态扩展，并实现服务器的动态均衡。

附图说明

图1示出了根据本发明的数据缓存系统的逻辑框图；

图2示出了根据本发明的数据缓存系统的结构图；

图3示出了根据本发明的数据缓存系统中的负载均衡处理器的处理过程的流程图；

图4示出了根据本发明的数据缓存系统中所使用的配置文件的生成过程的流程图；

图5示出了根据本发明的数据缓存系统中所使用的数据缓存库所采用的数据存储模型的原理图；

图6a示出了根据本发明的数据缓存系统中的数据缓存管理器在进行数据查询操作时的处理流程图；以及

图6b示出了根据本发明的数据缓存系统中的数据缓存管理器在进行数据添加、删除和修改操作时的处理流程图。

具体实施方式

下面结合附图说明根据本发明的具体实施方式。

图1示出了根据本发明的数据缓存系统的逻辑框图。

根据本发明的具备负载均衡功能的数据缓存系统100，包括数据缓存管理器102、数据缓存库104和负载均衡处理器106。数据缓存管理器102用于响应来自外部的数据获取请求，响应于所述数据获取请求向数据缓存库104发出数据获取指令，判断所述数据缓存库104是否保存有相应数据，如果判断结果为是，则从所述数据缓存库104取回所述相应数据；如果判断结果为否，则向负载均衡处理器106发出获取数据库服务器的请求。所述数据缓存库104响应于所述数据缓存管理器102的数据存储指令，将需要缓存的数据分块分页存储，响应于所述数据缓存管理器102的所述数据获取指令，将保存在所述数据缓存库104中的所述相应数据发送给所述数据缓存管理器102。所述负载均衡处理器106管理有多个数据库服务器信息，响应于来自所述数据缓存管理器102的所述获取数据库服务器的请求，将多个数据库服务器中响应请求最少的数据库服务器的数据库服务器信息提供给所述数据缓存管理器102，所述数据缓存管理器102根据得到的所述数据库服务器信息，数据缓存管理器102从所述数据库服务器获取相应数据，并将所述相应数据存入所述数据缓存库104。

优选地，所述负载均衡处理器106具有计数器，用于记录每个数据库服务器被请求的次数，将处理请求最少的数据库服务器提供给所述数据缓存管理器。所述负载均衡处理器106从预定存储格式的配置文件中读取数据库服务器信息及数据库信息。

优选地，所述数据缓存管理器102动态管理所述数据缓存库中的数据，动态响应来自外部的所述数据获取请求。

优选地，所述数据缓存管理器102实时记录来自外部的所述数据获取请求的日志信息，向外提供数据访问日志。

优选地，所述数据缓存管理器102在从所述负载均衡处理器106获取处理请求最少的数据库服务器之后，向所述数据库服务器发出请求，获取所述相应数据，并记录当前请求的业务处理，分析当前请求所占用的资源，进行数据分析，向外提供若干最影响性能的SQL语句或者存储过程。

优选地，所述数据缓存管理器102在获取所述相应数据后，使用数据压缩策略将所述相应数据推入所述数据缓存库104。

优选地，在所述数据获取请求为查询请求的情况下，所述数据缓存管理器102根据查询标签查看所述缓存数据库中是否有相应数据，如果所述缓存数据库104中有所述相应数据，则取回所述相应数据，如果所述缓存数据库104中没有所述相应数据，则向所述负载均衡处理器106发出获取所述数据库服务器的请求，然后向所获取的所述数据库服务器发出查询操作，记录当前操作耗费的时间和响应当前操作的数据库服务器，获取所述相应数据，向上层返回所述相应数据并更新所述缓存数据库104。

优选地，在所述数据获取请求为修改请求、删除请求或添加请求的情况下，所述数据缓存管理器102向所述负载均衡处理器106的数据处理管道发出修改、删除或添加的指令，并同时记录相应的操作，并更新所述缓存数据库104中的数据。

优选地，所述负载均衡服务器106设置有专用配置文件，所述配置文件包括数据服务器信息、数据服务器初始状态、数据库用户和口令，所述配置文件由一个系统自带的工具生成和编辑，所述配置文件内容对其它系统不可识别。

图2示出了根据本发明的数据缓存系统的结构图。

数据缓存系统100共有三个部分：数据缓存管理器102、数据缓存库104和负载均衡处理器106，各个模块之间协调运行的机制如下：

数据缓存管理器102接受上层发来的获取数据的请求：如查询请求，修改请求，删除请求和添加请求。

数据缓存管理器102根据请求的类型和请求的有效性，向数据缓存库104发出相关指令。

数据缓存库104根据收到的指令作不同的处理：

如果是查询类指令：则数据缓存管理器102根据查询标签首先查看数据缓存库104中是否有对应数据，如果数据缓存库104中有数据，则取出数据缓存库104中的数据。如果数据缓存库104中无数据，向负载均衡处理器106发出获取数据库服务器的请求，然后向对应的数据库服务器发出查询操作，记录当前操作耗费的时间和响应当前操作的服务器，获取数据，向上层返回数据并更新缓存。

如果是更新类指令：则向负载均衡处理器106的数据处理管道发出相关指令，数据库处理管道会向各个可用服务器发出修改，删除，添加的相关指令并同时记录各个操作。在向数据管道发出更新指令以后，根据当前命令的标签特征更新缓存中的数据。

根据本发明的数据缓存系统中的负载均衡处理器的处理过程参见图3。

该负载均衡处理器实现的不是绝对的均衡，是相对的均衡；其作用是保证每个服务器响应的请求数是均衡的，负载均衡处理器内置一个计数器，记录每个数据库服务器被请求的次数，当前有请求到来时，总是根据计数器的记忆，取出响应请求数最少的一个且状态为运行状态服务器。当前操作成功，当前服务器对应的响应数+1。

负载均衡管理器需要的数据库服务器信息，数据库的初始状态，数据库用户和口令从配置文件中获取，配置文件按系统指定的格式加密存储，该配置文件生成过程如图4所示。系统管理员如果是修改已有的配置文件，如增加服务器，调整口令，调整用户等相关信息，选择打开已有的配置文件，并作相关修改，例如，调整数据库信息和服务器信息，验证配置的有效性，测试服务器状态，并保存生成配置文件。系统管理员如果是新建配置文件，则选择新建，输入相关的数据库信息(例如，数据库名称、账号、密码等)和服务器信息(例如，IP、端口等)，验证配置的有效性，测试服务器状态，并保存生成配置文件。

图5示出了根据本发明的数据缓存系统中所使用的数据缓存库所采用的数据存储模型的原理图。

根据系统配置设定缓存区的大小；数据在缓存库中段页式存储，数据存储模型如图5所示，从缓存中取数据时根据索引区的索引如：A，B，C，D，E，F....寻址到对应的存储块，再找到对应的数据存储区。数据库缓存库模块是一个可以简单分析数据并存储数据的控件，根据接收到的数据，分析该数据的标签特征，在缓存中建立不同的数据缓存段。将符合对应数据缓存段特征的数据存入该缓存段对应的缓存区，以数据标签作为缓存的页标签。当缓存管理器向缓存库发出获取数据的请求时，根据请求的相关标签快速定位到相关的数据缓存页并从缓存中取出数据。

图6a示出了根据本发明的数据缓存系统中的数据缓存管理器在进行数据查询操作时的处理流程图。

数据缓存管理器的主要功能在于：动态管理缓存中的数据，动态相应外部请求；实时记录各个请求产生的日志信息；向外提供数据访问日志，为程序的优化提供详细的参考值。

在接收到的数据请求为查询数据请求时，业务处理流程如图6a所示。接收数据访问请求，根据请求特征判断缓存中是否有数据；如果缓存中有数据，从缓存中取出数据并作相关操作后返回数据；如果缓存中无数据，则从负载均衡处理器重获取当前响应的服务器，向数据库服务器发出获取数据的请求，记录当前请求的内容，记录当前处理占用的时间，返回数据并将当前数据处理后压入缓存。

图6b示出了根据本发明的数据缓存系统中的数据缓存管理器在进行数据添加和修改操作时的处理流程图。

在接收到的请求为添加和修改数据请求时，业务处理流程如图6b所示。

向数据库系统发出数据修改，删除和添加请求时，首先将这些请求压入一个数据管道，数据管道从负载均衡处理器处得到所有正在运行的服务器，让后向这些服务器发出相应的添加和修改请求，并记录处理过程，处理结果，占用的系统时间等。如果处理成功则更新相应的缓存区，如果处理失败则记录失败的服务器，为数据的修复做准备。根据这些操作记录，可以调整系统的硬件和软件，使系统的稳定性达到预定的目标，同时也使优化程序时可以做到有的放矢。

根据本发明的具体实施方式取得了以下技术效果：

打破了传统的使用习惯：不仅仅是将常用的数据对像缓存，而且能做到按需缓存，并根据硬件情况有效的管理缓存区，提高了内存利用率，减少交互的通讯量，减少使用查询的次数，降低磁盘访问次数，提高了系统稳定性；

将缓存和负载均衡有效的结合起来，提供了系统的效率和稳定性；

打破传统配置文件的使用方式，提高了安全性；

将对缓存的处理封装成一个通用的组件，可以提高系统的开发效率；

提供了详细的运行日志，并能自动分析出若干条最占用资源的SQL语句或者存储过程，为系统的优化提供必要的资料。

申请人对根据本发明的技术方案进行了测试，具体的测试情况如下：

1.测试环境

2.数据环境

表名	数据库系统	数据量	字段数	关系
					Goods_Message	SQL SERVER 2005	1863182	33	主表
goods_content	SQL SERVER 2005	1863182	2	子表

3.测试数据

a)未加入负载均衡执行以下操作：

Select a.＊，b.＊from GOODS_MESSAGE a left join GOODS_CONTENT b on a.Id＝b.GoodsIdwhere Price＞＝1 and Price＜＝199 and Province＝476

i..单个用户访问，使用机器UF200902148

ii.10个用户并发，，使用机器uf200902148

b)加入负载均衡执行以下操作：

i.测试方案：模拟10个用户发出一组相同的请求，这一组请求包括6个对数据库的操作第一个操作：

Select a.＊，b.＊from GOODS_MESSAGE a left join GOODS_CONTENT b ona.Id＝b.GoodsId where Price＞＝1 and Price＜＝199 and Province＝476

第二个操作：

Select top 100a.＊，b.＊from GOODS_MESSAGE a left join GOODS_CONTENT b ona.Id＝b.GoodsId where memberName like′me％′

第三个操作：

Select a.＊，b.＊from GOODS_MESSAGE a left join GOODS_CONTENT b on a.Id＝b.GoodsIdwhere memberName＝′leg4251521′

第四个操作：

Select top 100a.＊，b.＊from GOODS_MESSAGE a left join GOODS_CONTENT b ona.Id＝b.GoodsId where where price＞＝500 and price＜＝1000

第五个操作：

Select top 100a.＊，b.＊from GOODS_MESSAGE a left join GOODS_CONTENT b ona.Id＝b.GoodsId where district＝1866

第六个操作

Select a.＊，b.＊from GOODS_MESSAGE a left join GOODS_CONTENT b on a.Id＝b.GoodsIdwhere where charIndex(′none.gif′，Pic)＝0

ii.加入本发明情况下并发测试用时：165636659999937毫秒相关结果如下

机器名	CPU初始值	CPU峰值	内存初始值	内存峰值	执行操作
						UF200902148	1％	20％	1.73G	1.74	第一，第三，第五
UF200602064	1％	25％	915M	917M	第二，第四，第六

生成日志信息如下：

执行上述操作后的日志如下：

{执行命令：Select a.＊，b.＊from GOODS_MESSAGE a left join GOODS_CONTENT b ona.Id＝b.GoodsId where Price＞＝1 and Price＜＝199 and Province＝476执行时间：234.375}{执行命令：Select top 500a.＊，b.＊from GOODS_MESSAGE a left join GOODS_CONTENT b ona.Id＝b.GoodsId where charIndex(′none.gif′，Pic)＝0执行时间：140.625}{执行命令：Select top 100a.＊，b.＊from GOODS_MESSAGE a left join GOODS_CONTENT b ona.Id＝b.GoodsId where memberName like′me％′执行时间：125}{执行命令：Select top 100a.＊，b.＊from GOODS_MESSAGE a left join GOODS_CONTENT b ona.Id＝b.GoodsId where price＞＝500 and price＜＝1000执行时间：31.25}{执行命令：Select a.＊，b.＊from GOODS_MESSAGE a left join GOODS_CONTENT b ona.Id＝b.GoodsId where memberName＝′leg4251521′执行时间：15.625}{执行命令：Select top 100a.＊，b.＊from GOODS_MESSAGE a left join GOODS_CONTENT b ona.Id＝b.GoodsId where district＝1866执行时间：15.625}

通过日志信息，我们可以分析并优化需要改进的sql语句，提供系统的效率和稳定性

从这组测试可以发现，负载均衡组件，将对数据库服务器的访问请求，按请求数均衡分布到不同的服务器上，实现负载均衡

iii.不使用本发明，使用通用的数据访问方式并发测试用时：1734.375毫秒，相关结果如下

机器名	CPU初始值	CPU峰值	内存初始值	内存峰值	执行操作
						UF200902148	1％	95％	1.73G	1.84	执行所有6个语句

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种具备负载均衡功能的数据缓存系统，其特征在于，包括：

数据缓存管理器，用于接收来自外部的数据获取请求，响应于所述数据获取请求向数据缓存库发出数据获取指令，判断所述数据缓存库是否保存有相应数据，如果判断结果为是，则从所述数据缓存库取回所述相应数据，如果判断结果为否，则向负载均衡处理器发出获取数据库服务器的请求；

所述数据缓存库，响应于所述数据缓存管理器的数据存储指令，将需要缓存的数据分块分页存储，响应于所述数据缓存管理器的所述数据获取指令，将保存在所述数据缓存库中的所述相应数据发送给所述数据缓存管理器；

所述负载均衡处理器，管理多个数据库服务器信息，响应于来自所述数据缓存管理器的所述获取数据库服务器的请求，将所述多个数据库服务器中响应请求最少的数据库服务器的数据库服务器信息提供给所述数据缓存管理器，所述数据缓存管理器根据得到的所述数据库服务器信息，从所述数据库服务器获取所述相应数据，并将所述相应数据存入所述数据缓存库。

2.根据权利要求1所述的数据缓存系统，其特征在于，所述负载均衡处理器具有计数器，用于记录每个数据库服务器被请求的次数，将处理请求最少的数据库服务器提供给所述数据缓存管理器；所述负载均衡处理器从预定存储格式的配置文件中读取数据库服务器信息及数据库信息。

3.根据权利要求1或2所述的数据缓存系统，其特征在于，所述数据缓存管理器动态管理所述数据缓存库中的数据，动态响应来自外部的所述数据获取请求。

4.根据权利要求1或2所述的数据缓存系统，其特征在于，所述数据缓存管理器实时记录来自外部的所述数据获取请求的日志信息，向外提供数据访问日志。

5.根据权利要求1或2所述的数据缓存系统，其特征在于，所述数据缓存管理器在从所述负载均衡处理器获取处理请求最少的数据库服务器之后，向所述数据库服务器发出请求，获取所述相应数据，并记录当前请求的业务处理，分析当前请求所占用的资源，对请求进行数据分析，向外提供若干最影响性能的SQL语句或者存储过程。

6.根据权利要求5所述的数据缓存系统，其特征在于，所述数据缓存管理器在获取所述相应数据后，使用数据压缩策略将所述相应数据推入所述数据缓存库。

7.根据权利要求1或2所述的数据缓存系统，其特征在于，所述数据获取请求包括：查询请求、修改请求、删除请求和添加请求。

8.根据权利要求7所述的数据缓存系统，其特征在于，在所述数据获取请求为查询请求的情况下，所述数据缓存管理器根据查询标签查看所述数据缓存库中是否有相应数据，如果所述数据缓存库中有所述相应数据，则取回所述相应数据，如果所述数据缓存库中没有所述相应数据，则向所述负载均衡处理器发出获取数据库服务器的请求，然后向所获取的所述数据库服务器发出查询操作，记录当前操作耗费的时间和响应当前操作的数据库服务器，获取所述相应数据，向上层返回所述相应数据并更新所述数据缓存库。

9.根据权利要求7所述的数据缓存系统，其特征在于，在所述数据获取请求为修改请求、删除请求或添加请求的情况下，所述数据缓存管理器向负载均衡处理器的数据处理管道发出修改、删除或添加的指令，并同时记录相应的操作，并更新所述数据缓存库中的数据。

10.根据权利要求2所述的数据缓存系统，其特征在于，所述负载均衡处理器设置有所述配置文件，所述配置文件由系统自带的工具生成和编辑，所述配置文件包括数据库服务器信息、数据库服务器初始状态、数据库系统的用户和口令及数据库相关信息。