CN101887398A - 一种动态提高服务器输入输出吞吐量的方法和系统 - Google Patents

Abstract

本发明公开了一种动态提高服务器IO吞吐量的方法和系统，以解决现有技术中服务器的服务性能受限于输入输出吞吐量的不足，其中该方法包括：服务器将客户端发送的读写请求解析为数据块读写操作请求，判断目标数据块是否在一高速缓存中，是则对目标数据块执行读写操作，否则对一快速磁盘中的一数据访问信息链表进行遍历，如果找到目标数据块则将目标数据块拷贝到高速缓存执行数据读写操作，否则从一低速硬盘读取目标数据块存储到高速缓存中并执行数据读写操作，将目标数据块映射到快速磁盘；其中，执行上述数据读写操作时，更新数据访问信息链表。本发明动态检测服务器读写操作，提高了缓冲区命中率，从而实现了服务器高IO吞吐量的技术效果。

Description

一种动态提高服务器输入输出吞吐量的方法和系统

技术领域

本发明涉及一种计算机应用技术，尤其涉及一种动态提高服务器输入输出(IO)吞吐量的方法和系统。

背景技术

当前，随着用户业务量的不断增长以及企业数据的不断积累，对服务器输入输出(IO)的吞吐量要求也越来越高。虽然目前的高容量的内存不断推出和成本的下降，但是内存的容量与快速硬盘的容量相比还是有比较大的差距。另外，内存的扩展也受限于服务器双列直插存储模块(DIMM)插槽数等的限制，扩展性有限。

从客户端对数据的读写访问规律进行分析，程序对数据块的访问满足局部性原理。如果用户读取一个大的多媒体文件很可能造成内存缓冲区的溢出，如果后续程序再次访问被溢出的数据，将会造成抖动线程，从而大大降低服务器的性能。

发明内容

本发明所要解决的技术问题是需要提供一种提高服务器输入输出吞吐量的技术，以解决现有技术中服务器的服务性能受限于输入输出吞吐量的不足。

为了解决上述技术问题，本发明提供了一种动态提高服务器输入输出吞吐量的方法，包括：

服务器将客户端发送的读写请求解析为数据块读写操作请求，根据该数据块读写操作请求判断目标数据块是否在一高速缓存中，是则根据该数据块读写操作请求对该目标数据块执行读写操作，否则对一快速磁盘中的一数据访问信息链表进行遍历；

如果在该数据访问信息链表中找到该目标数据块，则根据该数据块读写操作请求将该目标数据块拷贝到该高速缓存执行数据读写操作，否则从一低速硬盘读取该目标数据块存储到该高速缓存中并执行数据读写操作，将该目标数据块映射到快速磁盘；

其中，执行上述数据读写操作时，更新所述数据访问信息链表。

优选地，所述客户端删除数据块时，判断所述高速缓存中是否存在待删数据块，存在则在该高速缓存中删除该待删数据块，更新所述数据信息访问链表并删除所述慢速磁盘中的所述待删数据块，否则直接更新所述数据信息访问链表并删除所述慢速磁盘中的所述待删数据块。

优选地，所述数据访问信息链表包括所述目标数据块的访问频率。

优选地，对所述数据访问信息链表进行遍历的步骤，包括：

利用哈希函数对所述数据访问信息链表进行遍历。

优选地，所述数据访问信息链表中包含有若干单链表，通过该哈希函数，利用所述数据块读写操作请求和数据块地址生成一个键值，具有相同键值的数据块处于同一个单链表中；

其中，每一个单链表节点的结构包括数据块的物理地址、数据块的访问频率和指向下一个数据块的指针；各单链表按照数据块的访问频率由大到小递减链接，数据块的物理地址指向所述快速磁盘的数据块。

优选地，更新所述数据访问信息链表的步骤，包括：

读取哈希键值对应的存储段(bucket)单链表；

遍历单链表，比较每个节点中数据块的物理地址值，如果相等则停止遍历，然后增加该节点的数据块访问频率的统计值，并且将该节点进行前移。

优选地，所述客户端删除数据块时，计算所述待删数据块的哈希键值，遍历该待删数据块所在的bucket单链表，比较节点数据结构中的数据块地址值是否与待删数据块的地址值相等，相等则删除描述该节点的数据结构并停止遍历，否则直接停止遍历。

为了解决上述技术问题，本发明还提供了一种动态提高服务器输入输出吞吐量的系统，包括解析模块、判断模块、第一执行模块、查找模块、第二执行模块、第三执行模块及更新模块，其中：

该解析模块，用于将客户端发送的读写请求解析为数据块读写操作请求；

该判断模块，用于根据该数据块读写操作请求判断目标数据块是否在一高速缓存中；

该第一执行模块，用于所述判断模块判断该目标数据块在该高速缓存中时，根据该数据块读写操作请求对该目标数据块执行读写操作；

该查找模块，用于所述判断模块判断该目标数据块不在该高速缓存中时，对一快速磁盘中的一数据访问信息链表进行遍历；

该第二执行模块，用于所述查找模块在该数据访问信息链表中查找到该目标数据块时，根据该数据块读写操作请求对该目标数据块执行读写操作；

该第三执行模块，用于所述查找模块未在该数据访问信息链表中查找到该目标数据块时，从一低速硬盘读取该目标数据块存储到该高速缓存中并执行数据读写操作，将该目标数据块映射到快速磁盘；

该更新模块，用于该第一执行模块、第二执行模块或第三执行模块执行上述数据读写操作时，更新所述数据访问信息链表。

与现有技术相比，本发明的一个实施例利用哈希(Hash)机制和链表算法动态检测服务器读写操作，提高了缓冲区命中率，从而实现了服务器高IO吞吐量的技术效果。本发明的技术方案利用Hash机制和链表算法动态检测服务器读写操作，来提高缓冲区命中率从而实现服务器高IO吞吐量的优势，主要体现以下方面：

(1)任何时刻经常访问的数据都会在快速硬盘中保持一个副本，提高了服务器的安全性，而且解决了由于内存容量限制所造成的程序抖动问题；

(2)服务器不会因为突然断电等意外情况造成机器重启后经常访问的数据信息丢失而进行慢速硬盘的读取，避免了重启大大降低服务器IO性能的缺陷；

(3)通过使用Hash机制和链表算法，动态统计数据的使用频率，大大缩短了数据的检索时间。

以上这些优势都是传统方法采用一级高速内存缓存机制进行数据访问所无法做到的。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明实施例所提数据块读写访问方法的流程示意图；

图2是本发明实施例所提Hash机制和链表的算法原理示意图；

图3是本发明实施例所提客户端删除数据块的流程示意图；

图4是本发明实施例所提动态提高服务器输入输出吞吐量的系统的组成示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。

首先，如果不冲突，本发明实施例以及实施例中的各个特征可以相互结合，均在本发明的保护范围之内。另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

从整个的数据流向进行分析，提高数据访问的命中率，缩短数据块的检索时间是提高服务器IO吞吐量的关键因素。不合适的内存管理算法和检索机制将大大影响应用程序的效率。此外，在内存中缓存的数据，往往由于突然断电或者意外的情况造成缓存中的数据丢失，从而造成对同一个数据块的下次访问还要继续从硬盘进行读写，明显影响了访问速度。

本发明提出一种基于哈希(Hash)机制和链表搜索的算法来实现缓存数据的快速检索，通过构造多个不同的Hash链表，缩短数据块检索时间。另外，引入快速硬盘以避免因为一些意外故障造成系统宕机后重启时数据丢失造成访问数据滞后的问题。通过本发明，系统重启后对数据访问的统计信息链表仍保存在快速硬盘上，从而实现数据的快速访问。

实施例一、数据块读写访问方法

如图1所示，本实施例主要包括如下步骤：

步骤S110，当服务器接收到客户端发出的读写请求时，服务器将该读写请求解析为数据块读写操作请求；

步骤S120，服务器根据该数据块读写操作请求，在高速缓存中进行数据检索，判断目标数据块是否在高速缓存中，是(检索命中)则转步骤S130，否(检索未命中)则转步骤S140；

步骤S130，服务器根据数据块读写请求对目标数据块执行相应的读写操作，同时对处于快速磁盘中的数据访问信息链表进行更新，结束；

步骤S140，利用Hash函数对快速磁盘中的数据访问信息链表进行遍历，如果找到目标数据块，则转步骤S150，否则转步骤S160；

步骤S150，根据该数据块读写操作请求将目标数据块拷贝到高速缓存执行数据读写操作，同时更新数据访问信息链表，结束；

步骤S160，访问低速硬盘，从低速硬盘读取目标数据块并存储到高速缓存中并执行数据读写操作，然后将目标数据块映射到快速磁盘，同时更新数据访问信息链表，结束；本步骤中，将目标数据块映射到快速磁盘，防止因下次再访问该数据块因高速缓存容量不足造成溢出必须再次读低速磁盘造成的系统IO吞吐量下降。

本实施例中，如果高速缓存中的目标数据块发生改变(即变成脏块)，需要同步更新到快速磁盘和低速磁盘中。

上述数据访问信息链表中主要包括数据块的访问频率等信息。

上述对数据访问信息链表进行更新，主要包括增加该目标数据块的操作数(比如加1)，将该目标数据块所在的存储段(bucket)链表进行前移。

这样当数据块再次被访问时就可以大大提高访问速度，并提高数据库的吞吐能力。

需要说明的是，上述读写操作包括单纯读操作的处理处理、单纯写操作的数据处理以及读操作和写操作一同进行的数据处理。

Hash机制和数据访问信息链表的算法原理如图2所示。

数据访问信息链表中包含有若干单链表，通过Hash函数，利用数据块读写操作请求和数据块地址生成一个键值，具有相同键值的数据块处于同一个单链表中，其中每一个单链表节点的结构均包括数据块的物理地址Bk add、数据块的访问频率count(整形标量，初始化为0)和指向下一个数据块的指针三部分，最末尾的单链表节点的指针值为空。

每一个单链表的节点数据结构都是按照该数据块的访问频率(count值)由大到小递减链接的，数据块的物理地址指向快速磁盘的数据块。当数据块被访问时，更新数据访问信息链表的主要进行如下动作：

(1)读取与Hash键值对应的bucket单链表(即前述的数据信息访问链表)；

(2)从链首开始遍历单链表，依次比较每个节点中的数据块物理地址值，如果所查找的目标数据块的地址与节点中的数据块物理地址相等，则停止遍历，然后将该节点的数据块访问频率的统计值count加1，并且将该节点进行前移。

当有数据块从慢速磁盘中读取到高速缓存后，描述该数据块的数据节点将根据Hash键值直接插入到相应链表的末尾。

实施例二、客户端删除数据块的方法

如图3所示，本实施例主要包括如下步骤：

步骤S310，客户端检索高速缓存，判断高速缓存中是否存在欲删除的待删数据块，如果该高速缓存中含有该待删数据块，则转步骤S320，否则转步骤S330；

步骤S320，在该高速缓存中删除该待删数据块，然后执行步骤S330；

步骤S330，更新快速磁盘中的数据访问信息链表(将快速磁盘中的数据访问信息链表中的信息删除)，扫描慢速磁盘，删除该慢速磁盘中的待删数据块，从而保证数据的一致性。

步骤S330中，当进行数据块的删除操作时，Hash机制和数据访问信息链表算法主要进行如下操作：

(1)计算欲删除的待删数据块的Hash键值；

(2)遍历该待删数据块所在的bucket单链表；

(3)比较节点数据结构中的数据块地址值是否与待删数据块的地址值相等，如果相等则删除描述该节点的数据结构，遍历停止；如果不相等则直接停止遍历。

由上述实施例一和实施例二可见，数据的每次读写及删除都会自动更新数据访问链表，以缩短目标数据被再次访问时的检索时间，同时利用快速磁盘进行快速数据传输，避免了直接从慢速磁盘执行操作需要耗费大量时间的缺陷。

本发明基于程序的局部性访问原理，包括时间局部性和空间局部性，结合Hash机制和链表搜索算法的优点，动态统计数据块的访问频率并进行自动优化，提高了数据块缓冲命中率，缩短了数据块的检索时间，实现了通过数据块高命中率来提高磁盘IO吞吐量的技术。

本发明技术方案依据数据块的访问频率，通过提高数据块的检索频率来缩短数据检索时间，实现了系统的快速IO吞吐，解决了单服务器由于内存容量限制所造成的抖动问题，避免了因意外情况造成的机器突然断电时的数据丢失。

实施例三、一种动态提高服务器输入输出吞吐量的系统

如图4所示，本实施例主要包括解析模块410、判断模块420、第一执行模块430、查找模块440、第二执行模块450、第三执行模块460及更新模块470，其中：

该解析模块410，用于将客户端发送的读写请求解析为数据块读写操作请求；

该判断模块420，与该解析模块410相连，用于根据该数据块读写操作请求判断目标数据块是否在一高速缓存中；

该第一执行模块430，与该判断模块420相连，用于所述判断模块420判断该目标数据块在该高速缓存中时，根据该数据块读写操作请求对该目标数据块执行读写操作；

该查找模块440，与该判断模块420相连，用于所述判断模块420判断该目标数据块不在该高速缓存中时，对一快速磁盘中的一数据访问信息链表进行遍历；

该第二执行模块450，与该查找模块440相连，用于所述查找模块440在该数据访问信息链表中查找到该目标数据块时，根据该数据块读写操作请求对该目标数据块执行读写操作；

该第三执行模块460，与该查找模块440相连，用于所述查找模块440未在该数据访问信息链表中查找到该目标数据块时，从一低速硬盘读取该目标数据块存储到该高速缓存中并执行数据读写操作，将该目标数据块映射到快速磁盘；

该更新模块470，与该第一执行模块430、第二执行模块450及第三执行模块460相连，用于该第一执行模块430、第二执行模块450或第三执行模块460执行上述数据读写操作时，更新所述数据访问信息链表。

本发明提供的一种动态提高服务器输入输出吞吐量的方法和系统，特别适合于用户环境中对服务器IO性能要求比较高，而且数据安全性要求比较的环境中，服务器中任何时刻都存在经常访问数据的一个备份，同时利用数据访问信息链表实现了数据的二级缓存，大大提高了服务器的IO吞吐量。

在硬盘的缓冲区内，利用目标数据块的地址及信息和访问频率形成一个基于Hash算法的快速访问信息链表，随着对某一个数据块的访问频率的提高，该数据块将自动向链表的队首迁移，大大减少后续访问该数据块的搜索时间。随着数据块访问频率的降低，数据块会自动地移动到Hash链表的末尾。一旦缓冲区容量不足，将首先替换处于链表末尾的数据块，从而避免了经常访问的数据块被替换的目的。

本发明技术方案在进行数据访问时引入了三级机制，首先数据访问系统内存，如果命中直接从内存读出数据，否则通过Hash机制和链表算法去查找快速硬盘，迅速读取数据到内存，实现访问。如果通过Hash机制和链表算法还没有检索到需要的数据块，则从快速硬盘直接读到低速硬盘，同时将数据映射到快速硬盘中，并更新链表。本发明技术方案对于互联网用户或者对系统IO吞吐量要求比较高的用户，能大大提高服务器的IO处理能力，缩短响应时间。

本发明主要通过以下三种方式来提高服务器服务器IO吞吐量：

(1)尽可能缓存更多的数据到快速硬盘中，避免数据直接从大容量的慢速硬盘读取数据；

(2)通过减少系统检索数据块的时间，通过Hash机制，使数据的访问直接定位到某个存储段(bucket)上，然后在该bucket链上，采用折半查找的方法，达到快速检索数据的目的；

(3)通过划分多个bucket将数据块进行有效划分，避免造成某个单链表过长，影响检索时间。

本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (8)

1.一种动态提高服务器输入输出吞吐量的方法，其特征在于，包括：

服务器将客户端发送的读写请求解析为数据块读写操作请求，根据该数据块读写操作请求判断目标数据块是否在一高速缓存中，是则根据该数据块读写操作请求对该目标数据块执行读写操作，否则对一快速磁盘中的一数据访问信息链表进行遍历；

如果在该数据访问信息链表中找到该目标数据块，则根据该数据块读写操作请求将该目标数据块拷贝到该高速缓存执行数据读写操作，否则从一低速硬盘读取该目标数据块存储到该高速缓存中并执行数据读写操作，将该目标数据块映射到快速磁盘；

其中，执行上述数据读写操作时，更新所述数据访问信息链表。

2.根据权利要求1所述的方法，其特征在于：

所述客户端删除数据块时，判断所述高速缓存中是否存在待删数据块，存在则在该高速缓存中删除该待删数据块，更新所述数据信息访问链表并删除所述慢速磁盘中的所述待删数据块，否则直接更新所述数据信息访问链表并删除所述慢速磁盘中的所述待删数据块。

3.根据权利要求1或2所述的方法，其特征在于：

所述数据访问信息链表包括所述目标数据块的访问频率。

4.根据权利要求1或2所述的方法，其特征在于，对所述数据访问信息链表进行遍历的步骤，包括：

利用哈希函数对所述数据访问信息链表进行遍历。

5.根据权利要求4所述的方法，其特征在于：

所述数据访问信息链表中包含有若干单链表，通过该哈希函数，利用所述数据块读写操作请求和数据块地址生成一个键值，具有相同键值的数据块处于同一个单链表中；

其中，每一个单链表节点的结构包括数据块的物理地址、数据块的访问频率和指向下一个数据块的指针；各单链表按照数据块的访问频率由大到小递减链接，数据块的物理地址指向所述快速磁盘的数据块。

6.根据权利要求5所述的方法，其特征在于，更新所述数据访问信息链表的步骤，包括：

读取哈希键值对应的存储段(bucket)单链表；

遍历单链表，比较每个节点中数据块的物理地址值，如果相等则停止遍历，然后增加该节点的数据块访问频率的统计值，并且将该节点进行前移。

7.根据权利要求6所述的方法，其特征在于：

所述客户端删除数据块时，计算所述待删数据块的哈希键值，遍历该待删数据块所在的bucket单链表，比较节点数据结构中的数据块地址值是否与待删数据块的地址值相等，相等则删除描述该节点的数据结构并停止遍历，否则直接停止遍历。

8.一种动态提高服务器输入输出吞吐量的系统，其特征在于，包括解析模块、判断模块、第一执行模块、查找模块、第二执行模块、第三执行模块及更新模块，其中：

该解析模块，用于将客户端发送的读写请求解析为数据块读写操作请求；

该判断模块，用于根据该数据块读写操作请求判断目标数据块是否在一高速缓存中；

该第一执行模块，用于所述判断模块判断该目标数据块在该高速缓存中时，根据该数据块读写操作请求对该目标数据块执行读写操作；

该查找模块，用于所述判断模块判断该目标数据块不在该高速缓存中时，对一快速磁盘中的一数据访问信息链表进行遍历；

该第二执行模块，用于所述查找模块在该数据访问信息链表中查找到该目标数据块时，根据该数据块读写操作请求对该目标数据块执行读写操作；

该第三执行模块，用于所述查找模块未在该数据访问信息链表中查找到该目标数据块时，从一低速硬盘读取该目标数据块存储到该高速缓存中并执行数据读写操作，将该目标数据块映射到快速磁盘；

该更新模块，用于该第一执行模块、第二执行模块或第三执行模块执行上述数据读写操作时，更新所述数据访问信息链表。

Images