CN114880356A - 数据库共享内存缓冲池的处理方法、存储介质与设备 - Google Patents

Abstract

本发明提供了一种数据库共享内存缓冲池的处理方法、存储介质与设备。其中上述方法包括：获取对数据库的访问，并确定访问的目标关系；判断目标关系是否预先被指定为固定缓冲关系；若是，判断访问是否为目标关系被指定后的首次访问；若为首次访问，则将目标关系缓存至数据库的共享内存的缓存空间，然后启动将目标关系移入固定缓冲池的流程，其中固定缓冲池为预先在缓存空间内开辟的独立缓冲池。本发明的方法页面置换导致的多余I/O开销，可以有效提升数据库的整体性能。

Description

数据库共享内存缓冲池的处理方法、存储介质与设备

技术领域

本发明涉及数据库技术，特别是涉及一种数据库共享内存缓冲池的处理方法、存储介质与设备。

背景技术

数据库中通常会在内存中设置一个共享缓冲池区域，其在所有服务会话间共享，为所有关系表提供缓冲服务，以避免每次读取关系表时需要去磁盘中读取。在缓冲池中读取某页面称为命中缓冲池，而去磁盘中读取页面称为未命中。众所周知，对内存区域的访问远远快于对磁盘的访问，因此有必要尽可能降低未命中的概率。

然而，由于缓冲池的容量是有限的，当缓冲池耗尽时，我们不得不将一部分页面移除出缓冲池，该过程称为缓冲区置换。显然，判断哪些页面是最有可能不再被访问的页面是缓冲区置换技术的核心要点。

现有技术中存在一些缓冲区置换技术，例如LRU(Least Recently Used，最近最少使用)、LFU(Least Frequently Used，最不经常使用)、FIFO(First Input First Output，先入先出)等。这些缓冲区置换技术分别有各自的一些特点，分别具有各自所适应的场景下。其中最常见的置换算法为LRU，则能在大多数访问序列下均有不错的表现。但不可避免地，由于访问序列的难以预测性以及缓冲区容量本身所带来的限制，这些置换技术总会存在某些特定的访问序列，出现非最优的置换页面判断，导致非必要的缓冲区换出，进而降低访问的命中率。

理论上的最优置换算法，称为OPT(OPTimal replacement，最佳页面替换)，这种理论上的最佳算法基于能提前确定所有访问序列的假设，因此通常不适用于实际场景。

因此，现有技术的缓冲区置换技术都无法保证所有访问序列下的最优，例如数据库用户对表A和表B两张表进行操作，其中表A远大于表B，也远大于缓冲区容量，而表B的访问频率远高于表A。此时，由于表A占用的缓冲区过多而多次触发置换，基于LRU等主流置换算法则很容易频繁的将表B换出缓冲区，然后在下次访问时再次读入，造成大量多余的I/O(Input/Output,输入/输出)开销。

发明内容

本发明的一个目的是要提供一种减少因缓冲池置换导致的多余I/O开销。

本发明一个进一步的目的是要使得提高数据库的整体性能。

特别地，本发明提供了一种数据库共享内存缓冲池的处理方法，其包括：

获取对数据库的访问，并确定访问的目标关系；

判断目标关系是否预先被指定为固定缓冲关系；

若是，判断访问是否为目标关系被指定后的首次访问；

若为首次访问，则将目标关系缓存至数据库的共享内存的缓存空间，然后启动将目标关系移入固定缓冲池的流程，其中固定缓冲池为预先在缓存空间内开辟的独立缓冲池。

可选地，判断目标关系是否预先被指定为固定缓冲关系的步骤包括：

打开目标关系，并读取目标关系的固定缓冲池标记；

根据固定缓冲池标记确定目标关系是否为预先被指定为固定缓冲关系。

可选地，在获取对数据库的访问的步骤之前，还包括：

获取缓冲池设置指令；

解析缓冲池设置指令，以确定出需要指定的固定缓冲关系；

将固定缓冲关系的固定缓冲池标记修改为固定状态。

可选地，将目标关系移入固定缓冲池的流程包括：

获取固定缓冲池的剩余空间大小；

确定剩余空间是否足以存储目标关系；

若是，则将目标关系移入固定缓冲池，并将目标关系的固定标记设置为真。

可选地，在剩余空间不足以存储目标关系的情况下还包括：停止将目标关系移入固定缓冲池，使得目标关系存储于缓存空间的普通缓冲池中，并参与普通缓冲池的缓冲置换。

可选地，在将目标关系移入固定缓冲池的步骤之后还包括：

将目标关系的引用计数器置为大于等于1，并在共享内存的缓存空间进行缓冲置换的过程中，维持目标关系的引用计数器大于等于1。

可选地，在访问并非目标关系被指定后的首次访问的情况下，还包括：

判断目标关系是否已被移入固定缓冲池；

若否，则重新启动将目标关系移入固定缓冲池的流程。

可选地，固定缓冲池的容量大小通过配置文件进行预先配置。

根据本发明的另一个方面，还提供了一种机器可读存储介质，其上存储有机器可执行程序，机器可执行程序被处理器执行时实现上述任一种的数据库共享内存缓冲池的处理方法。

根据本发明的又一个方面，还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并在处理器上运行的机器可执行程序，并且处理器执行机器可执行程序时实现上述任一种的数据库共享内存缓冲池的处理方法。

本发明的数据库共享内存缓冲池的处理方法，在数据库的共享内存的缓存空间预先开辟固定缓冲池以及普通缓冲池，其中普通缓冲池使用传统的缓冲置换算法，进行页面的普通置换。固定缓冲池用于供数据库用户指定的关系进行缓冲。固定缓冲池与普通缓冲池互相独立，在关系移入固定缓冲池后，该固定缓冲关系不再参与普通页面置换，减少了因页面置换导致的多余I/O开销。

进一步地，本发明的数据库共享内存缓冲池的处理方法，固定缓冲关系通过缓冲池设置指令进行设置，实现了灵活配置，在数据库用户正确进行设置的情况下，可以有效提升数据库的整体性能。

更进一步地，本发明的数据库共享内存缓冲池的处理方法，固定缓冲关系配置了固定缓冲池标记和固定标记，通过这两个标记可以标识固定缓冲关系的设置状态和缓冲状态，为固定缓冲关系移入固定缓冲池、移出固定缓冲池、在普通缓冲池内的等待等操作提供了支持。

根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。

附图说明

后文将参照附图以示例性而非限制性的方式详细描述本发明的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：

图1是根据本发明一个实施例的数据库共享内存缓冲池的处理方法的示意流程图；

图2根据本发明一个实施例的数据库共享内存缓冲池的处理方法中数据库共享内存的示意图；

图3是根据本发明一个实施例的数据库共享内存缓冲池的处理方法进行关系固定的流程示意图；

图4是根据本发明一个实施例的数据库共享内存缓冲池的处理方法取消关系固定的流程示意图；

图5是根据本发明一个实施例的机器可读存储介质的示意图；以及

图6是根据本发明一个实施例的计算机设备的示意图。

具体实施方式

图1是根据本发明一个实施例的数据库共享内存缓冲池的处理方法的示意流程图，图2根据本发明一个实施例的数据库共享内存缓冲池的处理方法中数据库共享内存的示意图。数据库共享内存缓冲池的处理方法一般性地可包括：

步骤S102，获取对数据库的访问，并确定访问的目标关系；

步骤S104，判断目标关系是否预先被指定为固定缓冲关系；

步骤S106，若是，判断访问是否为目标关系被指定后的首次访问；

步骤S108，若为首次访问，则将目标关系缓存至数据库的共享内存的缓存空间；

步骤S110，启动将目标关系移入固定缓冲池的流程。

在本实施例的数据库中，共享内存的缓冲空间预先开辟有普通缓冲池以及固定缓冲池。普通缓冲池使用传统的缓冲置换算法，进行页面的普通置换，例如采用LRU、LFU等置换算法。固定缓冲池用于供数据库用户指定的关系进行缓冲。固定缓冲池与普通缓冲池互相独立，在关系移入固定缓冲池后，该固定缓冲关系不再参与普通页面置换，避免了因页面置换导致的多余I/O开销。

本实施例的数据库共享内存缓冲池的处理方法，在某一关系被指定为固定缓冲关系后的首次被访问时，执行缓存操作，减少了缓存操作的次数。在将目标关系移入固定缓冲池之前，先将目标关系缓存至数据库的共享内存的缓存空间。也即利用普通缓存池完成缓存，提供缓存服务。目标关系移入固定缓冲池的过程可以根据固定缓冲池的容量启动，避免导致固定缓冲池已有的关系被破坏。

固定缓冲池的大小可以通过配置文件配置，且与普通缓冲池独立存在。一个数据库页面的缓存要么存在于固定缓冲池中，要么存在于普通缓冲池中。数据库可以通过一个哈希表建立从磁盘页面号到缓冲池具体位置的映射，缓冲池具体位置则包含了所在缓冲池以及相对于缓冲池基地址的偏移，则通过缓冲池基地址与上述偏移量就可以确定页面在缓冲池具体位置。

缓冲池内关系页面的页面头上可以设置记录该页面的相关状态的存储位，记录的信息可以包括页面是否存在于固定缓冲池中、引用计数器、是否可以被置换和清理等。

布置数据库的磁盘上可以存储数据文件21、日志文件22、配置文件23，数据库的共享内存10中可以开辟有普通缓冲池11、固定缓冲池12、其他共享内存。如本领域技术人员所习知的，磁盘的读取速度明显慢于内存的读取速度。本实施例的数据库，在共享内存10内开辟出普通缓冲池11、固定缓冲池12。普通缓冲池11可以用于页面的正常缓存，固定缓冲池12可以按照数据库用户的设置使指定的关系被固定缓存。

上述步骤S104，判断目标关系是否预先被指定为固定缓冲关系的步骤可以包括：打开目标关系，并读取目标关系的固定缓冲池标记；根据固定缓冲池标记确定目标关系是否为预先被指定为固定缓冲关系。也即通过固定缓冲池标记确定该目标关系是否被预先被指定。固定缓冲池标记可以为设置为一个标记位，其被设置为1时，指代关系被预先被指定；其被设置为0时，指代关系未被预先被指定。

指定固定缓冲关系可以由数据库用户通过数据库命令来实现，例如在步骤S102获取对数据库的访问的步骤之前还可以包括：获取缓冲池设置指令；解析缓冲池设置指令，以确定出需要指定的固定缓冲关系；将固定缓冲关系的固定缓冲池标记修改为固定状态。

缓冲池设置指令可以使用SQL(Structured Query Language，结构化查询语言)，并包含需要指定的固定缓冲关系的信息，例如关系标识、名称等。在获得缓冲池设置指令后并解析确定出需要指定的固定缓冲关系；固定缓冲关系的固定缓冲池标记修改为固定状态，也即将固定缓冲池标记置位，使其标识出该关系已被指定为固定缓冲关系。

步骤S110将目标关系移入固定缓冲池的流程可以包括：获取固定缓冲池的剩余空间大小；确定剩余空间是否足以存储目标关系；若是，则将目标关系移入固定缓冲池，并将目标关系的固定标记设置为真(对应固定状态)。

在剩余空间不足以存储目标关系的情况下还可以包括：停止将目标关系移入固定缓冲池，使得目标关系存储于缓存空间的普通缓冲池中，并参与普通缓冲池的缓冲置换。

在将目标关系移入固定缓冲池的步骤之后还可以包括：将目标关系的引用计数器置为大于等于1，并在共享内存的缓存空间进行缓冲置换的过程中，维持目标关系的引用计数器大于等于1。

如果步骤S106确定在访问并非目标关系被指定后的首次访问的情况下，还可以判断目标关系是否已被移入固定缓冲池；如果尚未被移入固定缓冲池，则重新启动将目标关系移入固定缓冲池的流程。

当一个关系指定使用固定缓冲池时，该关系的当前所有页面以及后续扩展的所有页面均会被加入固定缓冲池中，除非固定缓冲池的容量已经耗尽。在固定缓冲池的容量耗尽的情况下，则页面仍然被存储在普通缓冲池中，直到固定缓冲池出现额外空间后，该关系的下一次被访问时，才会重新固定缓存这部分页面。

图3是根据本发明一个实施例的数据库共享内存缓冲池的处理方法进行关系固定的流程示意图，对一个数据库关系执行固定缓存的过程包括：

步骤S302，获取数据库用户输入的缓冲池设置指令，该缓冲池设置指令用于指定数据库的一个关系使用固定缓冲池；

步骤S304，数据库解析缓冲池设置指令，确定需要指定的固定缓冲关系；

步骤S306，打开指定的固定缓冲关系，将其固定缓冲池标记置为固定状态；

步骤S308，获取对数据库的访问，确定该访问是上述固定缓冲关系被指定后的首次访问；

步骤S310，将该固定缓冲关系的所有页面读取到共享内存的普通缓冲池中；通过执行步骤S312至步骤S318，尝试将固定缓冲关系固定到固定缓冲池中；

步骤S312，判断固定缓冲池是否存在剩余空间；

步骤S314，若存在剩余空间，则将上述读取到共享内存的普通缓冲池中的页面移动至固定缓冲池中，并将固定标记设置为固定状态，将引用计数器设置为1；

步骤S316，若不存在剩余空间，放弃固定缓冲池的操作；

步骤S318，后续缓冲池置换流程中，对于固定标记为固定状态的页面，其引用计数器限制为不会被减少到1以下，避免该页面被置换。普通缓冲池模中的页面正常参与页面置换。

通过上述步骤，数据库用户可以基于已知的访问频率信息设置数据库的置换算法，尤其是可以针对数据库大小较小且访问频率较高的表或索引，为其赋予较高的内存缓冲区粘性。如果指定了合适的高频访问表或索引，则可以有效降低由缓冲区置换带来的多余I/O开销，并提高数据库整体性能。

本实施例的数据库共享内存缓冲池的处理方法还提供了取消固定的过程。图4是根据本发明一个实施例的数据库共享内存缓冲池的处理方法取消关系固定的流程示意图，对一个数据库关系执行取消固定缓存的过程包括：

步骤S402，获取用于使数据库的固定缓冲关系解除固定的指令；

步骤S404，数据库解析缓冲池设置指令，确定需要取消固定的固定缓冲关系；

步骤S406，打开需要取消固定的固定缓冲关系，将其固定缓冲池标记置为非固定状态；

步骤S408，判断固定缓冲关系的全部页面是否已经缓存在固定缓冲池中；

步骤S410，将缓存在固定缓冲池中的页面移动回普通缓冲区，并将固定标记设置为非固定状态；

步骤S412，将该页面的引用计数器减1，如果引用计数器归零，则对该页面进行置换。

本实施例还提供了一种机器可读存储介质和计算机设备。图5是根据本发明一个实施例的机器可读存储介质40的示意图，图6是根据本发明一个实施例的计算机设备50的示意图。

机器可读存储介质40其上存储有机器可执行程序41，机器可执行程序41被处理器执行时实现上述任一实施例的数据库共享内存缓冲池的处理方法。

计算机设备50可以包括存储器520、处理器510及存储在存储器520上并在处理器510上运行的机器可执行程序41，并且处理器510执行机器可执行程序41时实现上述任一实施例的数据库共享内存缓冲池的处理方法。

需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何机器可读存储介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。

就本实施例的描述而言，机器可读存储介质40可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质40甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。

计算机设备50可以是例如服务器、台式计算机、笔记本式计算机、平板计算机或智能手机。在一些示例中，计算机设备50可以是云计算节点。计算机设备50可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括执行特定的任务或者实现特定的抽象数据类型的例程、程序、目标程序、组件、逻辑、数据结构等。计算机设备50可以在通过通信网络链接的远程处理设备执行任务的分布式云计算环境中实施。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

计算机设备50可以包括适于执行存储的指令的处理器510、在操作期间为所述指令的操作提供临时存储空间的存储器520。处理器510可以是单核处理器、多核处理器、计算集群或任何数量的其他配置。存储器520可以包括随机存取存储器(RAM)、只读存储器、闪存或任何其他合适的存储系统。

处理器510可以通过系统互连(例如PCI、PCI-Express等)连接到适于将计算机设备50连接到一个或多个I/O设备(输入/输出设备)的I/O接口(输入/输出接口)。I/O设备可以包括例如键盘和指示设备，其中指示设备可以包括触摸板或触摸屏等等。I/O设备可以是计算机设备50的内置组件，或者可以是外部连接到计算设备的设备。

处理器510也可以通过系统互连链接到适于将计算机设备50连接到显示设备的显示接口。显示设备可以包括作为计算机设备50的内置组件的显示屏。显示设备还可以包括外部连接到计算机设备50的计算机监视器、电视机或投影仪等。此外，网络接口控制器(network interface controller，NIC)可以适于通过系统互连将计算机设备50连接到网络。在一些实施例中，NIC可以使用任何合适的接口或协议(诸如因特网小型计算机系统接口等)来传输数据。网络可以是蜂窝网络、无线电网络、广域网(WAN))、局域网(LAN)或因特网等等。远程设备可以通过网络连接到计算设备。

本实施例提供的流程图并不旨在指示方法的操作将以任何特定的顺序执行，或者方法的所有操作都包括在所有的每种情况下。此外，方法可以包括附加操作。在本实施例方法提供的技术思路的范围内，可以对上述方法进行附加的变化。

至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

Claims (10)

1.一种数据库共享内存缓冲池的处理方法，包括：

获取对所述数据库的访问，并确定所述访问的目标关系；

判断所述目标关系是否预先被指定为固定缓冲关系；

若是，判断所述访问是否为所述目标关系被指定后的首次访问；

若为首次访问，则将所述目标关系缓存至所述数据库的共享内存的缓存空间，然后启动将所述目标关系移入固定缓冲池的流程，其中所述固定缓冲池为预先在所述缓存空间内开辟的独立缓冲池。

2.根据权利要求1所述的数据库共享内存缓冲池的处理方法，其中，所述判断所述目标关系是否预先被指定为固定缓冲关系的步骤包括：

打开所述目标关系，并读取所述目标关系的固定缓冲池标记；

根据所述固定缓冲池标记确定所述目标关系是否为预先被指定为固定缓冲关系。

3.根据权利要求2所述的数据库共享内存缓冲池的处理方法，其中，在所述获取对所述数据库的访问的步骤之前，还包括：

获取缓冲池设置指令；

解析所述缓冲池设置指令，以确定出需要指定的固定缓冲关系；

将所述固定缓冲关系的固定缓冲池标记修改为固定状态。

4.根据权利要求1所述的数据库共享内存缓冲池的处理方法，其中，所述将所述目标关系移入固定缓冲池的流程包括：

获取所述固定缓冲池的剩余空间大小；

确定所述剩余空间是否足以存储所述目标关系；

若是，则将所述目标关系移入所述固定缓冲池，并将所述目标关系的固定标记设置为真。

5.根据权利要求4所述的数据库共享内存缓冲池的处理方法，其中，在所述剩余空间不足以存储所述目标关系的情况下还包括：

停止将所述目标关系移入所述固定缓冲池，使得所述目标关系存储于所述缓存空间的普通缓冲池中，并参与所述普通缓冲池的缓冲置换。

6.根据权利要求4所述的数据库共享内存缓冲池的处理方法，其中，在所述将所述目标关系移入所述固定缓冲池的步骤之后还包括：

将所述目标关系的引用计数器置为大于等于1，并在所述共享内存的缓存空间进行缓冲置换的过程中，维持所述目标关系的引用计数器大于等于1。

7.根据权利要求1所述的数据库共享内存缓冲池的处理方法，其中，在所述访问并非所述目标关系被指定后的首次访问的情况下，还包括：

判断所述目标关系是否已被移入所述固定缓冲池；

若否，则重新启动将所述目标关系移入固定缓冲池的流程。

8.根据权利要求1所述的数据库共享内存缓冲池的处理方法，其中，

所述固定缓冲池的容量大小通过配置文件进行预先配置。

9.一种机器可读存储介质，其上存储有机器可执行程序，所述机器可执行程序被处理器执行时实现根据权利要求1至8任一项所述的数据库共享内存缓冲池的处理方法。

10.一种计算机设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的机器可执行程序，并且所述处理器执行所述机器可执行程序时实现根据权利要求1至8任一项所述的数据库共享内存缓冲池的处理方法。

Images