CN113961153A - 一种索引数据写入磁盘的方法、装置及终端设备 - Google Patents

Abstract

本申请实施例适用于数据库技术领域，提供了一种索引数据写入磁盘的方法、装置及终端设备，所述方法包括：对数据写入磁盘的过程进行监听，所述数据包括索引数据；若监听到针对所述索引数据的写请求，则将所述索引数据存储至预设的内存空间中；在所述内存空间中构造消息队列；当所述内存空间中存储的所述索引数据的数据量达到预设值时，将所述索引数据存入所述消息队列；将所述消息队列中的所述索引数据写入所述磁盘中。通过上述方法，能够减少索引数据写入磁盘所花费的时间。

Description

一种索引数据写入磁盘的方法、装置及终端设备

技术领域

本申请属于数据库技术领域，特别是涉及一种索引数据写入磁盘的方法、装置及终端设备。

背景技术

数据库是目前人们常在使用的能够有效管理数据，提高存储效率的管理工具。数据库包括多种不同的类型，例如连续型数据库、非连续型数据库等等。连续型数据库是一种Key/Value型数据库，可以以键值对的形式存储数据。

在连续型数据库的应用场景中，在将数据写入磁盘的过程中，需要将数据对应的索引数据也写入磁盘。但是，现有的连续型数据在向磁盘中写入数据时，对于一个键值对的数据，需要进行一次数据的写入和一次索引数据的写入，导致目前连续型数据库的数据写入效率不高。

发明内容

有鉴于此，本申请实施例提供了一种索引数据写入磁盘的方法、装置及终端设备，用以减少索引数据写入磁盘所花费的时间。

本申请实施例的第一方面提供了一种索引数据写入磁盘的方法，包括：

对数据写入磁盘的过程进行监听，所述数据包括索引数据；

若监听到针对所述索引数据的写请求，则将所述索引数据存储至预设的内存空间中；

在所述内存空间中构造消息队列；

当所述内存空间中存储的所述索引数据的数据量达到预设值时，将所述索引数据存入所述消息队列；

将所述消息队列中的所述索引数据写入所述磁盘中。

本申请实施例的第二方面提供了一种索引数据写入磁盘的装置，包括：

监听模块，用于对数据写入磁盘的过程进行监听，所述数据包括索引数据；

存储模块，用于若监听到针对所述索引数据的写请求，则将所述索引数据存储至预设的内存空间中；

构造模块，用于在所述内存空间中构造消息队列；

入列模块，用于当所述内存空间中存储的所述索引数据的数据量达到预设值时，将所述索引数据存入所述消息队列；

写入模块，用于将所述消息队列中的所述索引数据写入所述磁盘中。

本申请实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的方法。

本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的方法。

本申请实施例的第五方面提供了一种计算机程序产品，当所述计算机程序产品在终端设备上运行时，使得所述终端设备执行上述第一方面所述的方法。

与现有技术相比，本申请实施例包括以下优点：

本申请实施例中，终端设备可以对索引数据的写入过程进行监听；当终端设备接收到针对索引数据的写请求时，可以将该写请求对应的索引数据存储至预设的内存空间中；该内存空间中还可以包括构造的消息队列；当该内存空间中缓存的索引数据的数据量达到预设值时，可以将该内存空间中存储的索引数据存入消息队列中；然后从消息队列中取出索引数据，将索引数据写入磁盘中。在本申请实施例中，在向磁盘中写入索引数据时，并不是一条一条地写入，而是当索引数据积累到一定数量之后，再将这些索引数据统一写入磁盘，这样，可以减少磁盘的刷新时间，从而减少了索引数据写入磁盘所需的时间。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一个实施例的提供的连续型数据库的结构示意图；

图2是本申请一个实施例的一种索引数据写入磁盘的方法的步骤流程示意图；

图3是本申请一个实施例的另一种索引数据写入磁盘的方法的步骤流程示意图；

图4是本申请一个实施例的一种索引数据写入磁盘的装置的示意图；

图5是本申请一个实施例的另一种索引数据写入磁盘的装置的示意图；

图6是本申请一个实施例的一种终端设备的示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域技术人员应当清楚，在没有这些具体细节的其他实施例中也可以实现本申请。在其他情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

下面通过具体实施例来说明本申请的技术方案。

本申请实施例提供的索引数据写入磁盘的方法可以应用于连续型数据库。连续型数据库是一种Key/Value型数据库，其数据存储方式是连续递增的，且以向后追加的方式写入新的存储数据。该连续型数据库用后缀为.log的数据库文件（以下简称“log文件”）和后缀为.idx的数据库文件（以下简称“idx文件”）分别来记录数据和索引文件。

每一个log文件的文件名均为文件中存储的第一条数据。该连续型数据库的每个数据的数据名是连续递增的，所有数据都存储在log文件中，每个log文件中可以存储多条数据。每个log文件都有预设的存储大小，当存入的数据大小超过该预设存储大小后，该连续型数据库可以创建一个新log文件，并继续存入数据。每一条log数据的存储格式都是固定的，大小并不固定。前17个字节分别记录了版本号(version)，数据 key 值(offset)，数据大小(size)和CRC校验位。后面则是相应数据的大小的实际内容。要读取一条log数据，首先先从数据的起始位置读取17个字节，获得数据大小，然后再向后读取完整大小的数据。

同时，每个log文件都设置有对应的idx文件，该idx文件的文件名与log文件对应，并存储着该log文件的索引信息，从而保证可以通过计算数据 key 值偏差来直接定位数据位置。在配置需要索引的情况下，每一个 log 文件都会有一个对应 idx 文件，用于电子设备可以通过索引信息快速定位对应的数据。每个idx文件中存储的数据格式是固定的，数据的格式包括固定长度为17个字节的header和数据的内容。数据头记录了表述当前数据的版本 (version)，数据 key 值(offset)，log数据对应位置(position)。图1为本申请实施例提供的连续型数据库的结构示意图，如图1所示，000000x.log中存储着x-x+49的数据，000000x.idx中存储着000000x.log的索引信息。文件存储的信息是连续的，比如说000000x.log之后的一个log文件的第一条数据就是第x+50条数据。

索引是能够帮助数据库高效获取数据的数据结构。索引在数据库优化中占有一个非常大的比例，如果有较为不错的索引设计，便能够大大提高数据库的数据查询效率和系统响应时间。不同的数据引擎在实际存储的时候采用了不一样的方式。例如，对于在MyISAM引擎中，通常的做法是数据和索引分别存储，使用后缀名为.MYI的文件来记录索引文件。在索引的类型选择上使用了hash索引用于精确匹配。在InnoDB存储引擎中，是将数据和索引保存在一起，有统一的后缀名.bid进行数据的存储。在索引的类型上选了使用B+Tree的方式进行存储，在叶子结点保存所有的对应数据。在一些写入数据的需求多，对数据修改的需求少的业务场景内，合适的索引结构能够大大提高数据查询的效率。为了提高用户使用的便利性，目前，数据库基本都会建立索引来优化数据库性能，例如，LevelDB数据库，它通过LSM 树（Log Structured Merge Tree）的方式，牺牲了一定的读性能，提高了写性能。本申请中提供的索引优化的方式，适用于连续型数据库，用后缀名为.idx来记录索引文件。建立索引之后，查询数据会变快，数据写入的速度会牺牲一些，但在可接受范围内。

目前现有的数据库在进行写入数据的过程中对一个键值对的数据，进行一次数据的写入和索引文件的写入，导致目前的数据写入效率不高。

从磁盘的物理结构来看存取信息的最小单位是扇区，一个扇区是512字节；从操作系统对硬盘的存取管理来看，存取信息的最小单位是簇。簇是一个逻辑概念，一个簇可以是2、4、8、16、32或64个连续的扇区。一条idx索引数据的大小是17字节，如果按照写入一次数据就刷入磁盘的数据写入方式，浪费了刷新的时间。

由于连续型数据库的数据存储是递增且连续的，在写入操作的过程中，一般都是连续写入大量数据。因此，在本申请实施例中，可以建立缓存，在索引数据积累到一定条数数量后，再一次性异步写入磁盘，从而提高数据库写入数据的效率。

参照图2，示出了本申请一个实施例的一种索引数据写入磁盘的方法的步骤流程示意图，具体可以包括如下步骤：

S201，终端设备对数据写入磁盘的过程进行监听，所述数据包括索引数据。

本实施例的执行主体为终端设备，该终端设备使用连续型数据库。

当数据写入磁盘时，为了在数据库管理过程中能够快速找到数据，一般要对写入的数据建立索引数据，索引数据可以为上述idx文件。数据在写入磁盘的过程中，对应的索引数据也需要写入磁盘。本申请实施例中主要对索引数据写入磁盘的过程进行优化。

终端设备可以采用一个轻量级的协程对索引数据写入磁盘的过程进行监听。当索引数据要写入磁盘时，会向终端设备发送写请求；协程可以通过监听写请求来监听是否有索引数据要写入磁盘。

S202，终端设备若监听到针对所述索引数据的写请求，则将所述索引数据存储至预设的内存空间中。

上述预设的内存空间可以为终端设备预先在内存中开辟的一块空间。具体地，终端设备可以根据用户预先设定的大小，准备相应的内存空间，用于缓存索引数据。

当终端设备监听到索引数据的写请求时，不是将该索引数据写入磁盘，而是可以先将该索引数据存入上述内存空间。由于内存的存取速率快，索引数据能够很快被存入内存空间中。

S203，终端设备在所述内存空间中构造消息队列。

具体地，终端设备可以在内存空间中构造一个消息队列，队列具有先进先出的特点，可以在索引数据写入磁盘时进行异步操作。也就是说，索引数据可以存入消息队列，然后从消息队列中去除索引数据写入磁盘。这样，处理不及时的索引数据可以暂存在消息队列中，不影响数据库的性能。

S204，当所述内存空间中存储的所述索引数据的数据量达到预设值时，终端设备将所述索引数据存入所述消息队列。

具体地，上述预设值可以预先设定。由于索引数据的大小是固定的，因此，可以直接检测当前内存空间中缓存的索引数据的条数。当内存空间中索引数据的条数达到预设值时，可以触发入列信号；根据入列信号，终端设备可以将内存空间中积累的索引数据存入消息队列中。

在本申请实施例的具体实现中，确定内存空间中存储的索引数据的数据量达到预设值的方法还可以包括多种，比如，可以监测当前写请求积累的次数，当写请求的次数积累到一定值时，可以确定内存空间中存储的索引数据的数据量达到预设值，并同时对写请求重新计数；还可以直接检测内存空间中存储的数据量，直接通过数据量进行判断。

S205，终端设备将所述消息队列中的所述索引数据写入所述磁盘中。

在将内存空间中缓存的索引数据写入磁盘中时，可以直接写入；但是直接写入会带来一个问题，当内存空间中的索引数据写入磁盘的速度小于索引数据缓存到内存空间的速度时，容易使得内存空间中积累大量的索引数据，占用过多空间，同时还容易造成终端设备出错。

因此，本实施例中通过消息队列来实现对内存空间中的索引数据的异步写入。终端设备从消息队列中取出索引数据，然后将索引数据按照预设的顺序写入磁盘中。

在本申请实施例中，采用开辟出来的一块内存空间缓存一定数量的索引数据后，再基于消息队列将索引数据异步写入磁盘中，即可完成对所有数据的持久化保存，无需多次输入输出操作，极大地提高了数据读写的效率。

参照图3，示出了本申请一个实施例的另一种索引数据写入磁盘的方法的步骤流程示意图，具体可以包括如下步骤：

S301，终端设备对数据写入磁盘的过程进行监听，所述数据包括索引数据。

本实施例的执行主体为终端设备，终端设备可以采用连续型数据库对数据进行管理。

终端设备可以通过一个预设的协程监听和数据库索引修改有关的过程。

S302，若监听到针对所述索引数据的写请求，则终端设备将所述索引数据存储至所述内存数据表中。

终端设备可以根据用户指定大小，从内存中开辟出一块内存空间，该内存空间用于实现本实施例中的索引数据写入磁盘的方法。在该内存空间中，可以包括内存数据表，内存数据表用于对索引数据进行缓存，内存数据表具有对应的数据容量，一个内存数据表中可以存放指定数量的索引数据。

当终端设备监听到针对索引数据的写请求时，可以先将该索引数据存入内存数据表中。

S303，当所述内存数据表中存储的所述索引数据已经达到对应的数据容量时，终端设备封锁所述内存数据表；并创建新的内存数据表。

由于内存数据表具有对应的数据容量，因此当内存数据表中存储的索引数据达到其对应的数据容量时，该内存数据表需要进行封锁，不能再向该内存数据表中追加索引数据。但是，同时可能还会接收到索引数据的写请求，此时可以在内存空间中开辟一个备份空间，备份空间可以完成对内存数据表的转换，可以在备份空间中创建新的内存数据表。

具体地，在将索引数据写入内存数据表之后，可以检测该内存数据表中存储的索引数据是否已经达到对应的数据容量。

当内存数据表中存储的索引数据已经达到对应的数据容量时，可以将目前的内存数据表封锁。在内存数据表封锁时，可以创建新的内存数据表。

S304，终端设备将新写入的所述索引数据存储至新的所述内存数据表中。

在旧的内存数据表封锁后，需要写入索引数据时，可以将索引数据缓存至新的内存数据表中。

示例性地，上述内存数据表可以为memtable，memtable是一种在内存中保存数据的数据结构。一个memtable中可以存储多条索引数据。内存空间中可以包括一个数据prevmem，prevmem用于指向目前已经达到数据容量的memtable，从而可以通过prevmem确定需要存放入消息队列中的索引数据。

终端设备在第一次启动数据库时，需要对prevmem进行赋值。当内存空间中不存在已经达到数据容量的memtable时，prevmem可以设置为空值。

数据库在开启索引功能的情况下，会开始构造索引句柄，然后将索引句柄转化成为缓冲器buffer形式，向目前存在的mentable数据进行追加。数据追加之后可以更新目前的数据值，并对memtable中累计的索引大小进行判断。如果达到了用户设定的大小限制，那么就构造新的memtable，让prevmem指向旧的memtable。如果当前正处理转换memtable的过程中，需要对旧的memtable数据追加的形式进行加锁，使得该旧的memtable中无法准备追加新的索引数据；新的索引数据会追加到新的memtable。通过对旧的memtable数据追加的形式进行加锁，避免了新的索引数据产生时，不知道该追加到哪个memtable中的情况。

S305，终端设备在所述内存空间中构造消息队列。

具体地，消息队列可以包括尾指针，消息队列具有多个队列节点。消息队列中的一个队列节点中可以存放一个内存数据表中的索引数据。

S306，当所述内存空间中存储的所述索引数据的数据量达到预设值时，终端设备将已封锁的所述内存数据表中的所述索引数据写入所述消息队列。

具体地，可以将已经封锁的内存数据表写入消息队列的一个队列节点中。

消息队列中的尾指针所指向的队列节点，可以为该消息队列当前可以存放数据的位置。当内存数据表中的索引数据的数据量已经达到预设值时，可以将该内存数据表中的索引数据全部存入该消息队列的尾指针对应的队列节点中。

示例性地，就可以将prevmem指向的memtable中的索引数据存入消息队列中。

在本实施例中，消息队列可以选用环形队列，从而可以节约内存空间。因为连续型数据库中的数据是存储在log文件中的，使用环形队列，不会过多的浪费内存空间。实际情况中，数据库开始运行的时候，就会对环形队列进行初始化，启动监听的协程。在写入数据过程中对已经写入的数据进行检查，检查操作的处理；根据数据库运行的情况，监听协程和环形队列会一直存在，直至数据库关闭；当索引数据积累到一定大小之后，会将目前的memtable的数据移入队列之中，更新队列的尾指针。监听信号的协程接受到一个入列信号之后，会通知队列做出列，写数据到磁盘文件中的操作。

S307，终端设备提取所述消息队列的一个队列节点中的多个所述索引数据。

当消息队列中有索引数据入列时，相应地就会触发出列信号，也就是说，消息队列中进入多少索引数据，最终就会出列多少索引数据。消息队列中的索引数据，需要全部都写入磁盘中。

具体地，终端设备可以从消息队列中取出键值范围最小的一个队列节点中存储的多个索引数据，这些索引数据会一次性写入磁盘中。

在一种可能的实现方式中，消息队列还可以包括头指针，消息队列的头指针指向的是先存入消息队列中的索引数据。在理想情况下，索引数据是按照键值大小进行缓存的，在进入消息队列时，也是键值小的索引数据先存入消息队列。因此头指针指向的队列节点中的索引数据的键值范围应该最小。因此，每次从消息队列中取出索引数据时，可以取出头指针指向的队列节点中的索引数据。

S308，终端设备分别确定多个所述索引数据的键值和对应的磁盘位置。

具体地，每个索引数据具有对应的磁盘位置和键值，在进行索引数据写入时，需要获取每个索引数据的磁盘位置和键值。

示例性地，每个memtable都会记录有存放索引的索引文件的文件名和路径，打开文件之后将数据写入文件。

S309，按照所述键值由小到大的顺序，终端设备依次将多个所述索引数据写入对应的磁盘位置。

具体地，终端设备打开磁盘中的文件，然后按照键值由小到大的顺序，依次将多个索引数据写入对应的磁盘位置。在多个所索引数据写入磁盘的过程中，只需要对磁盘进行一次打开，一次刷新，提高了索引数据写入磁盘的速度。

另外，本实施例中，还可以包括异常处理。比如：当接收到数据检查指令时，确定数据检查指令对应的目标索引数据；确定目标索引数据的目标键值；将消息队列中键值小于或等于目标键值的索引数据全部写入磁盘中。相当于，在进行数据检查时，需要将该数据写入磁盘；由于连续型数据库中的数据是连续存储的，因此需要将该数据及该数据之前的所有数据全部写入磁盘中。

此外，存在一种情况，索引数据并没有达到预设值但是索引记录的对应数据文件达到限制大小的，此时，memtable可以多增加一次转换；当监测到用户对写入的数据进行删除的操作等异常情况。这时候为了维护程序正常运行，也可以多进行一次memtable的转换；若写入过程收到删除数据指令或者数据库在写入过程中出现错误，则根据对应的状态信息对所述连续型数据库进行恢复。

在进行同步写入时，内存空间中的索引数据缓存到一定数量后就需要写入磁盘；若磁盘刷新的速度比较慢时，索引数据无法及时写入磁盘，缓存的索引数据会一直堆积在内存空间，会导致内存空间无法继续缓存索引数据，可能会使数据库操作异常。

基于此，本申请实施例中采用消息队列将缓存的索引数据异步写入磁盘中。消息队列中包括多个节点，每个节点可以存储一组缓存的索引数据。当内存空间中的缓存一定数量的索引数据时，可以先将该索引数据放入消息队列中；然后当磁盘将之前的索引数据写入磁盘后，可以从消息队列的节点中获取要写入磁盘的索引数据，继续将索引数据写入磁盘中。内存空间将缓存的索引数据放入消息队列的节点中即可继续缓存索引数据，并不需要等待之前缓存的索引数据写入磁盘。也就是说，消息队列的节点中的索引数据写入磁盘与内存空间中的索引数据写入到消息队列，这两个步骤是异步的，从而避免了二者之间的冲突，避免了索引数据因写入磁盘不及时而使数据库操作异常；另外，使用环形队列减少了对内存空间的使用，节约计算资源。本实施例中的方法，理想情况下能够提高一倍的读写效率。同时又保证了数据库的其他性能不受影响。

需要说明的是，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

参照图4，示出了本申请一个实施例的一种索引数据写入磁盘装置的示意图，具体可以包括监听模块41、存储模块42、构造模块43、入列模块44和写入模块45，其中：

监听模块41，用于对数据写入磁盘的过程进行监听，所述数据包括索引数据；

存储模块42，用于若监听到针对所述索引数据的写请求，则将所述索引数据存储至预设的内存空间中；

构造模块43，用于在所述内存空间中构造消息队列；

入列模块44，用于当所述内存空间中存储的所述索引数据的数据量达到预设值时，将所述索引数据存入所述消息队列；

写入模块45，用于将所述消息队列中的所述索引数据写入所述磁盘中。

在一中可能的实现方式中，所述内存空间中存在内存数据表，所述内存数据表具有对应的数据容量，上述存储模块42可以包括：

第一存储子模块，用于将所述索引数据存储至所述内存数据表中；

转换子模块，用于当所述内存数据表中存储的所述索引数据已经达到对应的数据容量时，封锁所述内存数据表；并创建新的内存数据表；

第二存储子模块，用于将新写入的所述索引数据存储至新的所述内存数据表中。

在一种可能的实现方式中，上述入列模块44可以包括：

写入子模块，用于将已封锁的所述内存数据表中的所述索引数据写入所述消息队列。

在一种可能的实现方式中，所述消息队列包括尾指针，上述写入子模块可以包括：

目标队列节点确定单元，用于确定所述消息队列的尾指针当前所指向的目标队列节点；

存入单元吗，用于将已封锁的所述内存数据表中的所述索引数据存储至所述目标队列节点中；

尾指针更新单元，用于将所述尾指针指向所述目标队列节点的下一个队列节点。

在一种可能的实现方式中，所述消息队列包括多个队列节点，上述写入模块45可以包括：

提取子模块，用于提取所述消息队列的一个队列节点中的多个所述索引数据；

确定子模块，用于分别确定多个所述索引数据的键值和对应的磁盘位置；

按序写入子模块，用于按照所述键值由小到大的顺序，依次将多个所述索引数据写入对应的磁盘位置。

在一种可能的实现方式中，所述消息队列为环形队列。

在一种可能的实现方式中，上述装置还可以包括：

目标索引数据确定模块，用于当接收到数据检查指令时，确定所述数据检查指令对应的目标索引数据；

目标键值确定单元确定所述目标索引数据的目标键值；

数据写入单元，用于将所述消息队列中键值小于或等于所述目标键值的索引数据写入所述磁盘中。

参照图5，示出了本申请一个实施例的另一种索引数据写入磁盘的装置的示意图，具体可以包括数据读写模块51、初始化模块52、回滚数据模块53、归档数据恢复模块54、异常处理模块55和检验模块56，其中：

数据读写模块51，用于在数据写入的过程中，通过memtable的交换和消息队列的存在，使用协程对数据写入过程的监听，提高数据写入磁盘的效率。

数据读写模块具体可以用于：根据用户指定大小，开辟内存空间，记录索引数据；根据索引累计的条数限制，进行转换，引发累计索引写入磁盘的信号；根据消息队列里的排序，将key的范围最小的一组数据写入磁盘；正常情况，在写操作结束之后，队列中没有要写入磁盘的数据。

初始化模块52，数据库在开始运行的时候，开辟一块用来记录索引缓存的空间，以及一个环形队列存储要写入磁盘的索引信息，同时后台开启一个协程，监听程序运行过程中，用户的操作信息，以及各个流程的运行情况。

回滚数据模块53，用于对存储的数据进行删除。在进行数据删除时，对于尚未写入磁盘的数据，可以丢弃；对于已经写入磁盘的数据，删除指定键值范围之后的数据。

归档数据恢复模块54，用于根据归档恢复请求确定目标恢复文件的恢复范围和目标恢复位置。如果在内存中的数据在归档请求的范围之内，先进行写入磁盘操作，然后再继续归档的流程。用于在文件归档过程或恢复过程中记录状态信息，状态信息用于指示文件归档的进度，若归档过程或恢复过程出现错误，则根据对应的状态信息对连续型数据库进行恢复。

异常处理模块55，用于根据检查点，检验文件数据写入磁盘的过程。用户对现存的数据进行删除操作，突然宕机，对存在内存中的数据进行恢复等相关情况的错误处理。对数据库中的索引进行优化，提高数据读写的效率。

检验模块56，检验模块，当用户需要对指定数据进行检查的时候，将内存中的数据写入磁盘。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述得比较简单，相关之处参见方法实施例部分的说明即可。

图6为本申请一实施例提供的终端设备的结构示意图。如图6所示，该实施例的终端设备6包括：至少一个处理器60（图6中仅示出一个）处理器、存储器61以及存储在所述存储器61中并可在所述至少一个处理器60上运行的计算机程序62，所述处理器60执行所述计算机程序62时实现上述任意各个方法实施例中的步骤。

所述终端设备6可以是桌上型计算机、笔记本、掌上电脑等计算设备。该终端设备可包括，但不仅限于，处理器60、存储器61。本领域技术人员可以理解，图6仅仅是终端设备6的举例，并不构成对终端设备6的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。

所称处理器60可以是中央处理单元(Central Processing Unit，CPU)，该处理器60还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路 (Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器61在一些实施例中可以是所述终端设备6的内部存储单元，例如终端设备6的硬盘或内存。所述存储器61在另一些实施例中也可以是所述终端设备6的外部存储设备，例如所述终端设备6上配备的插接式硬盘，智能存储卡（Smart Media Card， SMC），安全数字（Secure Digital， SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器61还可以既包括所述终端设备6的内部存储单元也包括外部存储设备。所述存储器61用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器61还可以用于暂时地存储已经输出或者将要输出的数据。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现可实现上述各个方法实施例中的步骤。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，RandomAccess Memory）、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制。尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种索引数据写入磁盘的方法，其特征在于，包括：

对数据写入磁盘的过程进行监听，所述数据包括索引数据；

若监听到针对所述索引数据的写请求，则将所述索引数据存储至预设的内存空间中；

在所述内存空间中构造消息队列；

当所述内存空间中存储的所述索引数据的数据量达到预设值时，将所述索引数据存入所述消息队列；

将所述消息队列中的所述索引数据写入所述磁盘中。

2.如权利要求1所述的方法，其特征在于，所述内存空间中存在内存数据表，所述内存数据表具有对应的数据容量，所述将所述索引数据存储至预设的内存空间中，包括：

将所述索引数据存储至所述内存数据表中；

当所述内存数据表中存储的所述索引数据已经达到对应的数据容量时，封锁所述内存数据表；并创建新的内存数据表；

将新写入的所述索引数据存储至新的所述内存数据表中。

3.如权利要求2所述的方法，其特征在于，所述将所述索引数据存入所述消息队列，包括：

将已封锁的所述内存数据表中的所述索引数据写入所述消息队列。

4.如权利要求3所述的方法，其特征在于，所述消息队列包括尾指针，所述将已封锁的所述内存数据表中的所述索引数据写入所述消息队列，包括：

确定所述消息队列的尾指针当前所指向的目标队列节点；

将已封锁的所述内存数据表中的所述索引数据存储至所述目标队列节点中；

将所述尾指针指向所述目标队列节点的下一个队列节点。

5.如权利要求1-4任一项所述的方法，其特征在于，所述消息队列包括多个队列节点，所述将所述消息队列中的所述索引数据写入所述磁盘中，包括：

提取所述消息队列的一个队列节点中的多个所述索引数据；

分别确定多个所述索引数据的键值和对应的磁盘位置；

按照所述键值由小到大的顺序，依次将多个所述索引数据写入对应的磁盘位置。

6.如权利要求5所述的方法，其特征在于，所述消息队列为环形队列。

7.如权利要求1-4或6任一项所述的方法，其特征在于，还包括：

当接收到数据检查指令时，确定所述数据检查指令对应的目标索引数据；

确定所述目标索引数据的目标键值；

将所述消息队列中键值小于或等于所述目标键值的索引数据写入所述磁盘中。

8.一种索引数据写入磁盘的装置，其特征在于，包括：

监听模块，用于对数据写入磁盘的过程进行监听，所述数据包括索引数据；

存储模块，用于若监听到针对所述索引数据的写请求，则将所述索引数据存储至预设的内存空间中；

构造模块，用于在所述内存空间中构造消息队列；

入列模块，用于当所述内存空间中存储的所述索引数据的数据量达到预设值时，将所述索引数据存入所述消息队列；

写入模块，用于将所述消息队列中的所述索引数据写入所述磁盘中。

9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的方法。

Images