CN105653539A - 索引分布式存储的实现方法和装置 - Google Patents

Abstract

本发明涉及一种索引分布式存储的实现方法和装置。所述方法包括以下步骤：接收到写请求；根据所述写业务请求更新索引；若更新索引失败，将所述更新失败的数据写入本地缓存中；接收到读请求；根据所述读请求匹配相应的索引；根据所述匹配的索引读取相应的文件；读取所述本地缓存中的更新失败的数据；将读取的更新失败的数据合并到所述已读取的文件中；将合并后的文件作为所述读请求所对应的读取结果，并返回。上述索引分布式存储的实现方法和装置，通过在写请求时将更新失败的数据写入本地缓存中，在读请求时匹配索引所对应的文件后，再读取本地缓存中的更新失败的数据，并合并到已经读取的文件中，保证了数据的一致性，提高了数据的准确性。

Description

索引分布式存储的实现方法和装置

技术领域

本发明涉及数据存储领域，特别是涉及一种索引分布式存储的实现方法和装置。

背景技术

随着大数据时代的来临，海量的数据产生，并需要进行存储。数据存储后为了便于查询需要建立索引。传统的索引存储使用B+树结构或LSM树结构，存储在本地，尽量避免分布式操作。若需要分布式存储，则将索引存储在一个文件中，更新则全部成功或全部失败，但随着文件增大，本地存储读写接口影响性能过大。

在分布式情况下，多级索引之间独立存储，为了不影响读写性能，不使用分布式锁操作，这种情况可能部分更新失败，出现多级索引间不一致的情况，影响数据的准确性。

发明内容

基于此，有必要针对传统的多级索引独立存储更新失败导致数据不准确的问题，提供一种能提高数据准确性的索引分布式存储的实现方法和装置。

一种索引分布式存储的实现方法，包括以下步骤：

接收到写请求；

根据所述写业务请求更新索引；

若更新索引失败，将所述更新失败的数据写入本地缓存中；

接收到读请求；

根据所述读请求匹配相应的索引；

根据所述匹配的索引读取相应的文件；

读取所述本地缓存中的更新失败的数据；

将读取的更新失败的数据合并到所述已读取的文件中；

将合并后的文件作为所述读请求所对应的读取结果，并返回。

一种索引分布式存储的实现装置，包括：

请求接收模块，用于接收到写请求；

更新模块，用于根据所述写业务请求更新索引；

失败数据写模块，用于若更新索引失败，将所述更新失败的数据写入本地缓存中；

所述请求接收模块还用于接收到读请求；

匹配模块，用于根据所述读请求匹配相应的索引；

读取模块，用于根据所述匹配的索引读取相应的文件，以及读取所述本地缓存中的更新失败的数据；

合并模块，用于将读取的更新失败的数据合并到所述已读取的文件中；

返回模块，用于将合并后的文件作为所述读请求所对应的读取结果，并返回。

上述索引分布式存储的实现方法和装置，通过在写请求时将更新失败的数据写入本地缓存中，在读请求时匹配了相应的索引所对应的文件后，再读取本地缓存中的更新失败的数据，并将更新失败的数据合并到已经读取的文件中，保证了数据的一致性，提高了数据的准确性。

附图说明

图1为一个实施例中索引存储的结构示意图；

图2为一个实施例中索引分布式存储的实现方法的流程图；

图3为一个实施例中索引分布式存储的实现装置的结构框图；

图4为另一个实施例中索引分布式存储的实现装置的结构框图；

图5为能实现本发明实施例的一个计算机系统的模块图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1为一个实施例中索引存储的结构示意图。如图1所示，该索引存储包括结果集缓存和结果集缓存所在的索引，结果集缓存通过索引建立，索引存储数据所在文件，可快速重建缓存。其中，一级索引是全局索引，记录了当前表格的索引条件，以及每个索引条件下的数据数量。“过滤、排序索引”是一个条件索引。索引标识集合是指满足条件索引的结果集缓存的索引标识，用于记录小范围内数据所在的文件，索引标识与结果集缓存存在映射关系。“过滤1、排序1索引”、“过滤1、排序2索引”、“过滤2、排序2索引”均为条件索引。“过滤、排序索引”作为一个条件索引的元数据，通过“索引标识集合”找到关联文件，可得到满足该“过滤、排序索引”的一段数据，将该数据放入结果集缓存中，用于下次读请求时直接从结果集缓存中命中。

图2为一个实施例中索引分布式存储的实现方法的流程图。如图2所示，该索引分布式存储的实现方法，包括以下步骤：

步骤202，接收到写请求。

步骤204，根据该写业务请求更新索引。

本实施例中，根据该写业务请求更新索引的步骤包括：读取一级索引，根据该一级索引并发读取各个条件索引，更新每条条件索引。

具体的，条件索引可包括排序索引、过滤索引、分类索引、过滤和排序组合索引等等，每一条条件索引独立进行更新。

步骤206，若更新索引失败，将该更新失败的数据写入本地缓存中。

具体的，若每条条件索引更新失败，将该次更新操作及更新操作失败的数据写入到本地缓存中。

若更新索引成功，则返回写成功的结果给用户。

本实施例中，当更新索引失败时，记录索引更新失败的日志。

步骤208，接收到读请求。

步骤210，根据该读请求匹配相应的索引。

本实施例中，步骤210包括：根据该读请求读取一级索引，再根据该读请求匹配相应的条件索引。具体的，读请求中包含业务数据，根据该业务数据从条件索引(如过滤1、排序1等)中匹配得到与该业务相匹配的条件索引。

步骤212，根据该匹配的索引读取相应的文件。

本实施例中，步骤212包括：根据该匹配的条件索引的索引标识按照预先建立的索引标识与满足条件索引的文件的映射关系查找到相应的文件。

具体的，根据索引标识可查找到相应的文件，即图1中的结果集缓存中的文件。

步骤214，读取该本地缓存中的更新失败的数据。

步骤216，将读取的更新失败的数据合并到该已读取的文件中。

步骤218，将合并后的文件作为该读请求所对应的读取结果，并返回。

此外，若读取该本地缓存中没有更新失败的数据，则将根据匹配的索引读取的相应的文件作为该读请求所对应的读取结果，并返回。

上述索引分布式存储的实现方法，通过在写请求时将更新失败的数据写入本地缓存中，在读请求时匹配了相应的索引所对应的文件后，再读取本地缓存中的更新失败的数据，并将更新失败的数据合并到已经读取的文件中，保证了数据的一致性，提高了数据的准确性。

此外，上述索引分布式存储的实现方法还包括：将本地缓存中的更新失败的数据重写处理，重写成功后，将本地缓存中的更新失败的数据删除。

图3为一个实施例中索引分布式存储的实现装置的结构框图。如图3所示，该索引分布式存储的实现装置，包括请求接收模块302、更新模块304、失败数据写模块306、匹配模块308、读取模块310、合并模块312和返回模块314。其中：

请求接收模块302用于接收到写请求。

更新模块304用于根据该写业务请求更新索引。

本实施例中，该更新模块304还用于读取一级索引，根据该一级索引并发读取各个条件索引，更新每条条件索引。具体的，条件索引可包括排序索引、过滤索引、分类索引、过滤和排序组合索引等等，每一条条件索引独立进行更新。

失败数据写模块306用于若更新索引失败，将该更新失败的数据写入本地缓存中。具体的，条件索引可包括排序索引、过滤索引、分类索引、过滤和排序组合索引等等，每一条条件索引独立进行更新。

该请求接收模块302还用于接收到读请求。

匹配模块308用于根据该读请求匹配相应的索引。

在一个实施例中，匹配模块308还用于根据该读请求读取一级索引，再根据该读请求匹配相应的条件索引。具体的，读请求中包含业务数据，根据该业务数据从条件索引(如过滤1、排序1等)中匹配得到与该业务相匹配的条件索引。

读取模块310用于根据该匹配的索引读取相应的文件，以及读取该本地缓存中的更新失败的数据。

在一个实施例中，读取模块310还用于根据该匹配的条件索引的索引标识按照预先建立的索引标识与满足条件索引的文件的映射关系查找到相应的文件。

合并模块312用于将读取的更新失败的数据合并到该已读取的文件中。

返回模块314用于将合并后的文件作为该读请求所对应的读取结果，并返回。

此外，返回模块314还用于若读取该本地缓存中没有更新失败的数据，将根据匹配的索引读取的相应的文件作为该读请求所对应的读取结果，并返回。

上述索引分布式存储的实现装置，通过在写请求时将更新失败的数据写入本地缓存中，在读请求时匹配了相应的索引所对应的文件后，再读取本地缓存中的更新失败的数据，并将更新失败的数据合并到已经读取的文件中，保证了数据的一致性，提高了数据的准确性。

图4为另一个实施例中索引分布式存储的实现装置的结构框图。如图4所示，该索引分布式存储的实现装置，除了包括请求接收模块302、更新模块304、失败数据写模块306、匹配模块308、读取模块310、合并模块312和返回模块314，还包括记录模块316。其中：记录模块316用于当更新索引失败时，记录索引更新失败的日志。

上述索引分布式存储的实现装置，通过记录索引更新失败的日志，便于后续查询追溯。

此外，上述索引分布式存储的实现装置还包括：重写模块，用于将本地缓存中的更新失败的数据重写处理。删除模块，用于在重写成功后，将本地缓存中的更新失败的数据删除。

图5为能实现本发明实施例的一个计算机系统1000的模块图。该计算机系统1000只是一个适用于本发明的计算机环境的示例，不能认为是提出了对本发明的使用范围的任何限制。计算机系统1000也不能解释为需要依赖于或具有图示的示例性的计算机系统1000中的一个或多个部件的组合。

图5中示出的计算机系统1000是一个适合用于本发明的计算机系统的例子。具有不同子系统配置的其它架构也可以使用。例如有大众所熟知的台式机、笔记本等类似设备可以适用于本发明的一些实施例。但不限于以上所列举的设备。

如图5所示，计算机系统1000包括处理器1010、存储器1020和系统总线1022。包括存储器1020和处理器1010在内的各种系统组件连接到系统总线1022上。处理器1010是一个用来通过计算机系统中基本的算术和逻辑运算来执行计算机程序指令的硬件。存储器1020是一个用于临时或永久性存储计算程序或数据(例如，程序状态信息)的物理设备。系统总线1020可以为以下几种类型的总线结构中的任意一种，包括存储器总线或存储控制器、外设总线和局部总线。处理器1010和存储器1020可以通过系统总线1022进行数据通信。其中存储器1020包括只读存储器(ROM)或闪存(图中都未示出)，以及随机存取存储器(RAM)，RAM通常是指加载了操作系统和应用程序的主存储器。

计算机系统1000还包括显示接口1030(例如，图形处理单元)、显示设备1040(例如，液晶显示器)、音频接口1050(例如，声卡)以及音频设备1060(例如，扬声器)。显示设备1040和音频设备1060是用于体验多媒体内容的媒体设备。

计算机系统1000一般包括一个存储设备1070。存储设备1070可以从多种计算机可读介质中选择，计算机可读介质是指可以通过计算机系统1000访问的任何可利用的介质，包括移动的和固定的两种介质。例如，计算机可读介质包括但不限于，闪速存储器(微型SD卡)，CD-ROM，数字通用光盘(DVD)或其它光盘存储、磁带盒、磁带、磁盘存储或其它磁存储设备，或者可用于存储所需信息并可由计算机系统1000访问的任何其它介质。

计算机系统1000还包括输入装置1080和输入接口1090(例如，IO控制器)。用户可以通过输入装置1080，如键盘、鼠标、显示装置1040上的触摸面板设备，输入指令和信息到计算机系统1000中。输入装置1080通常是通过输入接口1090连接到系统总线1022上的，但也可以通过其它接口或总线结构相连接，如通用串行总线(USB)。

计算机系统1000可在网络环境中与一个或者多个网络设备进行逻辑连接。网络设备可以是个人电脑、服务器、路由器、智能电话、平板电脑或者其它公共网络节点。计算机系统1000通过局域网(LAN)接口1100或者移动通信单元1110与网络设备相连接。局域网(LAN)是指在有限区域内，例如家庭、学校、计算机实验室、或者使用网络媒体的办公楼，互联组成的计算机网络。WiFi和双绞线布线以太网是最常用的构建局域网的两种技术。WiFi是一种能使计算机系统1000间交换数据或通过无线电波连接到无线网络的技术。移动通信单元1110能在一个广阔的地理区域内移动的同时通过无线电通信线路接听和拨打电话。除了通话以外，移动通信单元1110也支持在提供移动数据服务的2G，3G或4G蜂窝通信系统中进行互联网访问。

应当指出的是，其它包括比计算机系统1000更多或更少的子系统的计算机系统也能适用于发明。例如，计算机系统1000可以包括能在短距离内交换数据的蓝牙单元，用于照相的图像传感器，以及用于测量加速度的加速计。

如上面详细描述的，适用于本发明的计算机系统1000能执行索引分布式存储的实现方法的指定操作。计算机系统1000通过处理器1010运行在计算机可读介质中的软件指令的形式来执行这些操作。这些软件指令可以从存储设备1070或者通过局域网接口1100从另一设备读入到存储器1020中。存储在存储器1020中的软件指令使得处理器1010执行上述的索引分布式存储的实现方法。此外，通过硬件电路或者硬件电路结合软件指令也能同样实现本发明。因此，实现本发明并不限于任何特定硬件电路和软件的组合。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述程序可存储于一计算机可读取存储介质中，如本发明实施例中，该程序可存储于计算机系统的存储介质中，并被该计算机系统中的至少一个处理器执行，以实现包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种索引分布式存储的实现方法，包括以下步骤：

接收到写请求；

根据所述写业务请求更新索引；

若更新索引失败，将所述更新失败的数据写入本地缓存中；

接收到读请求；

根据所述读请求匹配相应的索引；

根据所述匹配的索引读取相应的文件；

读取所述本地缓存中的更新失败的数据；

将读取的更新失败的数据合并到所述已读取的文件中；

将合并后的文件作为所述读请求所对应的读取结果，并返回。

2.根据权利要求1所述的方法，其特征在于，所述根据所述写业务请求更新索引的步骤包括：

读取一级索引，根据所述一级索引并发读取各个条件索引，更新每条条件索引。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当更新索引失败时，记录索引更新失败的日志。

4.根据权利要求2所述的方法，其特征在于，所述根据所述读请求匹配相应的索引的步骤包括：

根据所述读请求读取一级索引，再根据所述读请求匹配相应的条件索引；

所述根据所述匹配的索引读取相应的文件的步骤包括：

根据所述匹配的条件索引的索引标识按照预先建立的索引标识与满足条件索引的文件的映射关系查找到相应的文件。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若读取所述本地缓存中没有更新失败的数据，则将根据匹配的索引读取的相应的文件作为所述读请求所对应的读取结果，并返回。

6.一种索引分布式存储的实现装置，其特征在于，包括：

请求接收模块，用于接收到写请求；

更新模块，用于根据所述写业务请求更新索引；

失败数据写模块，用于若更新索引失败，将所述更新失败的数据写入本地缓存中；

所述请求接收模块还用于接收到读请求；

匹配模块，用于根据所述读请求匹配相应的索引；

读取模块，用于根据所述匹配的索引读取相应的文件，以及读取所述本地缓存中的更新失败的数据；

合并模块，用于将读取的更新失败的数据合并到所述已读取的文件中；

返回模块，用于将合并后的文件作为所述读请求所对应的读取结果，并返回。

7.根据权利要求6所述的装置，其特征在于，所述更新模块还用于读取一级索引，根据所述一级索引并发读取各个条件索引，更新每条条件索引。

8.根据权利要求6所述的装置，其特征在于，所述装置还包括：

记录模块，用于当更新索引失败时，记录索引更新失败的日志。

9.根据权利要求7所述的装置，其特征在于，所述匹配模块还用于根据所述读请求读取一级索引，再根据所述读请求匹配相应的条件索引；

所述读取模块还用于根据所述匹配的条件索引的索引标识按照预先建立的索引标识与满足条件索引的文件的映射关系查找到相应的文件。

10.根据权利要求6所述的装置，其特征在于，所述返回模块还用于若读取所述本地缓存中没有更新失败的数据，将根据匹配的索引读取的相应的文件作为所述读请求所对应的读取结果，并返回。