CN107704475A - 多层分布式非结构化数据存储方法、查询方法及装置 - Google Patents

Abstract

本发明提供一种多层分布式非结构化数据存储方法、查询方法及装置，该数据存储方法应用于多层分布式非结构化数据存储系统：该方法包括：获取待存储数据的存储位置信息，并确定存储位置信息对应的存储空间；在存储空间所属的基础辅存储库中记录存储位置信息的子索引数据；将待存储数据存入存储位置信息对应的存储空间；可见，多层分布式非结构化数据存储系统中，下层存储库用于存储数据，上层存储库存储有下层存储库所存储数据的索引数据；因此，即使数据文件数量达到一定级别后，存储性能非常稳定，并且便于后续查询。

Description

多层分布式非结构化数据存储方法、查询方法及装置

技术领域

本发明涉及数据存储技术领域，尤其涉及一种多层分布式非结构化数据存储方法、查询方法及装置。

背景技术

保险公司在业务经营中，除了要保存保险业务相关的结构化数据，还需要保存承保、保全及理赔等一系列业务所生成的非结构化数据文件。

现有技术中，保险公司的非结构化数据文件(例如图像、音频、视频及其它格式的数据文件)通过通用内容管理系统进行存储管理，但通用内容管理系统采用主数据块模式(即将所有数据存储至集中数据库中)进行存储管理，当数据文件数量达到一定级别后，存储性能不稳定。

发明内容

本发明提供一种多层分布式非结构化数据存储方法、查询方法及装置，不仅存储性能非常稳定，还提高了数据存储效率及数据查询效率。

第一方面，本发明实施例提供一种多层分布式非结构化数据存储方法，所述方法应用于多层分布式非结构化数据存储系统，所述系统包括：多层存储库，其中，所述多层存储库划分为一层基础主存储库以及至少一层基础辅存储库，所述基础主存储库为顶层存储库，所述基础主存储库用于存储下一层基础辅存储库所存储数据的主索引数据，每个所述基础辅存储库用于存储本存储库所存储数据的存储位置信息和/或下一层基础辅存储库所存储数据的子索引数据；

所述方法包括：

获取待存储数据的存储位置信息，并确定所述存储位置信息对应的存储空间；

在所述存储空间所属的基础辅存储库中记录所述存储位置信息的子索引数据；

将所述待存储数据存入所述存储位置信息对应的存储空间；

其中，所述主索引数据对应的存储空间包含所述子索引数据对应的存储空间。

进一步地，所述方法，还包括：

获取各所述存储库的下一层存储库的数据变化信息，所述数据变化信息用于指示所述存储库的下一层存储库是否更新了所存储的数据；

在所述存储库的下一层存储库更新了所存储的数据时，更新所述存储库中的所述下一层存储库所存储数据的索引数据。

第二方面，本发明实施例提供一种多层分布式非结构化数据查询方法，所述方法应用于多层分布式非结构化数据存储系统，所述系统包括：多层存储库，其中，所述多层存储库划分为一层基础主存储库以及至少一层基础辅存储库，所述基础主存储库为顶层存储库，所述基础主存储库用于存储下一层基础辅存储库所存储数据的主索引数据，每个所述基础辅存储库用于存储本存储库所存储数据的存储位置信息和/或下一层基础辅存储库所存储数据的子索引数据；

所述方法包括：

接收查询请求消息；其中，所述查询请求消息中包括：待查询数据的查询关键词；

根据所述查询请求消息在所述基础主存储库中确定所述待查询数据的主索引数据；

根据所述主索引数据确定所述待查询数据的子索引数据；

根据所述待查询数据的子索引数据，确定所述待查询数据的存储位置信息，并读取所述待查询数据。

进一步地，所述方法还包括：

在所述查询请求消息包含的查询关键词为在先使用关键词，则根据所述查询关键词在在先查询数据库中获取所述查询关键词对应的存储位置信息；

其中，所述在先查询数据库中用于存储已经查询过的查询数据的查询关键词以及所述查询数据对应的存储位置信息。

第三方面，本发明实施例提供一种多层分布式非结构化数据存储装置，所述装置应用于多层分布式非结构化数据存储系统，所述系统包括：多层存储库，其中，所述多层存储库划分为一层基础主存储库以及至少一层基础辅存储库，所述基础主存储库为顶层存储库，所述基础主存储库用于存储下一层基础辅存储库所存储数据的主索引数据，每个所述基础辅存储库用于存储本存储库所存储数据的存储位置信息和/或下一层基础辅存储库所存储数据的子索引数据；

所述装置包括：

确定模块，用于获取待存储数据的存储位置信息，并确定所述存储位置信息对应的存储空间；

记录模块，用于在所述存储空间所属的基础辅存储库中记录所述存储位置信息的子索引数据；

存储模块，用于将所述待存储数据存入所述存储位置信息对应的存储空间；

其中，所述主索引数据对应的存储空间包含所述子索引数据对应的存储空间。

进一步地，所述装置还包括：

获取模块，用于获取各所述存储库的下一层存储库的数据变化信息，所述数据变化信息用于指示所述存储库的下一层存储库是否更新了所存储的数据；

更新模块，用于在所述存储库的下一层存储库更新了所存储的数据时，更新所述存储库中的所述下一层存储库所存储数据的索引数据。

第四方面，本发明实施例提供一种多层分布式非结构化数据查询装置，所述装置应用于多层分布式非结构化数据存储系统，所述系统包括：多层存储库，其中，所述多层存储库划分为一层基础主存储库以及至少一层基础辅存储库，所述基础主存储库为顶层存储库，所述基础主存储库用于存储下一层基础辅存储库所存储数据的主索引数据，每个所述基础辅存储库用于存储本存储库所存储数据的存储位置信息和/或下一层基础辅存储库所存储数据的子索引数据；

所述装置包括：

接收模块，用于接收查询请求消息；其中，所述查询请求消息中包括：待查询数据的查询关键词；

第一确定模块，用于根据所述查询请求消息在所述基础主存储库中确定所述待查询数据的主索引数据；

第二确定模块，用于根据所述主索引数据确定所述待查询数据的子索引数据；

读取模块，用于根据所述待查询数据的子索引数据，确定所述待查询数据的存储位置信息，并读取所述待查询数据。

进一步地，所述装置还包括：

获取模块，用于在所述查询请求消息包含的查询关键词为在先使用关键词，则根据所述查询关键词在在先查询数据库中获取所述查询关键词对应的存储位置信息；

其中，所述在先查询数据库中用于存储已经查询过的查询数据的查询关键词以及所述查询数据对应的存储位置信息。

本发明中，通过获取待存储数据的存储位置信息，并确定所述存储位置信息对应的存储空间；进一步地，在所述存储空间所属的基础辅存储库中记录所述存储位置信息的子索引数据以及将所述待存储数据存入所述存储位置信息对应的存储空间；可见，多层分布式非结构化数据存储系统中，下层存储库用于存储数据，上层存储库存储有下层存储库所存储数据的索引数据；因此，即使数据文件数量达到一定级别后，存储性能非常稳定，并且便于后续查询。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1A为本发明多层分布式非结构化数据存储方法实施例一的流程示意图；

图1B为本发明多层分布式非结构化数据存储系统的结构示意图一；

图2A为本发明多层分布式非结构化数据存储方法实施例二的流程示意图；

图2B为本发明多层分布式非结构化数据存储系统的结构示意图二；

图3为本发明多层分布式非结构化数据查询方法实施例一的流程示意图；

图4为本发明多层分布式非结构化数据查询方法实施例二的流程示意图；

图5为本发明多层分布式非结构化数据存储装置实施例一的结构示意图；

图6为本发明多层分布式非结构化数据查询装置实施例一的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1A为本发明多层分布式非结构化数据存储方法实施例一的流程示意图，图1B为本发明多层分布式非结构化数据存储系统的结构示意图一。本实施例的执行主体可以为多层分布式非结构化数据存储装置，该装置可以通过软件和/或硬件实现。本实施例的方案可应用于多层分布式非结构化数据存储系统，如图1B所示，多层分布式非结构化数据存储系统包括：多层存储库，其中，所述多层存储库划分为一层基础主存储库以及至少一层基础辅存储库，可选地，每层基础辅存储库包括：至少一个基础辅存储库(为了便于描述，图1B中以包含两层基础辅存储库为例以及每层基础辅存储库包括两个基础辅存储库为例进行说明)，所述基础主存储库为顶层存储库，基础主存储库用于存储下一层基础辅存储库所存储数据的主索引数据，每个所述基础辅存储库用于存储本存储库所存储数据的存储位置信息和/或下一层基础辅存储库所存储数据的子索引数据，例如基础主存储库A中存储有基础辅存储库B1以及基础辅存储库B2中所存储数据的主索引数据，基础辅存储库B2中存储有自身所存储数据的存储位置信息和/或基础辅存储库C1以及基础辅存储库C2中所存储数据的子索引数据，可选地，基础辅存储库B2中所存储的关于基础辅存储库C1以及基础辅存储库C2中所存储数据的子索引数据的主键值是承接上一级索引(即基础主存储库A中所存储的关于基础辅存储库B2中所存储数据的主索引数据)的结果，即主索引数据对应的存储空间包含所述子索引数据对应的存储空间。如图1A所示，本实施例的方法可以包括：

S101、获取待存储数据的存储位置信息，并确定存储位置信息对应的存储空间。

本步骤中，当收到用户终端发送的待存储数据时，根据预设存储分布信息获取到待存储数据的存储位置信息，并确定出存储位置信息对应的存储空间，例如哪一个基础辅存储库中的哪个存储单元FS中等；可选地，预设存储分布信息可以为预设索引数据，当然，预设存储分布信息还可以为其它信息，本发明实施例中对此并不作限制。

S102、在存储空间所属的基础辅存储库中记录存储位置信息的子索引数据。

本步骤中，在确定出存储位置信息对应的存储空间后，为了便于后续查询，在该存储空间所属的基础辅存储库中记录该存储位置信息对应的子索引数据。进一步地，为了便于后续查询，更新该基础辅存储库的上一层存储库中所存储的关于该基础辅存储库中所存储数据的索引数据。

S103、将待存储数据存入该存储位置信息对应的存储空间。

本步骤中，在确定出存储位置信息对应的存储空间后，将待存储数据存入该存储位置信息对应的存储空间。

可选地，步骤S102和步骤S103的执行顺序可以不限，例如：先执行步骤S102后执行步骤S103、先执行步骤S103后执行步骤S102，或者同时执行步骤S103和步骤S102。

本实施例中，通过获取待存储数据的存储位置信息，并确定所述存储位置信息对应的存储空间；进一步地，在所述存储空间所属的基础辅存储库中记录所述存储位置信息的子索引数据以及将所述待存储数据存入所述存储位置信息对应的存储空间；可见，多层分布式非结构化数据存储系统中，下层存储库用于存储数据，上层存储库存储有下层存储库所存储数据的索引数据；因此，即使数据文件数量达到一定级别后，存储性能非常稳定，并且便于后续查询。

进一步地，为了便于后续进行数据查询，本实施例提供的多层分布式非结构化数据存储方法实施例，还包括：

获取各所述存储库的下一层存储库的数据变化信息，所述数据变化信息用于指示所述存储库的下一层存储库是否更新了所存储的数据；

在所述存储库的下一层存储库更新了所存储的数据时，更新所述存储库中的所述下一层存储库所存储数据的索引数据。

本实施例中，为了便于后续进行数据查询，多层分布式非结构化数据存储装置可每隔预设时间获取各存储库的下一层存储库的数据变化信息(数据变化信息用于指示该存储库的下一层存储库是否更新了所存储的数据)，在该存储库的下一层存储库更新了所存储的数据时，更新所述存储库中的该下一层存储库所存储数据的索引数据，例如：当获取到基础辅存储库B1更新了所存储的数据时，更新基础主存储库A中的关于基础辅存储库B1所存储数据的主索引数据；或者，当获取到基础辅存储库C1更新了所存储的数据时，更新基础辅存储库B2中的关于基础辅存储库C1所存储数据的子索引数据。可选地，多层分布式非结构化数据存储装置还可通过其它方式获取各存储库的下一层存储库的数据变化信息，本发明实施例中对此并不作限制。

可见，在每个存储库的下一层存储库更新了所存储的数据时，通过更新该存储库中的下一层存储库所存储数据的索引数据，从而上层存储库中始终存储有下层存储库所存储数据的正确索引数据，以便于后续进行数据查询。

图2A为本发明多层分布式非结构化数据存储方法实施例二的流程示意图，图2B为本发明多层分布式非结构化数据存储系统的结构示意图二。在上述实施例的基础上，可选地，多层分布式非结构化数据存储装置的功能可以由多个存储层中的服务器联合实现；可选地，如图2B所示(为了便于描述，图2B中以包含两层基础辅存储库为例以及每层基础辅存储库包括两个基础辅存储库为例进行说明)，基础主存储库包括：主服务器以及主非关系型数据库(用于存储下一层基础辅存储库所存储数据的主索引数据)；每个基础辅存储库包括：子服务器、更新服务器以及子非关系型数据库(用于存储本存储库所存储数据的存储位置信息和/或下一层基础辅存储库所存储数据的子索引数据)，其中，部分基础辅存储库还包括：至少一个存储单元FS(用于存储待存储数据)。在上述实施例的基础上，如图2A和图2B所示，本实施例的方法可以包括：

S201、基础辅存储库C1的子服务器C11接收用户终端发送的待存储数据。

S202、子服务器C11向基础辅存储库B2的子服务器B21发送存储配置查询信息。

本步骤中，可选地，存储配置查询信息中包括：待存储数据的关键词，以便于子服务器B21根据待存储数据的关键词查询待存储数据的存储位置信息。

S203、子服务器21将待存储数据的存储位置信息返回给子服务器C11。

S204、子服务器C11将该存储位置信息对应的子索引数据存储至子非关系型数据库C13。

S205、子服务器C11将待存储数据存入该存储位置信息对应的FS C14。

S206、基础辅存储库C1的更新服务器C12查询子非关系型数据库C13中所存储的数据是否发生变化。

本步骤中，当查询到子非关系型数据库C13中所存储的数据(例如所存储的索引数据)发生变化时，执行步骤S207。

S207、更新服务器C12获取变化数据集。

S208、更新服务器C12将变化数据集上报给基础辅存储库B2的子服务器B21。

本步骤中，更新服务器C12获取变化数据集(例如发生变化的索引数据)，并将变化数据集上报给基础辅存储库的子服务器B21，以便子服务器B21更新基础辅存储库B2的子非关系型数据库B23中关于基础辅存储库C1所存储数据的子索引数据，从而基础辅存储库B2中始终存储有基础辅存储库C1所存储数据的正确索引数据，以便于后续进行数据查询。

可选地，本实施例中以用户终端向基础辅存储库C1的子服务器C11发送待存储数据为例进行说明的，当然，用户终端可以向本申请提供的多层分布式非结构化数据存储系统中的任意基础辅存储库的子服务器发送待存储数据，其对应地多层分布式非结构化数据存储方法与上述多层分布式非结构化数据存储方法的过程类似，此处不再赘述。

综上所述，本发明多层分布式非结构化数据存储方法实施例中，通过分层进行存储(即上层存储库存储有下层存储库所存储数据的索引数据)，使存储性能非常稳定；进一步地，每个基础辅存储库中的服务器都可以独立查询和/或存储，从而不仅减轻了基础主存储库中主服务器的压力，并且提高了数据存储效率。

图3为本发明多层分布式非结构化数据查询方法实施例一的流程示意图。本实施例的执行主体可以为多层分布式非结构化数据查询装置，该装置可以通过软件和/或硬件实现。本实施例的方案可应用于多层分布式非结构化数据存储系统，如图1B所示，多层分布式非结构化数据存储系统包括：多层存储库，其中，所述多层存储库划分为一层基础主存储库以及至少一层基础辅存储库，可选地，每层基础辅存储库包括：至少一个基础辅存储库(为了便于描述，图1B中以包含两层基础辅存储库为例以及每层基础辅存储库包括两个基础辅存储库为例进行说明)，所述基础主存储库为顶层存储库，基础主存储库用于存储下一层基础辅存储库所存储数据的主索引数据，每个所述基础辅存储库用于存储本存储库所存储数据的存储位置信息和/或下一层基础辅存储库所存储数据的子索引数据；可选地，主索引数据对应的存储空间包含所述子索引数据对应的存储空间。如图3所示，本实施例的方法可以包括：

S301、接收查询请求消息。

本步骤中，当接收到用户终端发送的查询请求消息；其中，所述查询请求消息中包括：待查询数据的查询关键词，可选地，查询关键词可以为用户的身份证号码、保单号码等可以唯一标识该用户的信息，当然，查询关键词还可以为其它信息，本申请实施例中对此并不作限制。

S302、根据查询请求消息在基础主存储库中确定待查询数据的主索引数据。

本步骤中，根据该查询请求消息中所包括的待查询数据的查询关键词，在基础主存储库中查询该待查询数据的主索引数据。

S303、根据主索引数据确定待查询数据的子索引数据。

本步骤中，在确定出待查询数据的主索引数据后，根据主索引数据与子索引数据之间的关联关系(即基础主存储库中所存储的关于下层基础辅存储库中所存储数据的主索引数据的索引结果为：该下层基础辅存储库中所存储的子索引数据的主键值)，确定出待查询数据的子索引数据。

S304、根据待查询数据的子索引数据，确定待查询数据的存储位置信息，并读取待查询数据。

本步骤中，由于每个子索引数据都会对应一个存储位置信息，根据待查询数据的子索引数据，确定出待查询数据的存储位置信息，并从该存储位置信息对应的存储空间读取待查询数据；进一步地，将待查询数据发送给用户终端。

本实施例中，通过根据查询请求消息中携带的待查询数据的查询关键词，在基础主存储库中确定待查询数据的主索引数据，并根据主索引数据确定待查询数据的子索引数据；进一步地，根据待查询数据的子索引数据，确定待查询数据的存储位置信息，并读取待查询数据；可见，多层分布式非结构化数据存储系统中，下层存储库用于存储数据，上层存储库存储有下层存储库所存储数据的索引数据；因此，即使数据文件数量达到一定级别后，存储性能非常稳定，并且通过根据索引数据进行分层查询，提高了数据查询效率。

进一步地，本实施例提供的多层分布式非结构化数据查询方法实施例，还包括：

在查询请求消息包含的查询关键词为在先使用关键词，则根据所述查询关键词在在先查询数据库中获取所述查询关键词对应的存储位置信息；其中，所述在先查询数据库中用于存储已经查询过的查询数据的查询关键词以及所述查询数据对应的存储位置信息。

本实施例中，为了便于后续用户快速查询数据，可选地，多层分布式非结构化数据查询装置在读取到每个待查询数据后，将每个待查询数据的查询关键词以及其对应的存储位置信息存储至在先查询数据库中，以便于后续快速查询，例如：当接收到用户终端发送的查询请求消息，可选地，通过判断查询请求消息所携带的待查询数据的查询关键词是否为在先使用关键词(即在先查询数据库中已存储的查询关键词)，若该待查询数据的查询关键词为在先使用关键词，则直接根据待查询数据的查询关键词在在先查询数据库中获取该查询关键词对应的存储位置信息，并从存储位置信息对应的存储空间读取待查询数据，而无需依次确定出该待查询数据的主索引数据、子索引数据及存储位置信息等，从而提高了数据查询效率。

综上所述，本实施例提供的多层分布式非结构化数据查询方法实施例中，当接收到用户终端发送的查询请求消息时，通过判断查询请求消息所携带的待查询数据的查询关键词是否为在先使用关键词，若是，则直接根据查询关键词在在先查询数据库中获取该查询关键词对应的存储位置信息，并从存储位置信息对应的存储空间读取待查询数据，从而提高了数据查询效率。

图4为本发明多层分布式非结构化数据查询方法实施例二的流程示意图。在上述实施例的基础上，可选地，多层分布式非结构化数据查询装置的功能可以由多个存储层中的服务器联合实现；可选地，如图2B所示，基础主存储库包括：主服务器以及主非关系型数据库；每个基础辅存储库包括：子服务器、更新服务器以及子非关系型数据库，其中，部分基础辅存储库还包括：至少一个存储单元FS(用于存储待存储数据)。在上述实施例的基础上，如图4和图2B所示，本实施例的方法可以包括：

S401、基础主存储库A的主服务器A1接收用户终端发送的查询请求消息。可选地，查询请求消息中包：待查询数据的查询关键词。

S402、主服务器A1根据查询请求消息查询基础主存储库A的主非关系型数据库A2，并确定待查询数据的主索引数据。

S403、主服务器A1将主索引数据发送给用户终端。

可选地，假设主索引数据对应的存储空间包括基础辅存储库B1的FSB14。

S404、用户终端根据主索引数据向基础辅存储库B1的子服务器B11发送重定向查询请求消息。

S405、子服务器B11根据重定向查询请求消息查询基础辅存储库B1的子非关系型数据库B13，并确定待查询数据的子索引数据。

S406、子服务器B11根据待查询数据的子索引数据，确定待查询数据的存储位置信息，并从存储位置信息对应的FS B14读取待查询数据。

S407、子服务器B11将待查询数据发送给用户终端。

S408、子服务器B11将待查询数据的存储位置信息发送给主服务器A1。

S409、主服务器A1将待查询数据的查询关键词以及对应的存储位置信息进行保存。

本步骤中，主服务器A1将待查询数据的查询关键词以及对应的存储位置信息保存至在先查询数据库中，以便于当后续再次接收到用户终端发送的查询请求消息时，通过判断查询请求消息所携带的待查询数据的查询关键词是否为在先使用关键词，若该待查询数据的查询关键词为在先使用关键词，则直接根据待查询数据的查询关键词在在先查询数据库中获取该查询关键词对应的存储位置信息，并从存储位置信息对应的存储空间读取待查询数据，从而提高了数据查询效率。

可选地，本实施例中以用户终端根据主索引数据(假设主索引数据对应的存储空间包括基础辅存储库B1的FS B14)向基础辅存储库B1的子服务器B11发送重定向查询请求消息为例进行说明的，当然，若假设主索引数据对应的存储空间包括基础辅存储库B2的FS，则用户终端可以向基础辅存储库B2的子服务器B21发送重定向查询请求消息，其对应地多层分布式非结构化数据查询方法与上述多层分布式非结构化数据查询方法的过程类似，此处不再赘述。

综上所述，本发明多层分布式非结构化数据查询方法实施例中，通过分层进行存储(即上层存储库存储有下层存储库所存储数据的索引数据)，使存储性能非常稳定；进一步地，每个基础辅存储库中的服务器都可以独立查询，从而不仅减轻了基础主存储库中主服务器的压力，并且提高了数据查询效率。

图5为本发明多层分布式非结构化数据存储装置实施例一的结构示意图。可选地，本实施例提供的多层分布式非结构化数据存储装置50应用于多层分布式非结构化数据存储系统，所述系统包括：多层存储库，其中，所述多层存储库划分为一层基础主存储库以及至少一层基础辅存储库，所述基础主存储库为顶层存储库，所述基础主存储库用于存储下一层基础辅存储库所存储数据的主索引数据，每个所述基础辅存储库用于存储本存储库所存储数据的存储位置信息和/或下一层基础辅存储库所存储数据的子索引数据。如图5所示，本实施例提供的多层分布式非结构化数据存储装置50包括：

确定模块501，用于获取待存储数据的存储位置信息，并确定所述存储位置信息对应的存储空间；

记录模块502，用于在所述存储空间所属的基础辅存储库中记录所述存储位置信息的子索引数据；

存储模块503，用于将所述待存储数据存入所述存储位置信息对应的存储空间；

其中，所述主索引数据对应的存储空间包含所述子索引数据对应的存储空间。

进一步地，，多层分布式非结构化数据存储装置50还包括：

获取模块，用于获取各所述存储库的下一层存储库的数据变化信息，所述数据变化信息用于指示所述存储库的下一层存储库是否更新了所存储的数据；

更新模块，用于在所述存储库的下一层存储库更新了所存储的数据时，更新所述存储库中的所述下一层存储库所存储数据的索引数据。

可选地，多层分布式非结构化数据存储装置50的功能可以由多个存储层中的服务器联合实现。

本实施例提供的多层分布式非结构化数据存储装置，可以用于执行本发明上述多层分布式非结构化数据存储方法实施例一及实施例二的技术方案，其实现原理和技术效果类似，此处不再赘述。

图6为本发明多层分布式非结构化数据查询装置实施例一的结构示意图。可选地，本实施例提供的多层分布式非结构化数据查询装置60应用于多层分布式非结构化数据存储系统，所述系统包括：多层存储库，其中，所述多层存储库划分为一层基础主存储库以及至少一层基础辅存储库，所述基础主存储库为顶层存储库，所述基础主存储库用于存储下一层基础辅存储库所存储数据的主索引数据，每个所述基础辅存储库用于存储本存储库所存储数据的存储位置信息和/或下一层基础辅存储库所存储数据的子索引数据。如图6所示，本实施例提供的多层分布式非结构化数据查询装置60包括：

接收模块601，用于接收查询请求消息；其中，所述查询请求消息中包括：待查询数据的查询关键词；

第一确定模块602，用于根据所述查询请求消息在所述基础主存储库中确定所述待查询数据的主索引数据；

第二确定模块603，用于根据所述主索引数据确定所述待查询数据的子索引数据；

读取模块604，用于根据所述待查询数据的子索引数据，确定所述待查询数据的存储位置信息，并读取所述待查询数据。

进一步地，多层分布式非结构化数据查询装置60还包括：

获取模块，用于在所述查询请求消息包含的查询关键词为在先使用关键词，则根据所述查询关键词在在先查询数据库中获取所述查询关键词对应的存储位置信息；

其中，所述在先查询数据库中用于存储已经查询过的查询数据的查询关键词以及所述查询数据对应的存储位置信息。

可选地，多层分布式非结构化数据查询装置60的功能可以由多个存储层中的服务器联合实现。

本实施例提供的多层分布式非结构化数据查询装置，可以用于执行本发明上述多层分布式非结构化数据查询方法实施例一及实施例二的技术方案，其实现原理和技术效果类似，此处不再赘述。

本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种多层分布式非结构化数据存储方法，其特征在于，所述方法应用于多层分布式非结构化数据存储系统，所述系统包括：多层存储库，其中，所述多层存储库划分为一层基础主存储库以及至少一层基础辅存储库，所述基础主存储库为顶层存储库，所述基础主存储库用于存储下一层基础辅存储库所存储数据的主索引数据，每个所述基础辅存储库用于存储本存储库所存储数据的存储位置信息和/或下一层基础辅存储库所存储数据的子索引数据；

所述方法包括：

获取待存储数据的存储位置信息，并确定所述存储位置信息对应的存储空间；

在所述存储空间所属的基础辅存储库中记录所述存储位置信息的子索引数据；

将所述待存储数据存入所述存储位置信息对应的存储空间；

其中，所述主索引数据对应的存储空间包含所述子索引数据对应的存储空间。

2.根据权利要求1所述的方法，其特征在于，所述方法，还包括：

获取各所述存储库的下一层存储库的数据变化信息，所述数据变化信息用于指示所述存储库的下一层存储库是否更新了所存储的数据；

在所述存储库的下一层存储库更新了所存储的数据时，更新所述存储库中的所述下一层存储库所存储数据的索引数据。

3.一种多层分布式非结构化数据查询方法，其特征在于，所述方法应用于多层分布式非结构化数据存储系统，所述系统包括：多层存储库，其中，所述多层存储库划分为一层基础主存储库以及至少一层基础辅存储库，所述基础主存储库为顶层存储库，所述基础主存储库用于存储下一层基础辅存储库所存储数据的主索引数据，每个所述基础辅存储库用于存储本存储库所存储数据的存储位置信息和/或下一层基础辅存储库所存储数据的子索引数据；

所述方法包括：

接收查询请求消息；其中，所述查询请求消息中包括：待查询数据的查询关键词；

根据所述查询请求消息在所述基础主存储库中确定所述待查询数据的主索引数据；

根据所述主索引数据确定所述待查询数据的子索引数据；

根据所述待查询数据的子索引数据，确定所述待查询数据的存储位置信息，并读取所述待查询数据。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

在所述查询请求消息包含的查询关键词为在先使用关键词，则根据所述查询关键词在在先查询数据库中获取所述查询关键词对应的存储位置信息；

其中，所述在先查询数据库中用于存储已经查询过的查询数据的查询关键词以及所述查询数据对应的存储位置信息。

5.一种多层分布式非结构化数据存储装置，其特征在于，所述装置应用于多层分布式非结构化数据存储系统，所述系统包括：多层存储库，其中，所述多层存储库划分为一层基础主存储库以及至少一层基础辅存储库，所述基础主存储库为顶层存储库，所述基础主存储库用于存储下一层基础辅存储库所存储数据的主索引数据，每个所述基础辅存储库用于存储本存储库所存储数据的存储位置信息和/或下一层基础辅存储库所存储数据的子索引数据；

所述装置包括：

确定模块，用于获取待存储数据的存储位置信息，并确定所述存储位置信息对应的存储空间；

记录模块，用于在所述存储空间所属的基础辅存储库中记录所述存储位置信息的子索引数据；

存储模块，用于将所述待存储数据存入所述存储位置信息对应的存储空间；

其中，所述主索引数据对应的存储空间包含所述子索引数据对应的存储空间。

6.根据权利要求5所述的装置，其特征在于，还包括：

获取模块，用于获取各所述存储库的下一层存储库的数据变化信息，所述数据变化信息用于指示所述存储库的下一层存储库是否更新了所存储的数据；

更新模块，用于在所述存储库的下一层存储库更新了所存储的数据时，更新所述存储库中的所述下一层存储库所存储数据的索引数据。

7.一种多层分布式非结构化数据查询装置，其特征在于，所述装置应用于多层分布式非结构化数据存储系统，所述系统包括：多层存储库，其中，所述多层存储库划分为一层基础主存储库以及至少一层基础辅存储库，所述基础主存储库为顶层存储库，所述基础主存储库用于存储下一层基础辅存储库所存储数据的主索引数据，每个所述基础辅存储库用于存储本存储库所存储数据的存储位置信息和/或下一层基础辅存储库所存储数据的子索引数据；

所述装置包括：

接收模块，用于接收查询请求消息；其中，所述查询请求消息中包括：待查询数据的查询关键词；

第一确定模块，用于根据所述查询请求消息在所述基础主存储库中确定所述待查询数据的主索引数据；

第二确定模块，用于根据所述主索引数据确定所述待查询数据的子索引数据；

读取模块，用于根据所述待查询数据的子索引数据，确定所述待查询数据的存储位置信息，并读取所述待查询数据。

8.根据权利要求7所述的装置，其特征在于，还包括：

获取模块，用于在所述查询请求消息包含的查询关键词为在先使用关键词，则根据所述查询关键词在在先查询数据库中获取所述查询关键词对应的存储位置信息；

其中，所述在先查询数据库中用于存储已经查询过的查询数据的查询关键词以及所述查询数据对应的存储位置信息。