CN114168610B - 一种基于线序划分的分布式存储和查询方法及系统 - Google Patents

Abstract

本发明提供了一种基于线序划分的分布式存储和查询方法及系统，其中，该方法包括：通过客户端获得第一待存储数据的基础信息；根据基础信息获得第一待存储数据的第一预定要求信息和第一时间标签；根据第一预定要求信息进行第一待存储数据的第一加密处理，获得第一加密处理结果；通过数据管理工具根据基础信息获得第一待存储数据的第一特征信息，根据第一加密处理结果获得第一待存储数据的第二特征信息；将第一特征信息、第二特征信息和第一时间标签输入映射特征构建模型，获得第一待存储数据的第一映射特征；基于第一映射特征进行第一加密处理结果的分片标识，根据分片标识结果进行分布式存储和查询。

Description

一种基于线序划分的分布式存储和查询方法及系统

技术领域

本发明涉及分布式系统相关技术领域，具体涉及一种基于线序划分的分布式存储和查询方法及系统。

背景技术

分布式系统是在集中式系统的基础上而产生的一种软件系统，相对于集中式系统，其避免了集中式系统发生单点故障就会导致全面崩溃等问题，得到广泛应用。

目前分布式系统常用于业务数据的存储和查询方面，由于分布式系统的并发性，可以支持多个客户端的查询访问以及数据存储，且各节点之间的数据可进行备份，避免由于系统故障导致数据损坏。

但本申请发明人在实现本申请实施例中发明技术方案的过程中，发现上述技术至少存在如下技术问题：

现有技术中应用于数据存储和查询的分布式系统应用，由于分布式系统的并发性，多个节点对于同一数据库内的数据可进行同时操作，可能会导致各节点内数据不一致，以及数据对应时序不一致，存在着无法进行准确有效查询的技术问题。

发明内容

本申请实施例提供了一种基于线序划分的分布式存储和查询方法及系统，用于针对解决现有技术中应用于数据存储和查询的分布式系统应用，由于分布式系统的并发性，多个节点对于同一数据库内的数据可进行同时操作，可能会导致各节点内数据不一致，以及数据对应时序不一致，存在着无法进行准确有效查询的技术问题。

鉴于上述问题，本申请实施例提供了一种基于线序划分的分布式存储和查询方法及系统。

本申请实施例的第一个方面，提供了一种基于线序划分的分布式存储和查询方法，所述方法应用于一智能存储查询系统，所述系统与客户端、数据管理工具通信连接，所述方法包括：通过所述客户端获得第一待存储数据的基础信息；根据所述基础信息获得所述第一待存储数据的第一预定要求信息和第一时间标签；根据所述第一预定要求信息进行所述第一待存储数据的第一加密处理，获得第一加密处理结果；通过所述数据管理工具根据所述基础信息获得所述第一待存储数据的第一特征信息，根据所述第一加密处理结果获得所述第一待存储数据的第二特征信息；将所述第一特征信息、所述第二特征信息和所述第一时间标签输入映射特征构建模型，获得所述第一待存储数据的第一映射特征；基于所述第一映射特征进行所述第一加密处理结果的分片标识，根据分片标识结果进行分布式存储和查询。

本申请实施例的第二个方面，提供了一种基于线序划分的分布式存储和查询系统，所述系统包括：第一获得单元，所述第一获得单元用于通过客户端获得第一待存储数据的基础信息；第二获得单元，所述第二获得单元用于根据所述基础信息获得所述第一待存储数据的第一预定要求信息和第一时间标签；第一处理单元，所述第一处理单元用于根据所述第一预定要求信息进行所述第一待存储数据的第一加密处理，获得第一加密处理结果；第二处理单元，所述第二处理单元用于通过数据管理工具根据所述基础信息获得所述第一待存储数据的第一特征信息，根据所述第一加密处理结果获得所述第一待存储数据的第二特征信息；第三处理单元，所述第三处理单元用于将所述第一特征信息、所述第二特征信息和所述第一时间标签输入映射特征构建模型，获得所述第一待存储数据的第一映射特征；第四处理单元，所述第四处理单元用于基于所述第一映射特征进行所述第一加密处理结果的分片标识，根据分片标识结果进行分布式存储和查询。

本申请实施例的第三个方面，提供了一种基于线序划分的分布式存储和查询系统，包括：处理器，所述处理器与存储器耦合，所述存储器用于存储程序，当所述程序被所述处理器执行时，使系统以执行如第一方面所述方法的步骤。

本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

本申请实施例提供的技术方案在通过客户端获得待存储数据时，根据该待存储数据的基础信息获得其对应的预定要求信息和时间标签，并根据第一预定要求信息对待存储数据进行加密，然后根据待存储数据的基础信息获得第一特征信息，根据加密结果获得第二特征信息，根据待存储数据的第一特征信息、加密结果的第二特征信息以及时间标签获得存储数据的映射特征，然后根据映射特征对加密结果进行分片标识，根据分片标识结果采用分布式系统进行分布式存储和查询。本申请实施例通过按照存储数据的特征信息、存储数据加密后的特征信息以及存储数据的时间标签对存储数据进行分片，再通过分布式系统内的多个节点对存储数据进行分布式储存以及查询，能够基于存储数据特征信息以及时间标签对存储数据进行线序划分，基于此进行分布式存储和查询，能够提升数据查询准确性，在数据需要进行增删修改时，能够根据线序划分内容以及分片结果进行针对性的增删修改并在分布式系统内进行记录，避免多个节点内数据不一致以及对应时序不一致的问题出现，进而避免影响查询的准确性，达到了提升分布式存储和查询效率的技术效果。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

图1为本申请实施例提供的一种基于线序划分的分布式存储和查询方法流程示意图；

图2为本申请实施例提供的一种基于线序划分的分布式存储和查询方法中进行查询流程示意图；

图3为本申请实施例提供的一种基于线序划分的分布式存储和查询方法中获得第一映射特征的流程示意图；

图4为本申请实施例提供了一种基于线序划分的分布式存储和查询系统结构示意图；

图5为本申请实施例示例性电子设备的结构示意图。

附图标记说明：第一获得单元11，第二获得单元12，第一处理单元13，第二处理单元14，第三处理单元15，第四处理单元16，电子设备300，存储器301，处理器302，通信接口303，总线架构304。

具体实施方式

本申请实施例通过提供了一种基于线序划分的分布式存储和查询方法及系统，用于针对解决现有技术中应用于数据存储和查询的分布式系统应用中，由于分布式系统的并发性，多个节点对于同一数据库内的数据可进行同时操作，可能会导致各节点内数据不一致，以及数据对应时序不一致，存在着无法进行准确有效查询的技术问题。

申请概述

分布式系统是在集中式系统的基础上而产生的一种软件系统，相对于集中式系统，其避免了集中式系统发生单点故障就会导致全面崩溃等问题，得到广泛应用。目前分布式系统常用于业务数据的存储和查询方面，由于分布式系统的并发性，可以支持多个客户端的查询访问以及数据存储，且各节点之间的数据可进行备份，避免由于系统故障导致数据损坏。现有技术中应用于数据存储和查询的分布式系统应用，由于分布式系统的并发性，多个节点对于同一数据库内的数据可进行同时操作，可能会导致各节点内数据不一致，以及数据对应时序不一致，存在着无法进行准确有效查询的技术问题。

针对上述技术问题，本申请提供的技术方案总体思路如下：

通过所述客户端获得第一待存储数据的基础信息；根据所述基础信息获得所述第一待存储数据的第一预定要求信息和第一时间标签；根据所述第一预定要求信息进行所述第一待存储数据的第一加密处理，获得第一加密处理结果；通过所述数据管理工具根据所述基础信息获得所述第一待存储数据的第一特征信息，根据所述第一加密处理结果获得所述第一待存储数据的第二特征信息；将所述第一特征信息、所述第二特征信息和所述第一时间标签输入映射特征构建模型，获得所述第一待存储数据的第一映射特征；基于所述第一映射特征进行所述第一加密处理结果的分片标识，根据分片标识结果进行分布式存储和查询。

在介绍了本申请基本原理后，下面，将参考附图对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。基于本申请的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。另外还需要说明的是，为了便于描述，附图中仅列示出了与本申请相关的部分而非全部。

实施例一

如图1所示，本申请实施例提供了一种基于线序划分的分布式存储和查询方法，所述方法应用于一智能存储查询系统，所述系统与客户端、数据管理工具通信连接，所述方法包括：

S100：通过所述客户端获得第一待存储数据的基础信息；

实际上，上述的客户端包括与本申请实施例中智能存储查询系统连接的多个用户终端，客户端用于用户进行数据的上传存储、增删、修改、以及查询等功能。

第一待存储数据为用户通过客户端向智能存储查询系统提交的，需要进行存储的数据，第一待存储数据的基础信息能够识别第一待存储数据以及其内数据信息，具体而言，第一待存储数据的基础信息与第一待存储数据内的用户ID、时间、内容等信息一一对应。

S200：根据所述基础信息获得所述第一待存储数据的第一预定要求信息和第一时间标签；

具体而言，第一预定要求信息为第一待存储数据存储时用户发起的存储要求信息，其包括第一待存储数据的存储时间、访问权限、存储位置等等，智能存储查询系统根据该第一预定要求信息对第一待存储数据进行存储。

上述的第一时间标签为用户通过客户端提出第一待存储数据的存储请求时的时间，通过获得第一时间标签，可在第一待存储数据进行增删修改内容后，根据第一时间标签追溯获取原始数据。也可根据第一时间标签对多个第一待存储数据进行分类，第一时间标签的功能不限于上述描述，在此不再赘述。

S300：根据所述第一预定要求信息进行所述第一待存储数据的第一加密处理，获得第一加密处理结果；

具体而言，根据第一待存储数据对应的第一预定要求信息对第一待存储数据的数据内容进行加密，第一预定要求信息内可包括第一待存储数据的访问权限、重要程度、机密等级等存储要求信息，根据上述的信息对第一待存储数据进行加密。

第一加密处理可采用现有技术中任意的加密手段，根据具体的业务需求，示意性地，可对第一待存储数据进行对称加密或非对称加密，也可在分布式系统中进行节点加密、链路加密等，以及对多个待存储数据进行分级别加密，以保证第一待存储数据在分布式系统中安全存储，避免被恶意读取、篡改、删除等。

S400：通过所述数据管理工具根据所述基础信息获得所述第一待存储数据的第一特征信息，根据所述第一加密处理结果获得所述第一待存储数据的第二特征信息；

具体而言，数据管理工具为设置于智能存储查询系统内的一个模块，第一待存储数据经客户端上传至该智能存储查询系统后以及加密后，均在数据管理工具进行备份，本申请实施例中，数据管理工具是绝对可信的。

通过数据管理工具根据基础信息对第一待存储数据进行特征识别，获得第一待存储数据的第一特征信息，第一特征信息包括第一待存储数据的数据大小、数据报文格式、数据对应ID等信息，通过第一特征信息可用于识别第一待存储数据。

通过数据管理工具根据第一加密处理结果进行特征识别，获得第一加密结果对应的第一待存储数据的第二特征信息，第二特征信息包含第一加密结果的加密方式、加密密钥类型、加密等级等特征信息，根据第二特征信息可识别获得第一加密结果。

S500：将所述第一特征信息、所述第二特征信息和所述第一时间标签输入映射特征构建模型，获得所述第一待存储数据的第一映射特征；

映射特征构建模型为现有技术中神经网络模型的一种，其包括输入层、隐含的处理层和输出层，通过输入层输入第一待存储数据的第一特征信息、第二特征信息和第一时间标签后，经处理层处理，即可输出对应的第一映射特征。第一映射特征为每个第一待存储数据对应的，可对第一待存储数据进行标识分类的特征数据，根据第一映射特征可获知第一待存储数据对应的用户ID、数据类型、存储或修改时间、加密方式、加密密钥类型等信息，根据上述信息可获知第一待存储数据的类型以及其内各部分的重要级程度等信息，进而可根据其对第一待存储数据进行分片分布式存储。

示例性地，映射特征构建模型映射特征构建模型为多层前馈神经网络（backpropagation，BP）。具体地，映射特征构建模型的构建包括，首先通过第一特征信息、第二特征信息和第一时间标签作为输入训练样本，相关技术人员根据业务需求设置多个第一映射特征，将多个第一映射特征作为预测训练样本，并将训练样本数据和预测训练样本进行归一化，然后构建BP神经网络，设置训练次数、学习速率以及训练目标最小误差等，进行模型训练，最后对BP神经网络的预测结果反归一化并进行误差计算，当误差小于一预设值时，则映射特征构建模型构建完成。通过训练构建映射特征构建模型，能够根据第一待存储数据的信息获得准确的对应的第一映射特征，进而识别分类第一待存储数据，达到准确计算输出数据的技术效果。

S600：基于所述第一映射特征进行所述第一加密处理结果的分片标识，根据分片标识结果进行分布式存储和查询。

具体而言，分片是指将大表数据切分为多个更小的数据块的过程，然后基于本申请实施例中的分布式系统进行存储，能够节省系统存储资源，降低节点负载，提升系统无延迟的性能。现有技术中数据分片的方式一般为根据客户端相关关键字进行哈希值分片等，其无法根据待存储数据的多个特征以及时间进行分片。

本申请实施例中，通过第一映射特征进行第一加密处理结果的分片标识，具体为通过第一待存储数据的第一特征信息、第一加密结果的第二特征信息以及第一时间标签进行分片。如此，能够通过上述的第一待存储数据对应的用户ID、数据类型、各部分数据重要级程度、存储或修改时间、加密方式、加密密钥类型等形成线序进行分片，分片后的各较小数据块均携带上述信息并进行分布式存储，提升后续数据查询的准确性，在对数据进行增删、修改时，能够根据分片线序对各节点内数据进行同步处理，避免多节点内数据不一致，达到提升分布式存储和查询效率的技术效果。

如图2所示，本申请实施例提供的方法还包括步骤S700，步骤S700包括：

S710：获得用户的第一查询信息；

S720：对所述第一查询信息进行解析，获得第一时间查询标签和第一查询特征集合；

S730：根据所述第一时间查询标签进行查询结果初步筛选，获得第一查询集合；

S740：根据所述第一查询特征集合进行所述第一查询集合进行匹配度查询匹配评估，获得第一匹配度顺序排序结果；

S750：根据所述第一匹配度顺序排序结果获得所述第一查询信息对应的第一查询结果。

具体而言，第一查询信息为用户在通过客户端存储第一待存储数据后，需要进行对第一待存储数据进行查询时发起的查询请求。第一查询信息包括用户发起查询请求的查询目标信息，查询目标信息包括目标时间以及目标特征，目标时间对应一时间段内的数据。目标特征对应一具体要求对应的数据，示例性地，一特定ID对应的数据，一特定类型的数据等等。

对第一查询信息进行解析，获得第一时间查询标签和第一查询特征集合，基于第一时间查询标签进行查询结果初步筛选，获得第一查询集合，第一查询集合即为第一时间查询标签对应时间段内的数据集合。基于第一查询集合，根据第一查询特征集合进行匹配度评估，获取第一查询集合内所有存储数据与第一查询特征集合的相关程度排名，获得第一匹配度顺序排序结果。示例性地，第一匹配度顺序排序结果中，若某一存储数据与第一查询特征集合内的特征相关度越大，例如对应用户ID相同，类型越相近、重要等级程度越相近等，则该存储数据在第一匹配度顺序排序结果内的顺序越靠前。

如此，基于上述的第一时间查询标签和第一查询特征集合获得第一查询结果，用户可根据业务需求获取第一查询结果内较为靠前的数据，得到该次查询所需要的数据。本申请实施例通过分析查询信息的时间线序和查询特征进行查询，基于前述基于线序分片的分布式储存，能够准确查询获得指定时间段内最为相关的数据，并在数据发生修改时，获得修改时间内的数据，达到提升查询效率和准确性的技术效果。

本申请实施例提供的方法中的步骤S740包括：

S741：根据所述第一匹配度顺序排序结果获得第一匹配结果；

S742：根据所述第一查询信息获得第一反解密钥，根据所述第一反解密钥进行所述第一匹配结果的第一解密处理，获得第一解密处理结果；

S743：根据所述第一解密处理结果和所述第一匹配结果获得所述第一查询结果。

具体而言，根据上述的第一匹配度顺序排序结果获得其内所有进行排序的数据内容，即为第一匹配结果，第一匹配结果为进行排序的在第一时间查询标签对应时间段内的所有数据。根据第一查询信息获得第一反解密钥，第一反解密钥为用户输入第一查询信息时对应查询期望的反解密钥，其对应用户所期望查询获得的数据的加密密钥。若第一匹配结果内的全部数据均能够通过第一反解密钥进行解密，则用户则可根据其他特征需求进行数据的进一步筛选，若第一匹配结果内的部分数据不能够通过第一反解密钥进行解密，则该部分数据并非为用户期望查询获得的数据，舍弃该部分数据。

通过根据第一反解密钥进行第一匹配结果的第一解密处理，获得第一解密处理结果，即可获得第一匹配结果内能够通过第一反解密钥进行解密的数据，舍弃无法解密的数据，然后重新进行排序，即可获得上述的第一查询结果。

本申请实施例通过获得查询信息的反解密钥，对第一匹配度顺序排序结果内的数据进行解密，能够进一步筛选校验查询数据，提升数据查询的准确性，滤去无法解密的数据，省去人工筛选识别数据的工作量，达到提升数据查询效率和准确性的技术效果。

本申请实施例提供的方法S700还包括步骤S770，步骤S770包括：

S771：对所述第一时间查询标签进行时间查询模糊度评估，获得第一模糊度评估结果；

S772：获得所述智能存储查询系统当前性能状态信息；

S773：根据所述当前性能状态信息和所述第一模糊度评估结果进行影响参数评估，获得第一影响参数评估结果；

S774：判断所述第一影响参数评估结果是否满足第一预设阈值；

S775：当所述第一影响参数评估结果不满足所述第一预设阈值时，获得第一调整查询方案，基于所述第一调整查询方案进行调整查询。

在分布式系统中，由于其所具有的节点较多，运行维护较为困难，部分节点内可能出现部分故障，导致其内存储的数据对应的时间线序出现故障错误，进而影响数据查询的准确性，导致无法准确查询获得查询期望对应时间段的数据，因此，需要进行查询时间段的准确性评估。

对第一时间查询标签进行时间查询模糊度评估，获得第一模糊度评估结果，其中，若用户输入的查询时间越为精准，则第一模糊度评估结果则越小，以及，若用户输入的查询时间跨度越大，则第一模糊度评估结果越大。

进一步地，获取智能存储查询系统当前性能状态信息。首先，查询智能存储查询系统对应分布式系统内当前是否有节点处于故障状态以及故障节点状态数量，然后，查询该分布式系统内节点历史故障数据，包括历史节点故障数量、时间以及维护状态等，最后，获得当前性能状态信息。根据该当前性能状态信息，可获得智能存储查询系统存储数据的可靠性，并根据历史存储记录，获得存储数据可能损坏的概率。

根据上述获得的第一模糊度评估结果和当前性能状态信息进行影响参数评估，获取查询时间模糊程度以及分布式系统性能对于查询数据准确程度的影响，即为第一影响参数评估结果。根据第一影响参数评估结果，即可获知当前查询信息内时间段的模糊程度以及分布式系统的性能状态对于数据查询准确性的影响率。

技术人员可根据查询数据准确性业务要求设置第一预设阈值，判断第一影响参数评估结果是否满足第一预设阈值，若第一影响参数评估结果满足第一预设阈值，则当前查询时间段和数据准确程度满足查询业务要求，进行查询获得上述的第一查询结果。以及，若第一影响参数评估结果不满足第一预设阈值，则当前查询的时间段和数据的准确程度无法满足数据查询的业务要求，获得第一调整查询方案，基于第一调整查询方案进行调整查询。第一调整查询方案对上述的第一时间查询标签以及智能存储查询系统的当前性能状态信息进行调整，包括但不限于：基于第一时间查询标签对应时间段获得多个更为精准的查询时间段进行查询，以及，发出节点维护指令提醒维护节点然后进行查询，以提升查询时间段和数据查询的准确性。

本申请实施例通过对时间查询标签进行模糊度评估，以及根据智能存储查询系统的性能状态信息对数据查询的准确性进行影响参数评估，并进行查询方案的调整，可有效提升根据时间线序查询数据的准确性，达到提升数据查询准确性的技术效果。

如图3所示，本申请实施例提供的方法还包括步骤S800，步骤S800包括：

S810：获得第一特征分析指令，根据所述第一特征分析指令进行所述第一特征信息、所述第二特征信息的特征标识度分析，获得第一标识度分析结果；

S820：判断所述第一标识度分析结果是否满足第一标识度预设阈值；

S830：当所述第一标识度分析结果满足所述第一标识度预设阈值时，通过所述第一特征信息、所述第二特征信息和所述第一时间标签获得所述第一映射特征。

具体而言，在基于上述的映射特征构建模型获得第一映射特征之前，需要判定第一特征信息、第二特征信息能否分别对第一待存储数据和第一加密结果进行有效标识。若无法根据第一特征信息、第二特征信息直接获知其对应的第一待存储数据和第一加密结果，则根据第一特征信息、第二特征信息和第一时间标签获得的第一映射特征也无法有效表征第一待存储数据和第一加密结果，在进行数据查询的过程中有可能查询获得第一时间标签对应时间段存储的其他数据，降低了数据查询的准确性。

因此，需要根据第一特征分析指令第一特征信息、第二特征信息的特征标识度进行分析，获得第一标识度分析结果，并对其进行判断，判断其是否满足预先设置的第一标识度预设阈值。示例性地，标识度分析结果可根据第一特征信息和第二特征信息在预先设置数据库进行搜索实验进行获得，进行有限次的实验，根据能够有效搜索到第一待存储数据和第一加密结果的次数获得第一标识度分析结果。并还可根据实验数据设置第一标识度预设阈值，其对应上述的实验内搜索获得的次数。

若第一标识度分析结果满足第一标识度预设阈值，则第一特征信息、第二特征信息能够有效表征第一存储数据和第一加密结果，可根据第一特征信息、第二特征信息和第一时间标签获得所述第一映射特征。

本申请实施例提供的方法中的步骤S820还包括：

S821：当所述第一标识度分析结果不满足所述第一标识度预设阈值，根据所述第一待存储数据获得第三特征信息；

S822：基于所述第一特征信息、所述第二特征信息、所述第三特征信息和所述第一时间标签获得所述第一映射特征。

具体而言，当上述的第一标识度分析结果不满足第一标识度预设阈值，则代表根据第一特征信息、第二特征信息的标识无法准确对应获得第一待存储数据和第一加密结果，如此，若根据第一特征信息、第二特征信息生成第一映射特征进行数据分片，会导致分片结果不准确，降低数据查询的准确率。

因此，根据第一待存储数据重新获得第三特征信息，第三特征信息为经过上述的标识度分析后满足第一标识度预设阈值的特征信息，即根据第三特征信息能够准确无误的表征第一待存储数据。如此，根据第一特征信息、第二特征信息、第三特征信息和第一时间标签获得第一映射特征，并进行数据分片，能够达到理想的数据分片效果，进而提升后续数据查询的准确性，避免查询获得不符合查询期望的数据，达到提升数据查询准确性的技术效果。

本申请实施例提供的方法中的步骤S810包括：

S811：根据所述第一特征分析指令对所述第一特征信息进行特征分析，获得第一特征分析结果；

S812：根据所述第一特征分析指令对所述第二特征信息进行特征分析，获得第二特征分析结果；

S813：根据所述第一特征分析结果和所述第二特征分析结果获得第一组合特征分析结果；

S814：基于所述第一组合特征分析结果获得所述第一标识度分析结果。

具体而言，在对第一特征信息和第二特征信息进行特征标识度分析的过程中，分别对第一特征信息和第二特征信息进行特征分析。根据第一特征分析指令对第一特征信息进行特征分析，获得第一特征分析结果；根据第一特征分析指令对第二特征信息进行特征分析，获得第二特征分析结果。如此，将第一特征分析结果和第二特征分析结果进行合成，则获得第一组合特征分析结果，进而获得上述的第一标识度分析结果。

其中，分别对第一特征信息和第二特征信息进行特征分析，若第一标识度分析结果不符合第一标识度预设阈值，还可进一步分析第一特征分析结果和第二特征分析结果中的一者不符合要求或者两者均不符合要求，在第二特征分析结果不满足标识度要求时，可根据第一加密结果重新获得第四特征信息，根据第一特征信息、第二特征信息、第三特征信息、第四特征信息和第一时间标签获得第一映射特征，提升后续数据查询的准确性。

本申请实施例通过分别对第一特征信息和第二特征信息进行特征标识度分析，能够提升获得的第一标识度分析结果的准确度，在第一标识度分析结果不满足第一标识度预设阈值时，能够进行溯源分析，达到提升数据处理准确性的技术效果。

综上所述，本申请实施例提供的技术方案在通过客户端获得待存储数据时，根据该待存储数据的基础信息获得其对应的预定要求信息和时间标签，并根据第一预定要求信息对待存储数据进行加密，然后根据待存储数据的基础信息获得第一特征信息，根据加密结果获得第二特征信息，根据待存储数据的第一特征信息、加密结果的第二特征信息以及时间标签获得存储数据的映射特征，然后根据映射特征对加密结果进行分片标识，根据分片标识结果采用分布式系统进行分布式存储和查询。本申请实施例通过按照存储数据的特征信息、存储数据加密后的特征信息以及存储数据的时间标签对存储数据进行分片，再通过分布式系统内的多个节点对存储数据进行分布式储存以及查询，能够基于存储数据特征信息以及时间标签对存储数据进行线序划分，基于此进行分布式存储和查询，能够提升数据查询准确性，在数据需要进行增删修改时，能够根据线序划分内容以及分片结果进行针对性的增删修改并在分布式系统内进行记录，避免多个节点内数据不一致以及对应时序不一致的问题出现，进而提升数据查询的准确性，达到了提升分布式存储和查询效率的技术效果。

实施例二

基于与前述实施例中一种基于线序划分的分布式存储和查询方法相同的发明构思，如图4所示，本申请实施例提供了一种基于线序划分的分布式存储和查询系统，其中，所述系统包括：

第一获得单元11，所述第一获得单元11用于通过客户端获得第一待存储数据的基础信息；

第二获得单元12，所述第二获得单元12用于根据所述基础信息获得所述第一待存储数据的第一预定要求信息和第一时间标签；

第一处理单元13，所述第一处理单元13用于根据所述第一预定要求信息进行所述第一待存储数据的第一加密处理，获得第一加密处理结果；

第二处理单元14，所述第二处理单元14用于通过数据管理工具根据所述基础信息获得所述第一待存储数据的第一特征信息，根据所述第一加密处理结果获得所述第一待存储数据的第二特征信息；

第三处理单元15，所述第三处理单元15用于将所述第一特征信息、所述第二特征信息和所述第一时间标签输入映射特征构建模型，获得所述第一待存储数据的第一映射特征；

第四处理单元16，所述第四处理单元16用于基于所述第一映射特征进行所述第一加密处理结果的分片标识，根据分片标识结果进行分布式存储和查询。

进一步的，所述系统还包括：

第三获得单元，所述第三获得单元用于获得用户的第一查询信息；

第五处理单元，所述第五处理单元用于对所述第一查询信息进行解析，获得第一时间查询标签和第一查询特征集合；

第六处理单元，所述第六处理单元用于根据所述第一时间查询标签进行查询结果初步筛选，获得第一查询集合；

第七处理单元，所述第七处理单元用于根据所述第一查询特征集合进行所述第一查询集合进行匹配度查询匹配评估，获得第一匹配度顺序排序结果；

第四获得单元，所述第四获得单元用于根据所述第一匹配度顺序排序结果获得所述第一查询信息对应的第一查询结果。

进一步的，所述系统还包括：

第五获得单元，所述第五获得单元用于根据所述第一匹配度顺序排序结果获得第一匹配结果；

第八处理单元，所述第八处理单元用于根据所述第一查询信息获得第一反解密钥，根据所述第一反解密钥进行所述第一匹配结果的第一解密处理，获得第一解密处理结果；

第六获得单元，所述第六获得单元用于根据所述第一解密处理结果和所述第一匹配结果获得所述第一查询结果。

进一步的，所述系统还包括：

第九处理单元，所述第九处理单元用于对所述第一时间查询标签进行时间查询模糊度评估，获得第一模糊度评估结果；

第七获得单元，所述第七获得单元用于获得所述智能存储查询系统当前性能状态信息；

第十处理单元，所述第十处理单元用于根据所述当前性能状态信息和所述第一模糊度评估结果进行影响参数评估，获得第一影响参数评估结果；

第一判断单元，所述第一判断单元用于判断所述第一影响参数评估结果是否满足第一预设阈值；

第十一处理单元，所述第十一处理单元用于当所述第一影响参数评估结果不满足所述第一预设阈值时，获得第一调整查询方案，基于所述第一调整查询方案进行调整查询。

进一步的，所述系统还包括：

第十二处理单元，所述第十二处理单元用于获得第一特征分析指令，根据所述第一特征分析指令进行所述第一特征信息、所述第二特征信息的特征标识度分析，获得第一标识度分析结果；

第二判断单元，所述第二判断单元用于判断所述第一标识度分析结果是否满足第一标识度预设阈值；

第十三处理单元，所述第十三处理单元用于当所述第一标识度分析结果满足所述第一标识度预设阈值时，通过所述第一特征信息、所述第二特征信息和所述第一时间标签获得所述第一映射特征。

进一步的，所述系统还包括：

第八获得单元，所述第八获得单元用于当所述第一标识度分析结果不满足所述第一标识度预设阈值，根据所述第一待存储数据获得第三特征信息；

第九获得单元，所述第九获得单元用于基于所述第一特征信息、所述第二特征信息、所述第三特征信息和所述第一时间标签获得所述第一映射特征。

进一步的，所述系统还包括：

第十四处理单元，所述第十四处理单元用于根据所述第一特征分析指令对所述第一特征信息进行特征分析，获得第一特征分析结果；

第十五处理单元，所述第十五处理单元用于根据所述第一特征分析指令对所述第二特征信息进行特征分析，获得第二特征分析结果；

第十获得单元，所述第十获得单元用于根据所述第一特征分析结果和所述第二特征分析结果获得第一组合特征分析结果；

第十一获得单元，所述第十一获得单元用于基于所述第一组合特征分析结果获得所述第一标识度分析结果。

示例性电子设备

下面参考图5来描述本申请实施例的电子设备，

基于与前述实施例中一种基于线序划分的分布式存储和查询方法相同的发明构思，本申请实施例还提供了一种基于线序划分的分布式存储和查询系统，包括：处理器，所述处理器与存储器耦合，所述存储器用于存储程序，当所述程序被所述处理器执行时，使得系统以执行实施例一所述方法的步骤。

该电子设备300包括：处理器302、通信接口303、存储器301。可选的，电子设备300还可以包括总线架构304。其中，通信接口303、处理器302以及存储器301可以通过总线架构304相互连接；总线架构304可以是外设部件互连标(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry Standardarchitecture，简称EISA)总线等。所述总线架构304可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

处理器302可以是一个CPU，微处理器，ASIC，或一个或多个用于控制本申请方案程序执行的集成电路。

通信接口303，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如以太网，无线接入网(radio access network，RAN),无线局域网(wireless local areanetworks，WLAN)，有线接入网等。

存储器301可以是ROM或可存储静态信息和指令的其他类型的静态存储设备，RAM或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable Programmable read-only memory，EEPROM)、只读光盘(compactdisc

read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线架构304与处理器相连接。存储器也可以和处理器集成在一起。

其中，存储器301用于存储执行本申请方案的计算机执行指令，并由处理器302来控制执行。处理器302用于执行存储器301中存储的计算机执行指令，从而实现本申请上述实施例提供的一种基于线序划分的分布式存储和查询方法。

可选的，本申请实施例中的计算机执行指令也可以称之为应用程序代码，本申请实施例对此不作具体限定。

本申请实施例通过按照存储数据的特征信息、存储数据加密后的特征信息以及存储数据的时间标签对存储数据进行分片，再通过分布式系统内的多个节点对存储数据进行分布式储存以及查询，能够基于存储数据特征信息以及时间标签对存储数据进行线序划分，基于此进行分布式存储和查询，能够提升数据查询准确性，在数据需要进行增删修改时，能够根据线序划分内容以及分片结果进行针对性的增删修改并在分布式系统内进行记录，避免多个节点内数据不一致以及对应时序不一致的问题出现，进而提升数据查询的准确性，达到了提升分布式存储和查询效率的技术效果。

本领域普通技术人员可以理解：本申请中涉及的第一、第二等各种数字编号仅为描述方便进行的区分，并不用来限制本申请实施例的范围，也不表示先后顺序。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“至少一个”是指一个或者多个。至少两个是指两个或者多个。“至少一个”、“任意一个”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a ,b,或c中的至少一项(个、种)，可以表示：a ,b,c,a -b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指

令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包括一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(Solid State Disk，SSD))等。

本申请实施例中所描述的各种说明性的逻辑单元和电路可以通过通用处理器，数字信号处理器，专用集成电路(ASIC)，现场可编程门阵列(FPGA)或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。

本申请实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件单元、或者这两者的结合。软件单元可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于终端中。可选地，处理器和存储媒介也可以设置于终端中的不同的部件中。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管结合具体特征及其实施例对本申请进行了描述，显而易见的，在不脱离本申请的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本申请的示例性说明，且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请意图包括这些改动和变型在内。

Claims (9)

1.一种基于线序划分的分布式存储和查询方法，其特征在于，所述方法应用于一智能存储查询系统，所述系统与客户端、数据管理工具通信连接，所述方法包括：

通过所述客户端获得第一待存储数据的基础信息；

根据所述基础信息获得所述第一待存储数据的第一预定要求信息和第一时间标签；

根据所述第一预定要求信息进行所述第一待存储数据的第一加密处理，获得第一加密处理结果；

通过所述数据管理工具根据所述基础信息获得所述第一待存储数据的第一特征信息，根据所述第一加密处理结果获得所述第一待存储数据的第二特征信息；

将所述第一特征信息、所述第二特征信息和所述第一时间标签输入映射特征构建模型，获得所述第一待存储数据的第一映射特征；

基于所述第一映射特征进行所述第一加密处理结果的分片标识，根据分片标识结果进行分布式存储和查询，其中，所述基于所述第一映射特征进行所述第一加密处理结果的分片标识包括：通过所述第一特征信息、所述第二特征信息以及所述第一时间标签进行分片。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

获得用户的第一查询信息；

对所述第一查询信息进行解析，获得第一时间查询标签和第一查询特征集合；

根据所述第一时间查询标签进行查询结果初步筛选，获得第一查询集合；

根据所述第一查询特征集合进行所述第一查询集合进行匹配度查询匹配评估，获得第一匹配度顺序排序结果；

根据所述第一匹配度顺序排序结果获得所述第一查询信息对应的第一查询结果。

3.如权利要求2所述的方法，其特征在于，所述方法还包括：

根据所述第一匹配度顺序排序结果获得第一匹配结果；

根据所述第一查询信息获得第一反解密钥，根据所述第一反解密钥进行所述第一匹配结果的第一解密处理，获得第一解密处理结果；

根据所述第一解密处理结果和所述第一匹配结果获得所述第一查询结果。

4.如权利要求2所述的方法，其特征在于，所述方法还包括：

对所述第一时间查询标签进行时间查询模糊度评估，获得第一模糊度评估结果；

获得所述智能存储查询系统当前性能状态信息；

根据所述当前性能状态信息和所述第一模糊度评估结果进行影响参数评估，获得第一影响参数评估结果；

判断所述第一影响参数评估结果是否满足第一预设阈值；

当所述第一影响参数评估结果不满足所述第一预设阈值时，获得第一调整查询方案，基于所述第一调整查询方案进行调整查询。

5.如权利要求1所述的方法，其特征在于，所述方法还包括：

获得第一特征分析指令，根据所述第一特征分析指令进行所述第一特征信息、所述第二特征信息的特征标识度分析，获得第一标识度分析结果；

判断所述第一标识度分析结果是否满足第一标识度预设阈值；

当所述第一标识度分析结果满足所述第一标识度预设阈值时，通过所述第一特征信息、所述第二特征信息和所述第一时间标签获得所述第一映射特征。

6.如权利要求5所述的方法，其特征在于，所述判断所述第一标识度分析结果是否满足第一标识度预设阈值，还包括：

当所述第一标识度分析结果不满足所述第一标识度预设阈值，根据所述第一待存储数据获得第三特征信息；

基于所述第一特征信息、所述第二特征信息、所述第三特征信息和所述第一时间标签获得所述第一映射特征。

7.如权利要求5所述的方法，其特征在于，所述方法还包括：

根据所述第一特征分析指令对所述第一特征信息进行特征分析，获得第一特征分析结果；

根据所述第一特征分析指令对所述第二特征信息进行特征分析，获得第二特征分析结果；

根据所述第一特征分析结果和所述第二特征分析结果获得第一组合特征分析结果；

基于所述第一组合特征分析结果获得所述第一标识度分析结果。

8.一种基于线序划分的分布式存储和查询系统，其中，所述系统包括：

第一获得单元，所述第一获得单元用于通过客户端获得第一待存储数据的基础信息；

第二获得单元，所述第二获得单元用于根据所述基础信息获得所述第一待存储数据的第一预定要求信息和第一时间标签；

第一处理单元，所述第一处理单元用于根据所述第一预定要求信息进行所述第一待存储数据的第一加密处理，获得第一加密处理结果；

第二处理单元，所述第二处理单元用于通过数据管理工具根据所述基础信息获得所述第一待存储数据的第一特征信息，根据所述第一加密处理结果获得所述第一待存储数据的第二特征信息；

第三处理单元，所述第三处理单元用于将所述第一特征信息、所述第二特征信息和所述第一时间标签输入映射特征构建模型，获得所述第一待存储数据的第一映射特征；

第四处理单元，所述第四处理单元用于基于所述第一映射特征进行所述第一加密处理结果的分片标识，根据分片标识结果进行分布式存储和查询，其中，所述基于所述第一映射特征进行所述第一加密处理结果的分片标识包括：通过所述第一特征信息、所述第二特征信息以及所述第一时间标签进行分片。

9.一种基于线序划分的分布式存储和查询系统，包括：处理器，所述处理器与存储器耦合，所述存储器用于存储程序，当所述程序被所述处理器执行时，使系统以执行如权利要求1至7任一项所述方法的步骤。

Images