CN109885536A - 一种基于分布式数据分片存储和模糊查找方法 - Google Patents

Abstract

本发明的主要目的是基于分布式存储技术设计一套基于模糊匹配方法的数据存储和查找方案，提供一种能够脱离HASH查找数据的手段。本发明公开一种基于分布式数据分片存储和模糊查找方法及系统，该系统包括数据采集模块、打散存储模块、数据获取模块、数据合并模块、数据匹配模块。相比现有技术，本发明可以利用分布式存储技术保存分片数据；可以直接通过模糊识别方法匹配和获取数据；该系统可以应用于指纹识别，脸部识别等与生物技术相结合的领域；数据分片保存在不同的分布式节点中，系统安全系数更高。

Description

一种基于分布式数据分片存储和模糊查找方法

技术领域

本发明涉及信息存储技术领域，特别涉及一种基于分布式数据分片存储和模糊查找方法。

背景技术

随着分布式技术不断成熟与分布式应用的推广，其应用范围变得越来越广，特别在一些安全领域，分布式存储显得尤为重要。但是，目前的分布式存储都是基于HASH或者是类似HASH的方式对文件进行索引和定位，即每个数据包或者一个文件对应一个唯一的HASH。

目前分布式存储方案实现数据存储主要是通过把完整数据存储到不同节点上实现分布式存储。然后数据获取时通过保存时生成的HASH进行索引数据，并最终下载数据。

现有技术最大的缺点是只能保存具有唯一性的数据，也就只能通道数据的HASH定位和获取数据。无法对不具备唯一性的数据进行定位和模糊匹配，导致其无法应用于模糊控制和生物识别领域。

发明内容

针对现有技术存在的问题，本发明提供一种基于分布式数据分片存储和模糊查找方法。本发明的主要目的是基于分布式存储技术设计一套基于模糊匹配方法的数据存储和查找方案，提供一种能够脱离HASH查找数据的手段。

为实现上述目的，本发明的具体技术方案如下：

一种基于分布式数据分片存储和模糊查找方法，其包括数据注册步骤与数据获取步骤；

所述数据注册步骤为将从外部输入的注册数据通过数据分片技术把数据分割成多个数据片保存到不同的分布式网络节点上；

所述数据获取步骤为当某个分布式网络节点接收到数据匹配请求时，此时，该节点进行节点查找、数据模糊匹配至分布式网络节点的请求数据。

作为本发明一优选技术方案，所述数据注册步骤的实现方法如下：

数据按照平均分片方法把数据分成N片，然后在DHT实现的K桶中获取最接近本节点的N个节点地址信息，把数据发送的这些节点上保存，其中N为大于1的正整数。

作为本发明一优选技术方案，所述数据获取步骤包括节点查找步骤、数据匹配步骤；所述节点查找步骤的实现方法如下：

设置查找深度为N，即每次从K桶中获取最接近的N个节点进行查找；当某个节点需要从分布式网络节点中请求数据时，首先在该节点的K桶中获取N个最接近的节点地址信息，并向这N个节点发送请求，节点收到请求发现有与要求匹配的数据则返回匹配数据给请求者，当节点没有匹配数据时，则通过返回其K桶中最接近的N个节点地址信息给请求者，请求者再重复同样的请求过程，直到找到数据或者超时；其中，N为大于等于1的整数；

所述数据匹配步骤的实现方法如下：

在分布式存储系统的节点中加入现有的生物识别技术，并利用这些技术实现数据的查找与匹配。

作为本发明一优选技术方案，在所述数据匹配步骤中：现有的生物识别技术为指纹识别，采用特征点匹配算法，匹配的特征点个数在两个点集中所占比例的大小代表匹配结果是否成功。

本发明还提供一种基于分布式数据分片存储和模糊查找系统，包括数据采集模块、打散存储模块、数据获取模块、数据合并模块、数据匹配模块，其中：

所述数据采样模块用于采样外部输入的模糊数据，在本地进行临时保存；

所述打散存储模块用于从数据采样模块中获取数据源，按照设计的规则对数据源进行分割成指定的数据片并分发到分布式网络节点上进行存储；

所述数据获取模块用于向分布式网络节点请求数据，从不同节点返回数据的不同分片到该请求节点上；

所述数据合并模块用于把数据获取模块返回的分片数据进行合并；该模块根据数据打散的反向方法对数据行合并；

所述数据匹配模块依据模糊匹配规则匹配数据，在数据获取模块中用于与请求数据相匹配的数据反馈，在模糊查找时将输入数据与合并后的数据进行模糊匹配并反馈结果。

采用本发明的技术方案，具有以下有益效果：

(1)、可以利用分布式存储技术保存分片数据；

(2)、可以直接通过模糊识别方法匹配和获取数据；

(3)、该系统可以应用于指纹识别，脸部识别等与生物技术相结合的领域；

(4)、数据分片保存在不同的分布式节点中，系统安全系数更高。

附图说明

图1为本发明系统实施例的组成框图；

图2为本发明方法实施例中数据注册原理图；

图3为本发明方法实施例中数据获取原理图；

图4为本发明方法实施例中数据匹配原理图；

图5为本发明方法实施例中数据分析原理图。

具体实施方式

以下结合附图和具体实施例，对本发明进一步说明。

参照图1，本发明提供一种基于分布式数据分片存储和模糊查找系统，包括数据采集模块10、打散存储模块20、数据获取模块30、数据合并模块40、数据匹配模块50，其中：

所述数据采样10模块用于采样外部输入的模糊数据，在本地进行临时保存；

所述打散存储模块20用于从数据采样模块10中获取数据源，按照设计的规则对数据源进行分割成指定的数据片并分发到分布式网络节点上进行存储；

所述数据获取模块30用于向分布式网络节点请求数据，从不同节点返回数据的不同分片到该请求节点上；

所述数据合并模块40用于把数据获取模块30返回的分片数据进行合并；该模块根据数据打散的反向方法对数据行合并；

所述数据匹配模块50依据模糊匹配规则匹配数据，在数据获取模块30中用于与请求数据相匹配的数据反馈，在模糊查找时将输入数据与合并后的数据进行模糊匹配并反馈结果。

本发明技术方案是基于现有分布式存储的基础上进行改造而成，基于以上的系统构成，使其能够对数据进行分片存储，以及可以通过数据模糊匹配的方法来查找对应的数据。

参考图2至图5，本发明还提供一种基于分布式数据分片存储和模糊查找方法，其包括数据注册步骤与数据获取步骤；

所述数据注册步骤为将从外部输入的注册数据通过数据分片技术把数据分割成多个数据片保存到不同的分布式网络节点上；

所述数据获取步骤为当某个分布式网络节点接收到数据匹配请求时，此时，该节点进行节点查找、数据模糊匹配至分布式网络节点的请求数据。

其中，数据注册步骤的实现方法如下：

数据按照平均分片方法把数据分成N片，然后在DHT实现的K桶中获取最接近本节点的N个节点地址信息，把数据发送的这些节点上保存，其中N为大于1的正整数。

更具体地，此步骤涉及数据的注册，数据注册是指把从外输入的注册数据通过数据分片技术把数据分割成多个数据片保存到不同的分布式节点上。即数据按照指定的方法，如平均分片方法把数据分成三片，然后在DHT实现的K桶中获取最“接近”本节点的三个节点地址信息，把数据发送的这些节点上保存。如图2所示：

a1、节点A接收到应用请求注册数据的请求和传输过来的数据；

a2、节点A对把请求注册的数据分割成三分；

a3、节点A从K通中获取与其最“接近”的三个节点(如节点B、C、D)地址信息，并把数据分别发送到这些节点；

a4、节点B、C、D分别收到节点A请求注册数据的请求，然后把数据保存到自己的节点中；

a5、返回请求结果。

具体地，上述数据获取步骤包括节点查找步骤、数据匹配步骤。所述节点查找步骤的实现方法如下：

设置查找深度为N，即每次从K桶中获取最接近的N个节点进行查找；当某个节点需要从分布式网络节点中请求数据时，首先在该节点的K桶中获取N个最接近的节点地址信息，并向这N个节点发送请求，节点收到请求发现有与要求匹配的数据则返回匹配数据给请求者，当节点没有匹配数据时，则通过返回其K桶中最接近的N个节点地址信息给请求者，请求者再重复同样的请求过程，直到找到数据或者超时，其中，N为大于等于1的整数。

更具体地，节点查找是基于分布式网络DHT算法。依据前述数据分片方法，设置查找深度N＝3，即每次从K桶中获取最“接近”的3个节点进行查找。当某个节点需要从分布式网络节点中请求数据时，首先在该节点的K桶中获取3个最“接近”的节点地址信息，并向这三个节点发送请求，节点收到请求发现有与要求匹配的数据则返回匹配数据给请求者，当节点没有匹配数据时，则通过返回其K桶中最“接近”的三个节点地址信息给请求者，请求者再重复同样的请求过程，直到找到数据或者超时。

所述数据匹配步骤的实现方法如下：

在分布式存储系统的节点中加入现有的生物识别技术，并利用这些技术实现数据的查找与匹配。以指纹识别为例，采用特征点匹配算法，匹配的特征点个数在两个点集中所占比例的大小代表匹配结果是否成功。

上述整个数据获取的流程以单个节点获取流程进行说明，如图3所示：

b1、节点A接收到数据，对数据进行分片，把其中一个数据片发给节点B(请求其他节点流程相同)；

b2、节点B收到请求后根据数据匹配算法对数据进行匹配；

b21、匹配成功，返回与请求数据匹配成功的本地数据；

b22、匹配不成功，返回本地K通中三个最“接近”的节点地址信息；

b3、节点A接收到节点B的返回数据；

b31、返回匹配数据，暂存在本地，等待与其他节点返回的数据进行合并；

b32、返回节点地址信息，请求重复数据请求过程；

b4、数据分析，此过程跳转至数据分析步骤。

数据匹配是数据获取过程中的一个重要环节，同时也是输入数据和分片合成的数据进行匹配的重要环节；此处以数据获取过程中的数据匹配过程进行说明。节点收到数据获取请求后，把请求的数据与本地所保存的数据进行匹配的过程。该环节使用到生物识别中的一些匹配算法来匹配数据，其流程如图4所示：

c1、接收到请求的数据片；

c2、从本地节点获取本地标准数据；

c3、开始利用匹配算法匹配数据；

c31、成功，返回匹配到的数据；

c32、不成功，返回K桶节点地址信息；

c4、完成匹配。

图3中数据分析的过程同属于数据获取过程中的一个重要环节，涉及到数据合并、数据匹配等过程。整个过程在节点接收所有分片数据后进行，如图5所示：

d1、接收到节点返回的数据片；

d2、对数据片进行合并；

d3、利用匹配算法匹配数据；

d4、返回匹配结果给应用端；

d5、完成。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (5)

1.一种基于分布式数据分片存储和模糊查找系统，其特征在于，包括数据采集模块、打散存储模块、数据获取模块、数据合并模块、数据匹配模块，其中：

所述数据采样模块用于采样外部输入的模糊数据，在本地进行临时保存；所述打散存储模块用于从数据采样模块中获取数据源，按照设计的规则对数据源进行分割成指定的数据片并分发到分布式网络节点上进行存储；

所述数据获取模块用于向分布式网络节点请求数据，从不同节点返回数据的不同分片到该请求节点上；

所述数据合并模块用于把数据获取模块返回的分片数据进行合并；该模块根据数据打散的反向方法对数据行合并；

所述数据匹配模块依据模糊匹配规则匹配数据，在数据获取模块中用于与请求数据相匹配的数据反馈，在模糊查找时将输入数据与合并后的数据进行模糊匹配并反馈结果。

2.一种基于分布式数据分片存储和模糊查找方法，其特征在于，其包括数据注册步骤与数据获取步骤；

所述数据注册步骤为将从外部输入的注册数据通过数据分片技术把数据分割成多个数据片保存到不同的分布式网络节点上；

所述数据获取步骤为当某个分布式网络节点接收到数据匹配请求时，此时，该节点进行节点查找、数据模糊匹配至分布式网络节点的请求数据。

3.根据权利要求2所述的基于分布式数据分片存储和模糊查找方法，其特征在于，所述数据注册步骤的实现方法如下：

数据按照平均分片方法把数据分成N片，然后在DHT实现的K桶中获取最接近本节点的N个节点地址信息，把数据发送的这些节点上保存，其中N为大于1的正整数。

4.根据权利要求3所述的基于分布式数据分片存储和模糊查找方法，其特征在于，所述数据获取步骤包括节点查找步骤、数据匹配步骤；

所述节点查找步骤的实现方法如下：

设置查找深度为N，即每次从K桶中获取最接近的N个节点进行查找；当某个节点需要从分布式网络节点中请求数据时，首先在该节点的K桶中获取N个最接近的节点地址信息，并向这N个节点发送请求，节点收到请求发现有与要求匹配的数据则返回匹配数据给请求者，当节点没有匹配数据时，则通过返回其K桶中最接近的N个节点地址信息给请求者，请求者再重复同样的请求过程，直到找到数据或者超时；其中，N为大于等于1的整数；

所述数据匹配步骤的实现方法如下：

在分布式存储系统的节点中加入现有的生物识别技术，并利用这些技术实现数据的查找与匹配。

5.根据权利要求4所述的基于分布式数据分片存储和模糊查找方法，其特征在于，在所述数据匹配步骤中：

现有的生物识别技术为指纹识别，采用特征点匹配算法，匹配的特征点个数在两个点集中所占比例的大小代表匹配结果是否成功。