CN109977121A - 一种大数据快速存储系统 - Google Patents

Abstract

本发明涉及大数据的技术领域，特别是涉及一种大数据快速存储系统，其减少重复数据存储并且快速存储数据的；数据上行单元，用于接收待存储数据并转发；存储器，用于接收与保存待存储数据，并且对已存储数据进行读取、写入、分片和删除，并将已存储数据依照协议拆分为文件头和文件数据；存储器还包括：文件头保存单元，用于保存已存储数据的文件头，并将文件头映射在文件分配表中，其中文件头包括文件名、文件属性和占用簇号等信息；文件数据保存单元，用于保存已存储数据的文件数据，其中文件数据为已存储数据的真实数据；自检单元，用于读取文件数据保存单元中的已存储数据的文件数据。

Description

一种大数据快速存储系统

技术领域

本发明涉及大数据的技术领域，特别是涉及一种大数据快速存储系统。

背景技术

随着互联网和信息技术的发展，服务器中的数据呈几何级数增长，使社会进入大数据时代。在此背景下，数据的重要性正在不断增强。数据作为大数据应用的基础，其数据存储亦尤为重要。数据的几何倍数增长，需要庞大存储器存储数据，其中重复的数据极大的浪费了存储器的储存空间，并且快速存储数据也已成为迫切需要解决的现实问题

发明内容

为解决上述技术问题，本发明提供一种减少重复数据存储并且快速存储数据的的大数据快速存储系统。

本发明的一种大数据快速存储系统，数据上行单元，用于接收待存储数据并转发；

存储器，用于接收与保存待存储数据，并且对已存储数据进行读取、写入、分片和删除，并将已存储数据依照协议拆分为文件头和文件数据；

存储器还包括：

文件头保存单元，用于保存已存储数据的文件头，并将文件头映射在文件分配表中，其中文件头包括文件名、文件属性和占用簇号等信息；

文件数据保存单元，用于保存已存储数据的文件数据，其中文件数据为已存储数据的真实数据；

自检单元，用于读取文件数据保存单元中的已存储数据的文件数据，并且对单个已存储数据的文件数据依照固定数据抽取规则抽取固定组数的抽取数据并发送；

特征样本数据保存单元，用于接收抽取数据，并且读取对应的文件头保存单元中的已存储数据的文件头，并将对应的已存储数据的文件头与抽取数据一同保存为特征样本数据；

外检单元，用于读取待存储数据的文件数据，并且对单个待存储数据的文件数据依照固定数据抽取规则抽取固定组数的抽取数据并发送；

特征样本数据比对单元，用于读取并搜索全部特征样本数据保存单元中的抽取数据并与外检单元发送的待存储数据的抽取数据进行比对；当全部特征样本数据保存单元中的抽取数据存在与外检单元发送的待存储数据的抽取数据完全一致的情况时，设置禁止上传信号赋值为“1”并发送；当全部特征样本数据保存单元中的抽取数据存在与外检单元发送的待存储数据的抽取数据不完全一致的情况时，设置禁止上传信号赋值为“0”并发送；

数据控制单元，用于接收特征样本数据比对单元发送的禁止上传信号；当禁止上传信号为“1”时，禁止上行单元向存储器传输的待存储数据，并且清除存储器中的待存储数据的缓存；当禁止上传信号为“0”时，建立上行单元与存储器之间的数据传输传输并传输待存储数据；

重组访问连接信息保存单元，用于接收禁止上传信号并生成待存储数据在存储器的访问地址并发送；

数据下行单元，用于接收并转发重组访问连接信息保存单元的访问地址并转发。

本发明的一种大数据快速存储系统，重组访问连接信息保存单元还包括：

待存储数据分析单元，用于将待存储数据依照协议拆分为文件头和文件数据并发送待存储数据的文件头；

重组单元，用于接收和读取禁止上传信号、待存储数据分析单元发送的待存储数据的文件头和对应的已存储数据的存储的物理地址；当禁止上传信号为“1”时，将待存储数据的文件头与对应的已存储数据的存储的物理地址组合并生成存储器的访问地址；当禁止上传信号为“0”时，无操作。

本发明的一种大数据快速存储系统，自检单元还包括：

抽取规则编辑单元，用于更改并保存自检单元的固定数据抽取规则。

本发明的一种大数据快速存储系统，还包括：

删除单元，用于删除存储器的文件分配表。

本发明的一种大数据快速存储系统，还包括：

防泄密单元，用于将存储器所选用的物理存储器的进行多次复写。

本发明的有益效果为：减少重复的数据所占的存储器的储存空间，减少储存器使用数量，降低管理难度，并且减少数据读写与传输时间，实现快速存储数据，方便数据管理。

附图说明

图1是本发明的示意图；

图2是储存器的示意图；

图3是特征样本数据比对单元的示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

实施例1

数据上行单元接收待存储数据并转发；存储器接收与保存待存储数据，并且对已存储数据进行读取、写入、分片和删除，并将已存储数据依照协议拆分为文件头和文件数据；存储器还包括：文件头保存单元保存已存储数据的文件头，并将文件头映射在文件分配表中，其中文件头包括文件名、文件属性和占用簇号等信息；文件数据保存单元保存已存储数据的文件数据，其中文件数据为已存储数据的真实数据；自检单元读取文件数据保存单元中的已存储数据的文件数据，并且对单个已存储数据的文件数据依照固定数据抽取规则抽取固定组数的抽取数据并发送；特征样本数据保存单元接收抽取数据，并且读取对应的文件头保存单元中的已存储数据的文件头，并将对应的已存储数据的文件头与抽取数据一同保存为特征样本数据；外检单元读取待存储数据的文件数据，并且对单个待存储数据的文件数据依照固定数据抽取规则抽取固定组数的抽取数据并发送；特征样本数据比对单元读取并搜索全部特征样本数据保存单元中的抽取数据并与外检单元发送的待存储数据的抽取数据进行比对；当全部特征样本数据保存单元中的抽取数据存在与外检单元发送的待存储数据的抽取数据完全一致的情况时，设置禁止上传信号赋值为“1”并发送；当全部特征样本数据保存单元中的抽取数据存在与外检单元发送的待存储数据的抽取数据不完全一致的情况时，设置禁止上传信号赋值为“0”并发送；数据控制单元接收特征样本数据比对单元发送的禁止上传信号；当禁止上传信号为“1”时，禁止上行单元向存储器传输的待存储数据，并且清除存储器中的待存储数据的缓存；当禁止上传信号为“0”时，建立上行单元与存储器之间的数据传输传输并传输待存储数据；待存储数据分析单元将待存储数据依照协议拆分为文件头和文件数据并发送待存储数据的文件头；重组单元，用于接收和读取禁止上传信号、待存储数据分析单元发送的待存储数据的文件头和对应的已存储数据的存储的物理地址；当禁止上传信号为“1”时，将待存储数据的文件头与对应的已存储数据的存储的物理地址组合并生成存储器的访问地址；当禁止上传信号为“0”时，无操作；重组访问连接信息保存单元接收禁止上传信号并生成待存储数据在存储器的访问地址并发送；数据下行单元接收并转发重组访问连接信息保存单元的访问地址并转发。

作为一种优选的技术方案，数据上行单元接收待存储数据并转发；存储器接收与保存待存储数据，并且对已存储数据进行读取、写入、分片和删除，并将已存储数据依照协议拆分为文件头和文件数据；存储器还包括：文件头保存单元保存已存储数据的文件头，并将文件头映射在文件分配表中，其中文件头包括文件名、文件属性和占用簇号等信息；文件数据保存单元保存已存储数据的文件数据，其中文件数据为已存储数据的真实数据；抽取规则编辑单元更改并保存自检单元的固定数据抽取规则；自检单元读取文件数据保存单元中的已存储数据的文件数据，并且对单个已存储数据的文件数据依照固定数据抽取规则抽取固定组数的抽取数据并发送；特征样本数据保存单元接收抽取数据，并且读取对应的文件头保存单元中的已存储数据的文件头，并将对应的已存储数据的文件头与抽取数据一同保存为特征样本数据；外检单元读取待存储数据的文件数据，并且对单个待存储数据的文件数据依照固定数据抽取规则抽取固定组数的抽取数据并发送；特征样本数据比对单元读取并搜索全部特征样本数据保存单元中的抽取数据并与外检单元发送的待存储数据的抽取数据进行比对；当全部特征样本数据保存单元中的抽取数据存在与外检单元发送的待存储数据的抽取数据完全一致的情况时，设置禁止上传信号赋值为“1”并发送；当全部特征样本数据保存单元中的抽取数据存在与外检单元发送的待存储数据的抽取数据不完全一致的情况时，设置禁止上传信号赋值为“0”并发送；数据控制单元接收特征样本数据比对单元发送的禁止上传信号；当禁止上传信号为“1”时，禁止上行单元向存储器传输的待存储数据，并且清除存储器中的待存储数据的缓存；当禁止上传信号为“0”时，建立上行单元与存储器之间的数据传输传输并传输待存储数据；待存储数据分析单元将待存储数据依照协议拆分为文件头和文件数据并发送待存储数据的文件头；重组单元，用于接收和读取禁止上传信号、待存储数据分析单元发送的待存储数据的文件头和对应的已存储数据的存储的物理地址；当禁止上传信号为“1”时，将待存储数据的文件头与对应的已存储数据的存储的物理地址组合并生成存储器的访问地址；当禁止上传信号为“0”时，无操作；重组访问连接信息保存单元接收禁止上传信号并生成待存储数据在存储器的访问地址并发送；数据下行单元接收并转发重组访问连接信息保存单元的访问地址并转发。

作为一种优选的技术方案，数据上行单元接收待存储数据并转发；存储器接收与保存待存储数据，并且对已存储数据进行读取、写入、分片和删除，并将已存储数据依照协议拆分为文件头和文件数据；存储器还包括：文件头保存单元保存已存储数据的文件头，并将文件头映射在文件分配表中，其中文件头包括文件名、文件属性和占用簇号等信息；文件数据保存单元保存已存储数据的文件数据，其中文件数据为已存储数据的真实数据；抽取规则编辑单元更改并保存自检单元的固定数据抽取规则；自检单元读取文件数据保存单元中的已存储数据的文件数据，并且对单个已存储数据的文件数据依照固定数据抽取规则抽取固定组数的抽取数据并发送；特征样本数据保存单元接收抽取数据，并且读取对应的文件头保存单元中的已存储数据的文件头，并将对应的已存储数据的文件头与抽取数据一同保存为特征样本数据；外检单元读取待存储数据的文件数据，并且对单个待存储数据的文件数据依照固定数据抽取规则抽取固定组数的抽取数据并发送；特征样本数据比对单元读取并搜索全部特征样本数据保存单元中的抽取数据并与外检单元发送的待存储数据的抽取数据进行比对；当全部特征样本数据保存单元中的抽取数据存在与外检单元发送的待存储数据的抽取数据完全一致的情况时，设置禁止上传信号赋值为“1”并发送；当全部特征样本数据保存单元中的抽取数据存在与外检单元发送的待存储数据的抽取数据不完全一致的情况时，设置禁止上传信号赋值为“0”并发送；数据控制单元接收特征样本数据比对单元发送的禁止上传信号；当禁止上传信号为“1”时，禁止上行单元向存储器传输的待存储数据，并且清除存储器中的待存储数据的缓存；当禁止上传信号为“0”时，建立上行单元与存储器之间的数据传输传输并传输待存储数据；待存储数据分析单元将待存储数据依照协议拆分为文件头和文件数据并发送待存储数据的文件头；重组单元，用于接收和读取禁止上传信号、待存储数据分析单元发送的待存储数据的文件头和对应的已存储数据的存储的物理地址；当禁止上传信号为“1”时，将待存储数据的文件头与对应的已存储数据的存储的物理地址组合并生成存储器的访问地址；当禁止上传信号为“0”时，无操作；重组访问连接信息保存单元接收禁止上传信号并生成待存储数据在存储器的访问地址并发送；数据下行单元接收并转发重组访问连接信息保存单元的访问地址并转发；在紧急情况下可选通过删除单元删除存储器的文件分配表或者通过防泄密单元将存储器所选用的物理存储器的进行多次复写。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。

Claims (5)

1.一种大数据快速存储系统，其特征在于，包括：

数据上行单元，用于接收待存储数据并转发；

存储器，用于接收与保存待存储数据，并且对已存储数据进行读取、写入、分片和删除，并将已存储数据依照协议拆分为文件头和文件数据；

存储器还包括：

文件头保存单元，用于保存已存储数据的文件头，并将文件头映射在文件分配表中，其中文件头包括文件名、文件属性和占用簇号等信息；

文件数据保存单元，用于保存已存储数据的文件数据，其中文件数据为已存储数据的真实数据；

自检单元，用于读取文件数据保存单元中的已存储数据的文件数据，并且对单个已存储数据的文件数据依照固定数据抽取规则抽取固定组数的抽取数据并发送；

特征样本数据保存单元，用于接收抽取数据，并且读取对应的文件头保存单元中的已存储数据的文件头，并将对应的已存储数据的文件头与抽取数据一同保存为特征样本数据；

外检单元，用于读取待存储数据的文件数据，并且对单个待存储数据的文件数据依照固定数据抽取规则抽取固定组数的抽取数据并发送；

特征样本数据比对单元，用于读取并搜索全部特征样本数据保存单元中的抽取数据并与外检单元发送的待存储数据的抽取数据进行比对；当全部特征样本数据保存单元中的抽取数据存在与外检单元发送的待存储数据的抽取数据完全一致的情况时，设置禁止上传信号赋值为“1”并发送；当全部特征样本数据保存单元中的抽取数据存在与外检单元发送的待存储数据的抽取数据不完全一致的情况时，设置禁止上传信号赋值为“0”并发送；

数据控制单元，用于接收特征样本数据比对单元发送的禁止上传信号；当禁止上传信号为“1”时，禁止上行单元向存储器传输的待存储数据，并且清除存储器中的待存储数据的缓存；当禁止上传信号为“0”时，建立上行单元与存储器之间的数据传输传输并传输待存储数据；

重组访问连接信息保存单元，用于接收禁止上传信号并生成待存储数据在存储器的访问地址并发送；

数据下行单元，用于接收并转发重组访问连接信息保存单元的访问地址并转发。

2.如权利要求1所述的一种大数据快速存储系统，其特征在于，重组访问连接信息保存单元还包括：

待存储数据分析单元，用于将待存储数据依照协议拆分为文件头和文件数据并发送待存储数据的文件头；

重组单元，用于接收和读取禁止上传信号、待存储数据分析单元发送的待存储数据的文件头和对应的已存储数据的存储的物理地址；当禁止上传信号为“1”时，将待存储数据的文件头与对应的已存储数据的存储的物理地址组合并生成存储器的访问地址；当禁止上传信号为“0”时，无操作。

3.如权利要求2所述的一种大数据快速存储系统，其特征在于，自检单元还包括：

抽取规则编辑单元，用于更改并保存自检单元的固定数据抽取规则。

4.如权利要求3所述的一种大数据快速存储系统，其特征在于，还包括：

删除单元，用于删除存储器的文件分配表。

5.如权利要求4所述的一种大数据快速存储系统，其特征在于，还包括：

防泄密单元，用于将存储器所选用的物理存储器的进行多次复写。