CN109634921B - 一种文件存储的方法及存储系统 - Google Patents

Abstract

本发明属于文件存储技术领域，公开了一种文件存储的方法及存储系统，所述文件存储系统包括：文件构建模块、数据编码模块、主控模块、文件加密模块、存储路径处理模块、文件修改模块、文件删除模块、显示模块。本发明通过文件加密模块采用至少2个不同的密钥加密文件夹或公文包中的文件，从而降低泄露用户的信息的风险，提高了文件的安全性；同时，通过存储路径处理模块在移动文件路径时，如果文件是通过通讯类应用程序下载或者发送过的文件，则在对应的通讯类应用程序中进行更新文件的新的存储路径，当用户下次在对应的通讯类应用程序中查找申述文件时，即使文件被移动过，依然可以打开，方便用户的查找、使用。

Description

一种文件存储的方法及存储系统

技术领域

本发明属于文件存储技术领域，尤其涉及一种文件存储的方法及存储系统。

背景技术

计算机文件属于文件的一种，与普通文件载体不同，计算机文件是以计算机硬盘为载体存储在计算机上的信息集合。文件可以是文本文档、图片、程序等等。文件通常具有三个字母的文件扩展名，用于指示文件类型(例如，图片文件常常以JPEG格式保存并且文件扩展名为.jpg)。文件有很多种，运行的方式也各有不同。一般来说我们可以通过文件名来识别这个文件是哪种类型，特定的文件都会有特定的图标(就是显示这个文件的样子)，也只有安装了相应的软件，才能正确显示这个文件的图标。文件是对软件中另一组成部分──程序的解释和说明，是对研制过程进行管理的重要手段。管理人员通过文件来确立不同研制人员或小组之间的工作联系，调整研制周期各阶段之间的衔接关系，并根据所产生的文件检查和控制研制工作的进度。文件也是使用、理解和维护软件所不可缺少的重要资料。然而，现有对用户的信息所在的文件进行加密方式都比较单一，因此很可能被破解，从而仍使用户的信息存在较大的泄露风险；同时，用户在使用通讯类应用程序时，经常会利用它们来传输文件，然后把文件随手存储在一个路径上，等过一段时间再去找这个文件时，一般都会打开上述通讯类通讯软件或者是文件传输软件的记录，然后通过记录的路径去查找或者打开这个文件，但有时候这个文件被删除或者移动到别的存储路径下，则很难快速的找到需要的文件。

综上所述，现有技术存在的问题是：

(1)现有对用户的信息所在的文件进行加密方式都比较单一，因此很可能被破解，从而仍使用户的信息存在较大的泄露风险；同时，用户在使用通讯类应用程序时，经常会利用它们来传输文件，然后把文件随手存储在一个路径上，等过一段时间再去找这个文件时，一般都会打开上述通讯类通讯软件或者是文件传输软件的记录，然后通过记录的路径去查找或者打开这个文件，但有时候这个文件被删除或者移动到别的存储路径下，则很难快速的找到需要的文件。

(2)通过文件构建程序进行新建文件操作的过程中，采用传统的算法时，小文件将会严重消耗NameNode内存，影响系统性能，同时小文件不利于使用MapReduce框架进行并行处理和分析。

(3)对数据编码模块编码完的文件数据进行分类处理时，采用传统的算法对数据进行匪类，降低了分类的稳定性和准确性。

(4)通过数据编码程序进行文件数据编码操作的过程中，采用现有的算法，不能提高对文件编码的速度，延长了编码的时间。

发明内容

针对现有技术存在的问题，本发明提供了一种文件存储的方法及存储系统。

本发明是这样实现的，一种文件存储系统，其特征在于，所述文件存储方法包括：

第一步，首先，对文件进行构建新文件，利用数据编码程序对构建的文件数据进行编码操作；

第二步，通过加密程序对文件数据进行加密操作，路径处理程序变更文件存储路径操作；

第三步，通过修改程序对文件数据进行修改操作，利用删除程序对文件数据进行删除操作；

第四步，通过显示器显示文件存储系统界面及文件内容信息。

进一步，通过文件构建程序进行新建文件操作，采用小文件的合并存储及索引方法，利用三层存储结构实现HDFS下海量小文件的合并存储、自动管理和自由检索，具体过程如下：

第一层为小文件存储层，新上传的小文件将直接写入到HDFS上并最终以追加的方式合并到大的数据文件中进行存储，数据文件可动态增加；

第二层为文件元信息存储层，文件在所有维度上的完整元信息和在合并后数据文件中的位置信息将一同被序列化存储到HDFS上，用于文件下载和查询时的小文件定位和元信息检索；

第三层为多维列索引层，在多个查询维度上为海量文件元信息建立按列存储的索引，并根据不同维度的特点选择不同类型的索引以提高查询效率。

进一步，编码完的文件数据进行分类处理时采用基于朴素贝叶斯算法的改进遗传算法，具体包括以下步骤：

步骤一，用朴素贝叶斯算法处理初始样本集，根据每个样本的区分度高低进行筛选，选出3/4的区分度高的样本个体组成新的样本集；

步骤二，然后把新的样本集作为接下来改进遗传算法的训练集：

1)种群初始化，确定种群的大小POPSIZE；

2)种群评估，计算种群中每个个体的适应度fitness；

3)选择操作，对种群采用轮盘赌方法进行选择；

4)交叉操作，对通过选择操作选出的每对个体随机确定交叉点进行单点交叉操作，交叉概率为PXOVER，交叉操作之后对父个体和子个体进行行一次评估，如果父个体适应度大于子个体则保留父个体进入下一代；

5)变异操作，确定变异概率PMUTATION，然后判断每个个体是否需要执行变异操作，如果需要则随机选择某位基因进行变异。变异操作之后仍然对父个体和子个体进行一次评估，确定相对优良个体进入下一代；

6)终止条件判断，当达到最大迭代次数MAXGENS时停止迭代，否则转向步骤三；

步骤三，最后，整个分类算法操作结束，输出得到的最优规则。

本发明的另一目的在于提供一种实施所述文件存储方法的文件存储系统，所述文件存储系统包括：

文件构建模块，与数据编码模块连接，用于通过文件构建程序进行新建文件操作；

数据编码模块，与文件构建模块、主控模块连接，用于通过数据编码程序进行文件数据编码操作；

主控模块，与文件构建模块、数据编码模块、文件加密模块、存储路径处理模块、文件修改模块、文件删除模块、显示模块连接，用于通过单片机控制各个模块正常工作；

文件加密模块，与主控模块连接，用于通过加密程序对文件数据进行加密操作；

存储路径处理模块，与主控模块连接，用于通过路径处理程序变更文件存储路径操作；

文件修改模块，与主控模块连接，用于通过修改程序对文件数据进行修改操作；

文件删除模块，与主控模块连接，用于通过删除程序对文件数据进行删除操作；

显示模块，与主控模块连接，用于通过显示器显示文件存储系统界面及文件内容信息。

本发明的另一目的在于提供一种应用所述文件存储方法的计算机。

本发明的优点及积极效果为：本发明通过文件加密模块采用至少2个不同的密钥加密文件夹或公文包中的文件，从而降低泄露用户的信息的风险，提高了文件的安全性；同时，通过存储路径处理模块在移动文件路径时，如果文件是通过通讯类应用程序下载或者发送过的文件，则在对应的通讯类应用程序中进行更新文件的新的存储路径，当用户下次在对应的通讯类应用程序中查找申述文件时，即使文件被移动过，依然可以打开，方便用户的查找、使用。

本发明文件构建模块通过文件构建程序进行新建文件操作的过程中，为了避免小文件将会严重消耗NameNode内存，影响系统性能，同时小文件不利于使用MapReduce框架进行并行处理和分析，提高文件数据进行存储和索引以便于查询，采用小文件的合并存储及索引方法，利用三层存储结构实现HDFS下海量小文件的合并存储、自动管理和自由检索。

本发明主控模块对数据编码模块编码完的文件数据进行分类处理时，主控模块采用基于朴素贝叶斯算法的改进遗传算法，提高了分类的稳定性和准确性。

本发明中数据编码模块通过数据编码程序进行文件数据编码操作，为了提高对文件编码的速度，降低编码的是时间，采用自适应多维编码算法降维算法。

附图说明

图1是本发明实施例提供的文件存储的方法流程图。

图2是本发明实施例提供的文件存储系统结构框图；

图2中：1、文件构建模块；2、数据编码模块；3、主控模块；4、文件加密模块；5、存储路径处理模块；6、文件修改模块；7、文件删除模块；8、显示模块。

具体实施方式

为能进一步了解本发明的发明内容、特点及功效，兹例举以下实施例，并配合附图详细说明如下。

下面结合附图对本发明的结构作详细的描述。

如图1所示，本发明提供的文件存储的方法包括以下步骤：

S101：首先，对文件进行构建新文件，利用数据编码程序对构建的文件数据进行编码操作；

S102：通过加密程序对文件数据进行加密操作，路径处理程序变更文件存储路径操作；

S103：通过修改程序对文件数据进行修改操作，利用删除程序对文件数据进行删除操作；

S104：通过显示器显示文件存储系统界面及文件内容信息。

如图2所示，本发明提供的文件存储系统包括：文件构建模块1、数据编码模块2、主控模块3、文件加密模块4、存储路径处理模块5、文件修改模块6、文件删除模块7、显示模块8。

文件构建模块1，与数据编码模块2连接，用于通过文件构建程序进行新建文件操作；

数据编码模块2，与文件构建模块1、主控模块3连接，用于通过数据编码程序进行文件数据编码操作；

主控模块3，与文件构建模块1、数据编码模块2、文件加密模块4、存储路径处理模块5、文件修改模块6、文件删除模块7、显示模块8连接，用于通过单片机控制各个模块正常工作；

文件加密模块4，与主控模块3连接，用于通过加密程序对文件数据进行加密操作；

存储路径处理模块5，与主控模块3连接，用于通过路径处理程序变更文件存储路径操作；

文件修改模块6，与主控模块3连接，用于通过修改程序对文件数据进行修改操作；

文件删除模块7，与主控模块3连接，用于通过删除程序对文件数据进行删除操作；

显示模块8，与主控模块3连接，用于通过显示器显示文件存储系统界面及文件内容信息。

所述文件构建模块1通过文件构建程序进行新建文件操作的过程中，为了避免小文件将会严重消耗NameNode内存，影响系统性能，同时小文件不利于使用MapReduce框架进行并行处理和分析，提高文件数据进行存储和索引以便于查询，采用小文件的合并存储及索引方法，利用三层存储结构实现HDFS下海量小文件的合并存储、自动管理和自由检索，具体过程如下：

第一层为小文件存储层，新上传的小文件将直接写入到HDFS上并最终以追加的方式合并到大的数据文件中进行存储，数据文件可动态增加；

第二层为文件元信息存储层，文件在所有维度上的完整元信息和在合并后数据文件中的位置信息将一同被序列化存储到HDFS上，用于文件下载和查询时的小文件定位和元信息检索；

第三层为多维列索引层，我们在多个查询维度上为海量文件元信息建立按列存储的索引，并可以根据不同维度的特点选择不同类型的索引以提高查询效率。

所述数据编码模块2通过数据编码程序进行文件数据编码操作，为了提高对文件编码的速度，降低编码的时间，采用自适应多维编码算法降维算法，具体为：

只要有两个以上文件数据时，接收的编码必然产生碰撞.最多标签个数T(n)与碰撞位数的关系为

T(n)＝x_d×x_d-1×…x₄×x₃×x₂×x₁；

式中x表示维分编码中每维的碰撞位数，取值为1、2、3、4，下标为相应的维数.发生碰撞时，处理器首先发送“111111”6位编码，要求数据编码模块范围内的所有文件标签应答，若处理器收到的响应信号为“？ ？ 00？ 0 0 ？ ？ 0 ？ 0 0 0 ？ ？”，“？”表示碰撞位，第4维编码为“？ ？ 0 0”，有两位发生碰撞，有2种维分编码，即“1 0 0 0”和“0 1 0 0”，以此类推，则整个“？ ？ 0 0 ？ 0 0 ？ ？ 0 ？ 0 0 0 ？ ？”多维编码最多有“2×2×2×2”，共16个标签.因此，根据处理器收到碰撞数据的情况可判断阅读器范围内的标签，从而可减少维分编码的位数进行降维，并对标签自动重新编码.n维维分编码降维后的编码维数W与碰撞位数的关系为

式中d为原编码的维数，x_i为相应维数的碰撞位数，W取大于等于

的最小整数。

所述主控模块3对数据编码模块2编码完的文件数据进行分类处理时，为了提高分类的稳定性和准确性，采用基于朴素贝叶斯算法的改进遗传算法，具体包括以下步骤：

步骤一，用朴素贝叶斯算法处理初始样本集，根据每个样本的区分度高低进行筛选，选出3/4的区分度高的样本个体组成新的样本集；

步骤二，然后把新的样本集作为接下来改进遗传算法的训练集：

1)种群初始化，确定种群的大小POPSIZE；

2)种群评估，计算种群中每个个体的适应度fitness；

3)选择操作，对种群采用轮盘赌方法进行选择；

4)交叉操作，对通过选择操作选出的每对个体随机确定交叉点进行单点交叉操作，交叉概率为PXOVER，交叉操作之后对父个体和子个体进行行一次评估，如果父个体适应度大于子个体则保留父个体进入下一代；

5)变异操作，确定变异概率PMUTATION，然后判断每个个体是否需要执行变异操作，如果需要则随机选择某位基因进行变异。变异操作之后仍然对父个体和子个体进行一次评估，确定相对优良个体进入下一代；

6)终止条件判断，当达到最大迭代次数MAXGENS时停止迭代，否则转向步骤三；

步骤三，最后，整个分类算法操作结束，输出得到的最优规则。

本发明提供的文件加密模块4加密方法如下：

(1)检测是否接收到文件加密指令；

(2)在接收到文件加密指令时，显示密钥输入对话框，所述密钥输入对话框至少有2个；

(3)接收密钥输入对话框的选择指令；

(4)根据密钥输入对话框接收的密钥加密选择的文件。

本发明提供的根据密钥输入对话框接收的密钥加密选择的文件，具体包括：

显示文件列表，所述文件列表包括可采用选择的密钥输入对话框输入的密钥加密的文件；

接收文件选择指令，并根据密钥输入对话框接收的密钥加密选择的文件。

本发明提供的显示文件列表，具体包括：

查找存储的文件；

将查找的文件以文件列表的形式显示，所述文件列表按照预设的文件排列方式排列。

本发明提供的检测是否接收到文件加密指令，具体包括：

检测是否接收到长按指令；

在接收到长按指令时，显示加密编辑选项；

检测是否接收到加密编辑选项的选择指令，在接收到加密编辑选项的选择指令时，判定接收到文件加密指令，在没有接收到加密编辑选项的选择指令时，判定没有接收到文件加密指令。

本发明提供的检测是否接收到文件加密指令，具体包括：

检测是否接收到右击指令；

在接收到右击指令时，显示加密编辑选项；

检测是否接收到加密编辑选项的选择指令，在接收到加密编辑选项的选择指令时，判定接收到文件加密指令，在没有接收到加密编辑选项的选择指令时，判定没有接收到文件加密指令。

本发明提供的存储路径处理模块5处理方法如下：

1)变更文件存储路径时，判断文件是否为从通讯类应用程序下载的文件或者从通讯类应用程序发送过的文件，其中，变更文件存储路径包括删除文件和/或移动文件至其它存储空间；

2)如果是，则发送所述文件的存储路径更新信息至与所述文件对应的通讯类应用程序，在该通讯类应用程序中更新所述文件的存储路径。

本发明提供的变更文件存储路径时，判断文件是否为从通讯类应用程序下载的文件或者从通讯类应用程序发送过的文件的步骤之前，包括：

在所述通讯类应用程序下载或发送所述文件时，在所述文件上附加与之对应的通讯类应用程序标识和存储路径标识。

本发明提供的变更文件存储路径时，判断文件是否为从通讯类应用程序下载的文件或者从通讯类应用程序发送过的文件的步骤，包括：

判断所述文件上是否带有所述存储路径标识；

如果有，则判定所述文件为从通讯类应用程序下载或发送过的文件。

本发明提供的发送所述文件的存储路径更新信息至与所述文件对应的通讯类应用程序，在该通讯类应用程序中更新所述文件的存储路径的步骤，包括：

如果变更文件存储路径为删除文件，则生成所述文件的副本保存在指定的存储空间，并将所述副本的存储路径发送至所述文件的通讯类应用程序，在该通讯类应用程序中更新所述副本的存储路径。

以上所述仅是对本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所做的任何简单修改，等同变化与修饰，均属于本发明技术方案的范围内。

Claims (4)

1.一种文件存储方法，其特征在于，所述文件存储方法包括：

第一步，首先，对文件进行构建新文件，利用数据编码程序对构建的文件数据进行编码操作；

第二步，通过加密程序对文件数据进行加密操作，路径处理程序变更文件存储路径操作；

第三步，通过修改程序对文件数据进行修改操作，利用删除程序对文件数据进行删除操作；

第四步，通过显示器显示文件存储系统界面及文件内容信息；

通过文件构建程序进行新建文件操作，采用小文件的合并存储及索引方法，利用三层存储结构实现HDFS下海量小文件的合并存储、自动管理和自由检索，具体过程如下：

第一层为小文件存储层，新上传的小文件将直接写入到HDFS上并最终以追加的方式合并到大的数据文件中进行存储，数据文件可动态增加；

第二层为文件元信息存储层，文件在所有维度上的完整元信息和在合并后数据文件中的位置信息将一同被序列化存储到HDFS上，用于文件下载和查询时的小文件定位和元信息检索；

第三层为多维列索引层，在多个查询维度上为海量文件元信息建立按列存储的索引，并根据不同维度的特点选择不同类型的索引以提高查询效率。

2.如权利要求1所述的文件存储方法，其特征在于，编码完的文件数据进行分类处理时采用基于朴素贝叶斯算法的改进遗传算法，具体包括以下步骤：

步骤一，用朴素贝叶斯算法处理初始样本集，根据每个样本的区分度高低进行筛选，选出3/4的区分度高的样本个体组成新的样本集；

步骤二，然后把新的样本集作为接下来改进遗传算法的训练集：

1)种群初始化，确定种群的大小POPSIZE；

2)种群评估，计算种群中每个个体的适应度fitness；

3)选择操作，对种群采用轮盘赌方法进行选择；

4)交叉操作，对通过选择操作选出的每对个体随机确定交叉点进行单点交叉操作，交叉概率为PXOVER，交叉操作之后对父个体和子个体进行行一次评估，如果父个体适应度大于子个体则保留父个体进入下一代；

5)变异操作，确定变异概率PMUTATION，然后判断每个个体是否需要执行变异操作，如果需要则随机选择某位基因进行变异；变异操作之后仍然对父个体和子个体进行一次评估，确定相对优良个体进入下一代；

6)终止条件判断，当达到最大迭代次数MAXGENS时停止迭代，否则转向步骤三；

步骤三，最后，整个分类算法操作结束，输出得到的最优规则。

3.一种实施权利要求1所述文件存储方法的文件存储系统，其特征在于，所述文件存储系统包括：

文件构建模块，与数据编码模块连接，用于通过文件构建程序进行新建文件操作；

数据编码模块，与文件构建模块、主控模块连接，用于通过数据编码程序进行文件数据编码操作；

主控模块，与文件构建模块、数据编码模块、文件加密模块、存储路径处理模块、文件修改模块、文件删除模块、显示模块连接，用于通过单片机控制各个模块正常工作；

文件加密模块，与主控模块连接，用于通过加密程序对文件数据进行加密操作；

存储路径处理模块，与主控模块连接，用于通过路径处理程序变更文件存储路径操作；

文件修改模块，与主控模块连接，用于通过修改程序对文件数据进行修改操作；

文件删除模块，与主控模块连接，用于通过删除程序对文件数据进行删除操作；

显示模块，与主控模块连接，用于通过显示器显示文件存储系统界面及文件内容信息。

4.一种应用权利要求1～2任意一项所述文件存储方法的计算机。

Images