CN116955306B - 一种基于分布式存储的档案管理系统 - Google Patents

Abstract

本发明公开了一种基于分布式存储的档案管理系统，涉及档案管理技术领域，包括主控中心，所述主控中心通信连接有档案存储模块、异常监测模块、档案检测模块、加权模块、授权模块；所述档案存储模块用于对档案进行分布式存储，所述异常监测模块用于对档案存储的过程进行监测，并获得异常存储档案，同时对异常存储档案进行再次存储，所述档案检测模块用于对档案的完整程度进行检测，并根据完整程度将档案区分为完整档案和缺失档案，同时对缺失档案的缺失节点进行检测，所述加权模块用于对完整档案和子档案进行加权，所述授权模块用于对查询人员进行授权和对完整档案进行查询；通过本发明的技术方案，可以更好地保护档案的完整性和保密性。

Description

一种基于分布式存储的档案管理系统

技术领域

本发明涉及档案管理技术领域，具体是一种基于分布式存储的档案管理系统。

背景技术

分布式存储是一种将数据分散存储在多个节点上，以实现数据高可用、高性能、高扩展的技术，当前分布式存储技术已经被广泛的应用到了档案管理技术领域，基于分布式存储的档案管理通常采用分布式文件系统作为存储基础设施，并通过数据分片的方式将档案数据分成多个块进行存储，每个块可以分别存储在不同的节点上；

在现有的技术中，对于节点的选择大多是采取随机的方式，使得对于档案的保护具有不确定性，而且现有的技术也缺乏对于档案完整性的多重检测和对于档案保密性的多重保护，针对现有技术的不足，本发明提供了一种基于分布式存储的档案管理系统。

发明内容

本发明的目的在于提供一种基于分布式存储的档案管理系统。

本发明的目的可以通过以下技术方案实现：一种基于分布式存储的档案管理系统，包括主控中心，所述主控中心通信连接有档案存储模块、异常监测模块、档案检测模块、加权模块、授权模块；

所述档案存储模块用于对档案进行分布式存储；

所述异常监测模块用于对档案存储的过程进行监测，并获得异常存储档案，同时对异常存储档案进行再次存储；

所述档案检测模块用于对档案的完整程度进行检测，并根据完整程度将档案区分为完整档案和缺失档案，同时对缺失档案的缺失节点进行检测；

所述加权模块用于对完整档案以及子档案进行加权；

所述授权模块用于对查询人员进行授权以及对完整档案进行查询。

进一步的，所述档案存储模块对档案进行分布式存储的过程包括：

获得可供分布式存储的节点数量；

设置录入单元，通过所述录入单元对档案进行录入，将所录入的档案切分为m个子档案；

在全部节点中随机选取一个节点作为第一个分布式存储节点；

获得其余每个节点与当前已有分布式存储节点之间的最短距离，获得其余每个节点被选为下一个分布式存储节点的概率值，选择最大概率值所对应的节点作为下一个分布式存储节点，重复这一选择步骤，直到选择出2m个分布式存储节点；

获得子档案的切分顺序，获得分布式存储节点的选择顺序，按照正序或倒序的方式对子档案和分布式存储节点进行匹配，将每个子档案按序依次存储至选择顺序相邻的两个分布式存储节点中，将存储同一个子档案的两个分布式存储节点进行绑定。

进一步的，所述异常监测模块对档案存储的过程进行监测，并获得异常存储档案的过程包括：

设置监测周期；

设置监测单元，通过所述监测单元获得最近k个监测周期内的每个子档案的实时存储速度，并获得档案存储的波动程度C；

设置波动阈值C₀；

当C≤C₀时，将其标记为正常波动；

当C＞C₀时，将其标记为异常波动；

获得出现异常波动的波动程度所对应的子档案，并将所获得的子档案标记为异常存储档案。

进一步的，所述异常监测模块对异常存储档案进行再次存储的过程包括：

设置处理单元，通过所述处理单元对异常存储档案进行处理，暂停该异常存储档案的存储过程，并获得与其相对应的分布式存储节点；

对分布式存储节点中已存储的该异常存储档案的部分进行删除，继续选择该分布式存储节点，对异常存储档案进行再次存储，通过所述监测单元对再次存储的过程进行监测。

进一步的，所述档案检测模块对档案的完整程度进行检测的过程包括：

设置检测单元，通过所述检测单元将所存储的各个子档案进行整合，分别汇总成两个存储档案；

获得所录入的录入档案，将两个存储档案分别与录入档案进行比对，根据对比结果获得存储档案的完整程度，根据所获得的存储档案的完整程度区分存储档案的档案类型，所述档案类型包括完整档案和缺失档案。

进一步的，所述档案检测模块对缺失档案的缺失节点进行检测的过程包括：

当所述检测单元检测到存在缺失档案时，将构成两个缺失档案的各个子档案中的同一个子档案互相进行比对，根据对比结果获得子档案的完整程度，根据所获得的子档案的完整程度区分子档案的档案类型，所述档案类型包括完整子档案和缺失子档案；

获得所述缺失子档案的分布式存储节点，将该分布式存储节点标记为缺失节点，并将所述缺失子档案作为异常存储档案进行处理。

进一步的，所述加权模块对完整档案以及子档案进行加权的过程包括：

设置第一加权单元，通过所述第一加权单元对完整档案进行评级，并根据评级结果对完整档案设置相应的权限以完成对完整档案的加权，根据加权结果生成相应的第一权限标识；

设置第二加权单元，当第一加权单元生成第一权限标识后，通过所述第二加权单元对完整子档案进行加权，并生成第二权限标识。

进一步的，所述授权模块对查询人员进行授权以及对完整档案进行查询的过程包括：

设置授权单元，查询人员将想要查询的完整档案输入至所述授权单元，在核实通过后将第一权限标识发送至查询人员端，将第一权限标识输入至所述授权单元，在核实通过后将第二权限标识发送至查询人员端；

设置查询单元，查询人员将第二权限标识输入至所述查询单元，在核实通过后将各个子档案整合为一个完整档案，并将其发送至查询人员端。

与现有技术相比，本发明的有益效果是：

1、对于分布式存储节点的选择采取最大概率值的方式，使得各个分布式存储节点之间的距离都较远，将同一个子档案存储至选择顺序相邻的2个分布式存储节点，使得存储同一个子档案的两个分布式存储节点之间的距离尽可能的大，可以实现对于各个子档案的保护；

2、通过获得档案的波动程度和完整程度，并以此为基础对档案的状态进行划分，对完整档案进行加权，对异常存储档案进行再次存储，可以实现对于档案的完整程度的多重检测，更好地保护档案的完整性；

3、在对完整档案一重加权的基础上，再对各个子档案进行二重加权，并生成两个权限标识，进而实现对于档案的两次加权以及两次授权，更好地保护档案的保密性。

附图说明

图1为本发明的原理图。

具体实施方式

如图1所示，一种基于分布式存储的档案管理系统，包括主控中心，所述主控中心通信连接有档案存储模块、异常监测模块、档案检测模块、加权模块、授权模块；

所述档案存储模块用于对档案进行分布式存储；

所述异常监测模块用于对档案存储的过程进行监测，并获得异常存储档案，同时对异常存储档案进行再次存储；

所述档案检测模块用于对档案的完整程度进行检测，并根据完整程度将档案区分为完整档案和缺失档案，同时对缺失档案的缺失节点进行检测；

所述加权模块用于对完整档案以及子档案进行加权；

所述授权模块用于对查询人员进行授权以及对完整档案进行查询。

需要进一步说明的是，在具体实施过程中，所述档案存储模块对档案进行分布式存储的过程包括：

获得可供分布式存储的节点数量，并将所获得的节点数量标记为n；

设置录入单元，通过所述录入单元对档案进行录入，将所录入的档案切分为m个子档案，将m标记为切分数量，其中，m≤0.5n；

在本发明的实施例中，可根据所录入的档案的大小来决定档案的切分数量，对于越大的档案，其切分数量就越多，对于越小的档案，其切分数量就越少，无论对于何种档案，其切分数量均不会超过节点数量的一半；对于档案的切分方式，可以选择以等分的方式进行切分，将档案切分为大小相同的m个子档案，也可以选择以不等分的方式进行切分，将档案切分为大小不同的m个子档案，最终选择多少切分数量以及何种切分方式并不影响本发明实施例的实现；

在全部节点中随机选取一个节点作为第一个分布式存储节点；

获得其余每个节点与当前已有分布式存储节点之间的最短距离，并将所获得的最短距离标记为d；

获得其余每个节点被选为下一个分布式存储节点的概率值，并将所获得的概率值标记为p；

选择最大概率值所对应的节点作为下一个分布式存储节点，重复这一选择步骤，直到选择出2m个分布式存储节点；

在完成对档案的切分后，获得子档案的切分顺序，同样的，在完成对节点的选择后，获得分布式存储节点的选择顺序，按照正序或倒序的方式对子档案和分布式存储节点进行匹配；

将每个子档案按序依次存储至选择顺序相邻的两个分布式存储节点，最终m个子档案将被存储至2m个分布式存储节点中，将存储同一个子档案的两个分布式存储节点进行绑定；

本发明的发明人发现，在现有的技术中，对于分布式存储节点的选择大多是采用随机的方式，而这种方式可能会出现两种情况，即存储同一个子档案的两个分布式存储节点之间的距离较近或较远，因为选择的方式并无规律可循，导致对于距离较近的情况，倘若出现物理原因的破坏，则会造成同一个子档案的完全丢失，因此在本发明的技术方案中，对于分布式存储节点的选择采取最大概率值的方式，使得每个分布式存储节点都与其他分布式存储节点之间的距离较远，将同一个子档案存储至选择顺序相邻的2个分布式存储节点，使得存储同一个子档案的两个分布式存储节点之间的距离尽可能的大，可以实现对于各个子档案的最大程度的保护。

需要进一步说明的是，在具体实施过程中，所述异常监测模块对档案存储的过程进行监测，并获得异常存储档案的过程包括：

设置监测周期T；

设置监测单元，通过所述监测单元对档案存储的过程进行监测，获得最近k个监测周期内的每个子档案的实时存储速度，并将所获得的实时存储速度标记为V_i，其中，i＝1，2，……，k；

获得档案存储的波动程度，并将所获得的波动程度标记为C；

设置波动阈值C₀；

当C≤C₀时，将其标记为正常波动；

当C＞C₀时，将其标记为异常波动；

获得出现异常波动的波动程度所对应的子档案，并将所获得的子档案标记为异常存储档案。

需要进一步说明的是，在具体实施过程中，所述异常监测模块对异常存储档案进行再次存储的过程包括：

设置处理单元，通过所述处理单元对异常存储档案进行处理，暂停该异常存储档案的存储过程，并获得与其相对应的分布式存储节点；

对分布式存储节点中已存储的该异常存储档案的部分进行删除，继续选择该分布式存储节点，对异常存储档案进行再次存储，通过所述监测单元对再次存储的过程进行监测；

在本发明的实施例中，若通过所述监测单元监测到异常存储档案在再次存储的过程中又出现了异常波动，则在除去该分布式存储节点之外的其他分布式存储节点中选择一个新的分布式存储节点对该异常存储档案进行三次存储，所选择的分布式存储节点需要满足两个条件，一是距离当前的分布式存储节点距离最近，二是不能为与其相绑定的另一个分布式存储节点，通过所述监测单元对三次存储的过程进行监测，以此类推，直至该异常存储档案最终完成存储。

需要进一步说明的是，在具体实施过程中，所述档案检测模块对档案的完整程度进行检测的过程包括：

设置检测单元，通过所述检测单元对完成存储的档案的完整程度进行检测，将所存储的各个子档案进行整合，分别汇总成两个总档案，将所汇总的两个总档案标记为存储档案，并记为D_主和D_次；

将所述录入单元所录入的档案标记为录入档案，并记为D_录，将两个存储档案分别与录入档案进行比对，获得两个存储档案的完整程度，并将所获得的完整程度分别标记为S_主和S_次；

当S_主和S_次两项均为1时，将该档案标记为完整档案，并将完整档案发送至第一加权单元；

当S_主和S_次存在一项不为1时，将该档案标记为缺失档案；

在本发明的实施例中，通过将存储档案和录入档案进行比对，并以此为基础对档案进行区分，只是一种即时性的处理方式，因为所述录入档案是具有暂时性的，而如若想要获得已完成存储一段时间的存储档案的完整程度，可以采取以下方式进行处理；

将两个存储档案互相进行比对，获得存储档案的完整程度，并将所获得的完整程度标记为S_存；

当S_存＝1时，将该档案标记为完整档案，同样将完整档案发送至第一加权单元；

当S_存≠1时，将该档案标记为缺失档案。

需要进一步说明的是，在具体实施过程中，所述档案检测模块对缺失档案的缺失节点进行检测的过程包括：

当所述检测单元检测到存在缺失档案时，将构成两个缺失档案的各个子档案分别标记为D_主1、D_主2、……、D_主m和D_次1、D_次2、……、D_次m；

将同一个子档案互相进行比对，获得各个子档案的完整程度，并将所获得的完整程度标记为S_子1、S_子2、……、S_子m；

当S_子m＝1时，将该子档案标记为完整子档案；

当S_子m≠1时，将该子档案标记为缺失子档案；

获得所述缺失子档案的分布式存储节点，将该分布式存储节点标记为缺失节点，并将所述缺失子档案作为异常存储档案进行处理；

在本发明的实施例中，对于被标记为缺失节点的分布式存储节点进行进一步的处理，在该分布式存储节点中随机选择y个子档案，从其他分布式存储节点中获得与每个子档案相对应的另一个子档案，将所获得的同一个子档案互相进行比对，获得y个子档案的y个完整程度，同样的，根据所获得的完整程度对各个子档案进行标记，如若再次出现缺失子档案，则对该分布式存储节点进行性能评估，并获得评估结果，根据评估结果决定是否对该分布式存储节点进行更换，分布式存储节点的更换与否并不影响本发明实施例的实现。

需要进一步说明的是，在具体实施过程中，所述加权模块对完整档案以及子档案进行加权的过程包括：

设置第一加权单元，在所述第一加权单元内预先设置三级权限，分别为甲级权限、乙级权限、丙级权限，其中，三级权限的重要程度为：甲级＞乙级＞丙级；

当所述第一加权单元接收到完整档案时，对所接收的完整档案的重要程度进行评级，评级结果为一级档案、二级档案、三级档案，其中，评级结果的重要程度为：一级档案＞二级档案＞三级档案；

按照一级档案对应甲级权限、二级档案对应乙级权限、三级档案对应丙级权限的方式对完整档案进行加权，并生成第一权限标识，将第一权限标识与其所对应的完整档案进行绑定；

在本发明的实施例中，对于完整档案的重要程度进行评级的依据可以是由相关工作人员提前预设的评级模型，也可以根据所述完整档案的大小来进行评级，档案越大，评级越高，档案越小，评级越低，最终采取何种方式并不影响本发明实施例的实现；

设置第二加权单元，当所述第一加权单元生成第一权限标识后，在原有的三级权限的基础上，对三级权限进行排列组合，分别获得甲乙权限、甲丙权限、乙丙权限；

获得所述完整档案的各个子档案，按照随机分配的方式对各个子档案进行加权，将不同子档案的不同权限进行汇总，并将所汇总的内容标记为第二权限标识，将第二权限标识与其所对应的第一权限标识进行绑定；

本发明的发明人发现，在现有的技术中，对于档案的加权往往只是将档案作为一个整体去进行加权，这种一重加权的方式对于档案的保护是有限的，因此在本发明的技术方案中，在一重加权的基础上，对各个子档案进行二重加权，从而可以实现对于档案更大程度的保护。

需要进一步说明的是，在具体实施过程中，所述授权模块对查询人员进行授权以及对完整档案进行查询的过程包括：

设置授权单元，查询人员将想要查询的完整档案输入至所述授权单元，通过授权单元对查询人员的身份信息进行核实，在核实通过后将与其所输入的完整档案相绑定的第一权限标识发送至查询人员端；

将所获得的第一权限标识输入至所述授权单元，通过授权单元对第一权限标识进行核实，在核实通过后将与第一权限标识相绑定的第二权限标识发送至查询人员端；

设置查询单元，查询人员将第二权限标识输入至所述查询单元，通过查询单元对第二权限标识进行核实，在核实通过后将各个子档案整合为一个完整档案，并将其发送至查询人员端。

以上实施例仅用以说明本发明的技术方法而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方法进行修改或等同替换，而不脱离本发明技术方法的精神和范围。

Claims (1)

1.一种基于分布式存储的档案管理系统，包括主控中心，其特征在于，所述主控中心通信连接有档案存储模块、异常监测模块、档案检测模块、加权模块、授权模块；

所述档案存储模块用于对档案进行分布式存储；

所述异常监测模块用于对档案存储的过程进行监测，并获得异常存储档案，同时对异常存储档案进行再次存储；

所述档案检测模块用于对档案的完整程度进行检测，并根据完整程度将档案区分为完整档案和缺失档案，同时对缺失档案的缺失节点进行检测；

所述加权模块用于对完整档案以及子档案进行加权；

所述授权模块用于对查询人员进行授权以及对完整档案进行查询；

所述档案存储模块对档案进行分布式存储的过程包括：

获得可供分布式存储的节点数量；

设置录入单元，通过所述录入单元对档案进行录入，将所录入的档案切分为m个子档案；

在全部节点中随机选取一个节点作为第一个分布式存储节点；

获得其余每个节点与当前已有分布式存储节点之间的最短距离，获得其余每个节点被选为下一个分布式存储节点的概率值，选择最大概率值所对应的节点作为下一个分布式存储节点，重复这一选择步骤，直到选择出2m个分布式存储节点；

获得子档案的切分顺序，获得分布式存储节点的选择顺序，按照正序或倒序的方式对子档案和分布式存储节点进行匹配，将每个子档案按序依次存储至选择顺序相邻的两个分布式存储节点中，将存储同一个子档案的两个分布式存储节点进行绑定；

所述异常监测模块对档案存储的过程进行监测，并获得异常存储档案的过程包括：

设置监测周期；

设置监测单元，通过所述监测单元获得最近k个监测周期内的每个子档案的实时存储速度，并获得档案存储的波动程度C；

设置波动阈值C₀；

当C≤C₀时，将其标记为正常波动；

当C＞C₀时，将其标记为异常波动；

获得出现异常波动的波动程度所对应的子档案，并将所获得的子档案标记为异常存储档案；

所述异常监测模块对异常存储档案进行再次存储的过程包括：

设置处理单元，通过所述处理单元对异常存储档案进行处理，暂停该异常存储档案的存储过程，并获得与其相对应的分布式存储节点；

对分布式存储节点中已存储的该异常存储档案的部分进行删除，继续选择该分布式存储节点，对异常存储档案进行再次存储，通过所述监测单元对再次存储的过程进行监测；

所述档案检测模块对档案的完整程度进行检测的过程包括：

设置检测单元，通过所述检测单元将所存储的各个子档案进行整合，分别汇总成两个存储档案；

获得所录入的录入档案，将两个存储档案分别与录入档案进行比对，根据对比结果获得存储档案的完整程度，根据所获得的存储档案的完整程度区分存储档案的档案类型，所述档案类型包括完整档案和缺失档案；

所述档案检测模块对缺失档案的缺失节点进行检测的过程包括：

当所述检测单元检测到存在缺失档案时，将构成两个缺失档案的各个子档案中的同一个子档案互相进行比对，根据对比结果获得子档案的完整程度，根据所获得的子档案的完整程度区分子档案的档案类型，所述档案类型包括完整子档案和缺失子档案；

获得所述缺失子档案的分布式存储节点，将该分布式存储节点标记为缺失节点，并将所述缺失子档案作为异常存储档案进行处理；

所述加权模块对完整档案以及子档案进行加权的过程包括：

设置第一加权单元，通过所述第一加权单元对完整档案进行评级，并根据评级结果对完整档案设置相应的权限以完成对完整档案的加权，根据加权结果生成相应的第一权限标识；

设置第二加权单元，当第一加权单元生成第一权限标识后，通过所述第二加权单元对完整子档案进行加权，并生成第二权限标识；

所述授权模块对查询人员进行授权以及对完整档案进行查询的过程包括：

设置授权单元，查询人员将想要查询的完整档案输入至所述授权单元，在核实通过后将第一权限标识发送至查询人员端，将第一权限标识输入至所述授权单元，在核实通过后将第二权限标识发送至查询人员端；

设置查询单元，查询人员将第二权限标识输入至所述查询单元，在核实通过后将各个子档案整合为一个完整档案，并将其发送至查询人员端。