CN113434339A - 一种智能计算中心基于组合循环备份的数据加密传输系统与方法 - Google Patents

Abstract

本发明公开了一种智能计算中心基于组合循环备份的数据加密传输系统，包括如下功能模块：数据备份管理服务器(1)、数据修改日志单元(2)、多个数据存储单元(3)、储存大数据分析模块(4)和数据修改侦测模块(5)；其中，所述数据备份管理服务器(1)分别和所述数据修改日志单元(2)、多个所述数据存储单元(3)、所述储存大数据分析模块(4)和所述数据修改侦测模块(5)进行数据通信连接；所述数据备份管理服务器(1)用于完成数据文件的存储、备份和恢复和协调任务。本发明实现系统文件级操作的监测，对数据文件的修改进行表格目录化的登记管理制度，形成数据操作日志文件，通过分析数据操作日志，利用大数据分析方法，合理分析数据的存储特点、修改和备份特点，形成有效的数据分组方法，去更好的管理数据，进一步缩短恢复时间和减小占用空间。

Description

一种智能计算中心基于组合循环备份的数据加密传输系统与 方法

技术领域

本发明智能计算技术领域，具体为一种智能计算中心基于组合循环备份的数据加密传输系统与方法。

背景技术

随着高性能计算机、超级计算机的出现以及建设成本的降低，各地都在建设省级、市级的大数据中心、城市大脑，其利用高性能计算机、超级计算机，对省内、市内的各数据进行大数据的计算，为城市的安全、交通等各项工作提供指导运行和防控，对省、市的管理具备十分有价值的活动。随着人工智能技术的研究得到大的进步，人工智能计算中心为我们的城市提供越来越有意义的活动。人工智能计算中心是建设国家新一代人工智能创新发展试验区的重要基础设施，其可支持人工智能重大应用的模型训练及推理，其核心围绕数字设计、智能制造、智慧城市、基因测序四大应用场景，可广泛服务于自动驾驶、智慧城市、智慧医疗、智能交通等多个领域。

人工智能计算中心是以基于人工智能芯片构建的人工智能计算机集群为基础，涵盖了基建基础设施（机房基建）、硬件基础设施和软件基础设施的完整系统，主要应用于人工智能深度学习模型开发、模型训练和模型推理等场景，提供从底层芯片算力释放到顶层应用使能的人工智能全栈能力。

具体来说，人工智能计算中心包括3方面，软件基础设施、硬件基础设施和基建基础设施。其中，在硬件基础设施中，储存系统在人工智能计算中心中起到了重要的作用，是人工智能计算中心的重要基础。

为了保证数据存储的安全，通常会采用数据备份的方式，对数据的备份，通常包括3种备份方式：完全备份，每个档案都会被写进备份档去。即如果两个时间点备份之间，数据没有任何更动，那么所有备份数据都是一样的，备份系统不会检查自上次备份后，档案有没有被更动过，它只是机械性地将每个档案读出、写入，不管档案有没有被修改过。备份全部选中的文件及文件夹，并不依赖文件的存盘属性来确定备份哪些文件，这会导致占据许多存储空间；增量备份，跟完全备份不同，增量备份备份上一次的完全备份后发生变化的所有文件，档案的最后修改时间是否比上次备份的时间来得晚。增量备份常常跟完全备份合用差异备份是针对完全备份：备份上一次的完全备份后发生变化的所有文件。使用增量备份最大的好处在于备份速度：它的速度比完整备份快上许多，同时由于增量备份在做备份前会自动判断备份时间点及文件是否已作改动，所以相对于完全备份其对于节省存储空间也大有益处。增量备份的不足之处在于数据还原的时间较长，效率相对较低，例如，如果您要还原一个备份档案，您必须把所有增量备份的磁盘都找一遍，直到找到为止，如果您要复原整个档案系统，那就得先复原最近一次的完整备份，然后复原一个又一个的增量备份。差异备份，差异备份与增量备份一样，差异备份是针对完全备份。但前者的备份是累积的，即一个档案只要自上次完整备份后，曾被更新过，那么接下来每次做差异备份时，这个档案都会被备份，但是差异备份的大小，会随着时间过去而不断增加。

专利申请CN111352771A公开一种嵌入式系统本地数据循环备份方法及其系统和装置以及恢复方法。一种嵌入式系统本地数据循环备份方法，包括以下步骤：嵌入式系统启动时，从系统存储区获取当前的系统数据；系统存储区获取的系统数据更新到内存中；在内存写入数据，内存写入的数据以读写因子不小于3更新到系统数据的存储区块中，系统数据根据读写因子循环备份。本发明通过增大读写因子，防止区块永久性读写失败或者文件永久性读写异常，降低了物理区块的读写次数，提升使用寿命，减少数据损坏的可能性。

专利申请CN112232984A公开一种分布式数据中心算力与能流融合的综合能源系统优化调度方法，该方法包括以下步骤：S1建立分布式数据中心算力与能流融合的综合能源系统数学模型；S2建立包含经济性、安全性、清洁性的三个一级指标和若干个二级指标的综合能源系统运行评估指标体系；S3采用综合评价法确定各指标的综合权重；S4将运行成本最低、安全性最高、污染排放量最少作为三个目标函数，构建综合能源系统优化调度模型；S5将综合能源系统优化调度模型接入其数学模型，得到最优调度方法及结果。本发明将分布式数据中心纳入综合能源系统，从整体上对算力、电力、热力等其他能源综合进行优化调度，既减少了能源浪费，又增加了清洁能源的消纳量，提高系统灵活性。

专利申请CN 111176688A公开了一种多控存储集群的软件升级方法、装置、设备及计算机可读存储介质，方法包括：利用配置节点接收软件包，检测软件包是否可用，若是，将软件包分发给除配置节点外的控制器节点；利用软件包依次对各控制器节点的软件主程序进行升级，并在对当前控制节点进行升级时通过剩余控制器节点形成循环备份的关系并进行缓存数据备份，且进行IO负载均衡；当所有控制器节点的软件主程序完成升级时，对各控制器节点中的集群数据管理器进行同步升级。该申请公开的上述技术方案，通过软件主程序的依次升级及软件主程序和集群数据管理器的分步升级来实现软件的在线升级，以在尽量不中断IO处理的情况下实现软件的升级，从而提高多控存储集群的性能。

专利申请CN110515775A公开了一种缓存备份方法及集群存储系统，应用于两个以上的存储控制器构成的存储控制器组中，各存储控制器作为接收一存储控制器缓存数据的备份存储控制器的同时，作为向另一存储控制器发送自身缓存数据的源存储控制器，在进行缓存备份时，在存储控制器组中构成依次循环备份，而当有故障存储控制器存在时，将故障存储控制器的源存储控制器备份至故障存储控制器的备份存储控制器，并仍构成依次循环备份，从而，在存在存储控制器故障时，仍能保证数据不丢失以及传输的不中断，保证多存储控制器缓存数据的安全性的同时，降低备份的数据量。

专利申请CN 103176861A公开了一种应用于存储系统的数据备份方法，将数据分发存放在该系统的主节点存储介质中，在该主节点存储介质的下级节点的存储介质中存储该主节点存储介质所存储数据的备份数据，该下级节点存储介质存储的备份数据与该主节点存储介质存储的数据一致。本发明还提供一种存储系统。本发明提供的数据备份方法及存储系统，通过设置树形的节点备份结构，实现系统中数据持续性、可靠性的需求，节省系统成本。

专利申请CN101739310A公开了本发明提供了一种循环备份的方法，该方法从数据源获取待备份数据的信息，获取已备份数据的信息及已备份数据的版本数；信息包括数据的基本信息和辅助信息；版本数为基本信息相同辅助信息不同的数据版本的数目；判断已备份数据的信息中是否包含与待备份数据的基本信息和辅助信息都相同的数据信息，如果是则不备份，否则，判定与待备份数据的基本信息相同辅助信息不同的已备份数据的版本数小于预设版本数，则备份待备份数据及其信息，判定上述已备份数据的版本数等于预设版本数，更新与待备份数据的基本信息相同的已备份数据及其信息。本发明提供了一种循环备份的装置。本发明的方法及设备能够提高数据备份的效率及存储空间的利用率。

可见，目前，在数据备份的加密传输系统与方法中，特别是大数据计算中，还存在备以下缺陷；

1.现有的数据备份和数据件传输中，虽然具备完全备份、增量备份和差异备份，但是三种备份方法各有优缺点，如有些备份方法备份后恢复的时间长，但是占用的储存空间小，而对于恢复时间短的备份方案，但是其占用的存储空间却很长，然而，对人们来说，希望提高一种既恢复时间短而且占用的存储空间也小的技术方案，但是这恰恰是一组矛盾体，针对该矛盾体，并无有效的办法去综合该技术问题。

2. 其次，现有技术中，对数据的备份、修改和恢复，并没有做到合理的数据文件的管理登记制度，即对数据的备份、修改和恢复，并未有效的记载，以及分析数据存储的特点、修改特点等，这种方法显然不符合智能化的数据管理和分析，及分配和调度。

3. 现有技术中，也不存在对不同的数据分组，依据数据自身特点进行合理数据备份和数据恢复的操纵。

面对上述技术问题，人们希望提供一种能够处理数据快，占用储存数据空间小且数据处理效率高的技术方案。但到目前为止，现有技术中并无有效办法解决上述技术难题。

发明内容

本发明的目的在于提供一种一种智能计算中心基于组合循环备份的数据加密传输系统与方法，以解决快速数据恢复和减小占用数据空间的问题。

为实现上述目的，本发明提供如下技术方案：

一种智能计算中心基于组合循环备份的数据加密传输系统，

包括如下功能模块：数据备份管理服务器、数据修改日志单元、多个数据存储单元、储存大数据分析模块和数据修改侦测模块；

其中，所述数据备份管理服务器分别和所述数据修改日志单元、多个所述数据存储单元、所述储存大数据分析模块和所述数据修改侦测模块进行数据通信连接；所述数据备份管理服务器用于完成数据文件的存储、备份和恢复和协调任务；

所述数据备份管理服务器还包括数据分组规则存储模块，所述数据分组规则存储模块存储有对接收的数据文件进行网格化分组存储备份的数据分组规则，其中所述预先设定数据分配规则为专业人员依据自己的数据的特点预估设定的数据分组规则；

所述数据修改日志单元用于记录数据文件的存储和备份操作记录，所述操作记录的内容包括存储数据文件的索引、数据备份存储时间和所在数据分组的位置和所在的所述数据存储单元，同时供所述数据备份管理服务器进行数据备份的查询和管理工作；

所述数据存储单元依据所述数据备份管理服务器的分配和调度，用于对数据文件进行存储和备份工作；

所述储存大数据分析模块读取所述数据修改日志单元的操纵记录，对数据文件的大小、所在数据分组、所在的数据存储单元、数据修改备份的记录进行大数据分析，得出各存储数据文件的存储和备份频繁程度特点，形成以存储数据文件的索引为基础的存储和备份频繁程度特点的数据记录，并发送至所述数据备份管理服务器；

所述数据修改侦测模块用于侦测数据文件的修改记录，并发送至所述数据备份管理服务器，同时，发送至所述数据修改日志单元；

因此，在进行数据加密传输过程中，所述数据修改侦测模块对进行传输的数据文件进行侦测，以判断数据文件是否修改或者传输的数据文件是否未存储于所述数据存储单元，当所述数据文件为初次生成的数据文件时，将该数据文件的索引发送至所述数据备份管理服务器，所述数据备份管理服务器依据所述索引获取文件的大小，并依据所述预先设定数据分配规则将该所述数据文件分配到合适数据分组和对应于的所述数据存储单元，并将所述操作记录存储于所述数据修改日志单元；

当检测到所述数据文件为已经存储在所述数据存储单元且进行了修改的数据文件时，所述数据备份管理服务器将该修改后的数据备份到相应的数据分组和所述数据存储单元中，并将所述操作记录存储于所述数据修改日志单元。

优选的，在数据备份管理服务器中存储的所述预先设定数据分组规则用于进行数据分组，其中，所述预先设定数据分组规则为该数据存储单元中存储的数据，对数据大小、预期修改的频繁程度进行合理的设置，以使得修改频繁程度按频次、修改时间段进行数据分组存储。

优选的，所述储存大数据分析模块在依据所述数据修改日志单元的操纵记录进行大数据分析，得出各存储数据文件的大小、备份频繁程度和备份频繁的时段，从而形成在不同时段的数据分组形成以存储数据文件的索引为基础的存储和备份频繁程度特点的数据分组规则，并发送至所述数据备份管理服务器的所述数据分组规则存储模块以替换已经存储的数据分组规则，以便对已经存储在所述数据存储单元中数据文件进行重新数据分组和数据存储，同时对所述数据修改日志单元内存储的操作记录进行更新，以便使已经存储的数据安装新的分组映射进行数据分组；同时，对所述数据修改侦测模块侦测到的数据文件或修改文件安装新的所述数据分组规则进行数据分组和备份处理。

优选的，还通过所述储存大数据分析模块读取所述数据修改日志单元的操纵记录进行大数据分析，分析各所述数据分组的恢复频繁程度，当恢复的频繁程度的次数达到一定值时，按一定时间段对该所述数据分组采用完全备份的方式进行数据备份，并在所述数据修改日志单元进行记录；对所述数据分组中，数据修改存在一定频繁程度的次数，但数据恢复的频繁程度次数未达到所述一定值时，按一定时间段对该所述数据分组采用差异备份的方式进行数据备份。

优选的，对所述数据分组中，数据修改存在一定频繁程度的次数，但数据恢复的频繁程度次数未达到所述一定值时，按一定时间段对该所述数据分组采用增量备份的方式进行数据备份。

优选的，对所有数据分组中，依据所述数据分组中数据文件的大小按照不同数据备份方式进行备份，其对所述数据分组的大小大于一定值时采用增量备份方式对该数据分组进行备份，其余分组采用完全备份或差异备份的方式进行备份。

优选的，在进行数据分组中，使数据文件文件较大的数据文件处于一个数据分组，数据文件较小的数据文件处于一个数据分组；或使数据文件修改频繁频次较大的数据文件处于一个数据分组，数据文件修改频繁频次较小的数据文件处于一个数据分组。

另外一方面，本申请还提供一种智能计算中心基于组合循环备份的数据加密传输方法，包括智能计算中心基于组合循环备份的数据加密传输系统，在进行数据的备份和储存中，具体数据加密传输方法采用如下具体方法执行：

步骤S1，在数据通过数据加密传输系统进行存储时，所述数据备份管理服务器对接收的数据文件依据预先设定的数据分组规则进行网格化分组存储备份，其中所述预先设定数据分配规则为专业人员依据自己的数据的特点预估设定的数据分组规定，同时，所述数据备份管理服务器向所述数据修改记录日志单元登记记录该数据文件的索引、数据备份存储时间和所在数据分组位置和所在的所述数据存储单元；

步骤S2，在进行数据加密传输过程中，所述数据修改侦测模块对进行传输的数据文件进行侦测，以判断数据文件是否修改或者传输的数据文件是否未存储于所述数据存储单元；

步骤S3，当所述数据文件为初次生成的数据文件时，将该数据文件的索引发送至所述数据备份管理服务器，所述数据备份管理服务器依据所述索引获取文件的大小，并依据所述预先设定数据分配规则将该所述数据文件分配到合适数据分组和对应于的所述数据存储单元，并将所述操作记录存储于所述数据修改日志单元；

步骤S4，当检测到所述数据文件为已经存储在所述数据存储单元且进行了修改的数据文件时，所述数据备份管理服务器将该修改后的数据备份到相应的数据分组和所述数据存储单元中，并将所述操作记录存储于所述数据修改日志单元；

步骤S5，所述数据修改日志单元用于记录数据文件的存储和备份操作记录，所述操作记录的内容包括存储数据文件的索引、数据备份存储时间和所在数据分组的位置和所在的所述数据存储单元，同时供所述数据备份管理服务器进行数据备份的查询和管理工作；

步骤S6，所述储存大数据分析模块读取所述数据修改日志单元的操纵记录，对数据文件的大小、所在数据分组、所在的数据存储单元、数据修改备份的记录进行大数据分析，得出各存储数据文件的存储和备份频繁程度特点，形成以存储数据文件的索引为基础的存储和备份频繁程度特点的数据记录，并发送至所述数据备份管理服务器；

步骤S7，所述储存大数据分析模块在依据所述数据修改日志单元的操纵记录进行大数据分析，得出各存储数据文件的大小、备份频繁程度和备份频繁的时段，从而形成在不同时段的数据分组形成以存储数据文件的索引为基础的存储和备份频繁程度特点的数据分组规则，并发送至所述数据备份管理服务器的所述数据分组规则存储模块以替换已经存储的数据分组规则，以便对已经存储在所述数据存储单元中数据文件进行重新数据分组和数据存储，同时对所述数据修改日志单元内存储的操作记录进行更新，以便使已经存储的数据安装新的分组映射进行数据分组；同时，对所述数据修改侦测模块侦测到的数据文件或修改文件安装新的所述数据分组规则进行数据分组和备份处理。

优选的，在进行数据分组中，使数据文件文件较大的数据文件处于一个数据分组，数据文件较小的数据文件处于一个数据分组；或使数据文件修改频繁频次较大的数据文件处于一个数据分组，数据文件修改频繁频次较小的数据文件处于一个数据分组。

另外一方面，本申请还提供一种计算机储存介质，包括数据备份管理服务器、数据修改日志单元、多个数据存储单元、储存大数据分析模块和数据修改侦测模块，用于执行前述的一种智能计算中心基于组合循环备份的数据加密传输方法。

与现有技术相比，本发明的有益效果是：

1、本发明的智能计算中心基于组合循环备份的数据加密传输系统和方法，采用了组合式循环备份的技术，对数据进行大数据的分析，进行合理数据划分网格的方式，分割成多个数据分组，并依据数据文件的大小特点、数据备份和恢复特点，合理进行数据分组，从而备份和恢复时只针对部分数据组，从而节省了备份时间，同时减小占用的存储空间，综合起到了很好的技术效果。

2、本发明的智能计算中心基于组合循环备份的数据加密传输系统和方法，可以实现系统文件级操作的监测，对数据文件的修改进行表格目录化的登记管理制度，形成数据操作日志文件，通过分析数据操作日志，利用大数据分析方法，合理分析数据的存储特点、修改和备份特点，形成有效的数据分组方法，去更好的管理数据，进一步缩短恢复时间和减小占用空间。

附图说明

图1为本发明的智能计算中心基于组合循环备份的数据加密传输系统和方法的监测流程图。

图中：1、数据备份管理服务器；2、数据修改日志单元；3、数据存储单元；4、储存大数据分析模块；5、数据修改侦测模块；6、数据分组规则存储模块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

具体实施例一：

请参阅图1，本发明提供一种技术方案：一种智能计算中心基于组合循环备份的数据加密传输系统，

包括如下功能模块：数据备份管理服务器1、数据修改日志单元2、多个数据存储单元3、储存大数据分析模块4和数据修改侦测模块5；

其中，所述数据备份管理服务器1分别和所述数据修改日志单元2、多个所述数据存储单元3、所述储存大数据分析模块4和所述数据修改侦测模块5进行数据通信连接；所述数据备份管理服务器1用于完成数据文件的存储、备份和恢复和协调任务；

所述数据备份管理服务器1还包括数据分组规则存储模块6，所述数据分组规则存储模块6存储有对接收的数据文件进行网格化分组存储备份的数据分组规则，其中所述预先设定数据分配规则为专业人员依据自己的数据的特点预估设定的数据分组规则；

所述数据修改日志单元2用于记录数据文件的存储和备份操作记录，所述操作记录的内容包括存储数据文件的索引、数据备份存储时间和所在数据分组的位置和所在的所述数据存储单元3，同时供所述数据备份管理服务器1进行数据备份的查询和管理工作；

所述数据存储单元3依据所述数据备份管理服务器1的分配和调度，用于对数据文件进行存储和备份工作；

所述储存大数据分析模块4读取所述数据修改日志单元2的操纵记录，对数据文件的大小、所在数据分组、所在的数据存储单元、数据修改备份的记录进行大数据分析，得出各存储数据文件的存储和备份频繁程度特点，形成以存储数据文件的索引为基础的存储和备份频繁程度特点的数据记录，并发送至所述数据备份管理服务器1；

所述数据修改侦测模块5用于侦测数据文件的修改记录，并发送至所述数据备份管理服务器1，同时，发送至所述数据修改日志单元2；

因此，在进行数据加密传输过程中，所述数据修改侦测模块5对进行传输的数据文件进行侦测，以判断数据文件是否修改或者传输的数据文件是否未存储于所述数据存储单元3，当所述数据文件为初次生成的数据文件时，将该数据文件的索引发送至所述数据备份管理服务器1，所述数据备份管理服务器1依据所述索引获取文件的大小，并依据所述预先设定数据分配规则将该所述数据文件分配到合适数据分组和对应于的所述数据存储单元3，并将所述操作记录存储于所述数据修改日志单元2；

当检测到所述数据文件为已经存储在所述数据存储单元3且进行了修改的数据文件时，所述数据备份管理服务器1将该修改后的数据备份到相应的数据分组和所述数据存储单元3中，并将所述操作记录存储于所述数据修改日志单元2。

优选的，在数据备份管理服务器1中存储的所述预先设定数据分组规则用于进行数据分组，其中，所述预先设定数据分组规则为该数据存储单元3中存储的数据，对数据大小、预期修改的频繁程度进行合理的设置，以使得修改频繁程度按频次、修改时间段进行数据分组存储。

优选的，所述储存大数据分析模块4在依据所述数据修改日志单元2的操纵记录进行大数据分析，得出各存储数据文件的大小、备份频繁程度和备份频繁的时段，从而形成在不同时段的数据分组形成以存储数据文件的索引为基础的存储和备份频繁程度特点的数据分组规则，并发送至所述数据备份管理服务器1的所述数据分组规则存储模块6以替换已经存储的数据分组规则，以便对已经存储在所述数据存储单元3中数据文件进行重新数据分组和数据存储，同时对所述数据修改日志单元2内存储的操作记录进行更新，以便使已经存储的数据安装新的分组映射进行数据分组；同时，对所述数据修改侦测模块5侦测到的数据文件或修改文件安装新的所述数据分组规则进行数据分组和备份处理。

优选的，还通过所述储存大数据分析模块4读取所述数据修改日志单元2的操纵记录进行大数据分析，分析各所述数据分组的恢复频繁程度，当恢复的频繁程度的次数达到一定值时，按一定时间段对该所述数据分组采用完全备份的方式进行数据备份，并在所述数据修改日志单元2进行记录；对所述数据分组中，数据修改存在一定频繁程度的次数，但数据恢复的频繁程度次数未达到所述一定值时，按一定时间段对该所述数据分组采用差异备份的方式进行数据备份。

优选的，对所述数据分组中，数据修改存在一定频繁程度的次数，但数据恢复的频繁程度次数未达到所述一定值时，按一定时间段对该所述数据分组采用增量备份的方式进行数据备份。

优选的，对所有数据分组中，依据所述数据分组中数据文件的大小按照不同数据备份方式进行备份，其对所述数据分组的大小大于一定值时采用增量备份方式对该数据分组进行备份，其余分组采用完全备份或差异备份的方式进行备份。

优选的，在进行数据分组中，使数据文件文件较大的数据文件处于一个数据分组，数据文件较小的数据文件处于一个数据分组；或使数据文件修改频繁频次较大的数据文件处于一个数据分组，数据文件修改频繁频次较小的数据文件处于一个数据分组。

具体实施例二：

另外一方面，本申请还提供一种智能计算中心基于组合循环备份的数据加密传输方法，包括如权利要求2-7中任意一项所述的智能计算中心基于组合循环备份的数据加密传输系统与方法，在进行数据的备份和储存中，具体数据加密传输方法采用如下具体方法执行：

步骤S1，在数据通过数据加密传输系统进行存储时，所述数据备份管理服务器1对接收的数据文件依据预先设定的数据分组规则进行网格化分组存储备份，其中所述预先设定数据分配规则为专业人员依据自己的数据的特点预估设定的数据分组规定，同时，所述数据备份管理服务器1向所述数据修改记录日志单元2登记记录该数据文件的索引、数据备份存储时间和所在数据分组位置和所在的所述数据存储单元3；

步骤S2，在进行数据加密传输过程中，所述数据修改侦测模块5对进行传输的数据文件进行侦测，以判断数据文件是否修改或者传输的数据文件是否未存储于所述数据存储单元3；

步骤S3，当所述数据文件为初次生成的数据文件时，将该数据文件的索引发送至所述数据备份管理服务器1，所述数据备份管理服务器1依据所述索引获取文件的大小，并依据所述预先设定数据分配规则将该所述数据文件分配到合适数据分组和对应于的所述数据存储单元3，并将所述操作记录存储于所述数据修改日志单元2；

步骤S4，当检测到所述数据文件为已经存储在所述数据存储单元3且进行了修改的数据文件时，所述数据备份管理服务器1将该修改后的数据备份到相应的数据分组和所述数据存储单元3中，并将所述操作记录存储于所述数据修改日志单元2；

步骤S5，所述数据修改日志单元2用于记录数据文件的存储和备份操作记录，所述操作记录的内容包括存储数据文件的索引、数据备份存储时间和所在数据分组的位置和所在的所述数据存储单元3，同时供所述数据备份管理服务器1进行数据备份的查询和管理工作；

步骤S6，所述储存大数据分析模块4读取所述数据修改日志单元2的操纵记录，对数据文件的大小、所在数据分组、所在的数据存储单元、数据修改备份的记录进行大数据分析，得出各存储数据文件的存储和备份频繁程度特点，形成以存储数据文件的索引为基础的存储和备份频繁程度特点的数据记录，并发送至所述数据备份管理服务器1；

步骤S7，所述储存大数据分析模块4在依据所述数据修改日志单元2的操纵记录进行大数据分析，得出各存储数据文件的大小、备份频繁程度和备份频繁的时段，从而形成在不同时段的数据分组形成以存储数据文件的索引为基础的存储和备份频繁程度特点的数据分组规则，并发送至所述数据备份管理服务器1的所述数据分组规则存储模块6以替换已经存储的数据分组规则，以便对已经存储在所述数据存储单元3中数据文件进行重新数据分组和数据存储，同时对所述数据修改日志单元2内存储的操作记录进行更新，以便使已经存储的数据安装新的分组映射进行数据分组；同时，对所述数据修改侦测模块5侦测到的数据文件或修改文件安装新的所述数据分组规则进行数据分组和备份处理。

优选的，在进行数据分组中，使数据文件文件较大的数据文件处于一个数据分组，数据文件较小的数据文件处于一个数据分组；或使数据文件修改频繁频次较大的数据文件处于一个数据分组，数据文件修改频繁频次较小的数据文件处于一个数据分组。

具体实施例三：

本申请还提供一种计算机储存介质，包括数据备份管理服务器1、数据修改日志单元2、多个数据存储单元3、储存大数据分析模块4和数据修改侦测模块5，用于执行前述的一种智能计算中心基于组合循环备份的数据加密传输方法。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种智能计算中心基于组合循环备份的数据加密传输系统，其特征在于：包括如下功能模块：数据备份管理服务器(1)、数据修改日志单元(2)、多个数据存储单元(3)、储存大数据分析模块(4)和数据修改侦测模块(5)。

2.根据权利要求2所述的一种智能计算中心基于组合循环备份的数据加密传输系统，其特征在于：其中，所述数据备份管理服务器(1)分别和所述数据修改日志单元(2)、多个所述数据存储单元(3)、所述储存大数据分析模块(4)和所述数据修改侦测模块(5)进行数据通信连接；所述数据备份管理服务器(1)用于完成数据文件的存储、备份和恢复和协调任务；

所述数据备份管理服务器(1)还包括数据分组规则存储模块(6)，所述数据分组规则存储模块(6)存储有对接收的数据文件进行网格化分组存储备份的数据分组规则，其中所述预先设定数据分配规则为专业人员依据自己的数据的特点预估设定的数据分组规则；

所述数据修改日志单元(2)用于记录数据文件的存储和备份操作记录，所述操作记录的内容包括存储数据文件的索引、数据备份存储时间和所在数据分组的位置和所在的所述数据存储单元(3)，同时供所述数据备份管理服务器(1)进行数据备份的查询和管理工作；

所述数据存储单元(3)依据所述数据备份管理服务器(1)的分配和调度，用于对数据文件进行存储和备份工作；

所述储存大数据分析模块(4)读取所述数据修改日志单元(2)的操纵记录，对数据文件的大小、所在数据分组、所在的数据存储单元、数据修改备份的记录进行大数据分析，得出各存储数据文件的存储和备份频繁程度特点，形成以存储数据文件的索引为基础的存储和备份频繁程度特点的数据记录，并发送至所述数据备份管理服务器(1)；

所述数据修改侦测模块(5)用于侦测数据文件的修改记录，并发送至所述数据备份管理服务器(1)，同时，发送至所述数据修改日志单元(2)；

因此，在进行数据加密传输过程中，所述数据修改侦测模块(5)对进行传输的数据文件进行侦测，以判断数据文件是否修改或者传输的数据文件是否未存储于所述数据存储单元(3)，当所述数据文件为初次生成的数据文件时，将该数据文件的索引发送至所述数据备份管理服务器(1)，所述数据备份管理服务器(1)依据所述索引获取文件的大小，并依据所述预先设定数据分配规则将该所述数据文件分配到合适数据分组和对应于的所述数据存储单元(3)，并将所述操作记录存储于所述数据修改日志单元(2)；

当检测到所述数据文件为已经存储在所述数据存储单元(3)且进行了修改的数据文件时，所述数据备份管理服务器(1)将该修改后的数据备份到相应的数据分组和所述数据存储单元(3)中，并将所述操作记录存储于所述数据修改日志单元(2)；

在数据备份管理服务器(1)中存储的所述预先设定数据分组规则用于进行数据分组，其中，所述预先设定数据分组规则为该数据存储单元(3)中存储的数据，对数据大小、预期修改的频繁程度进行合理的设置，以使得修改频繁程度按频次、修改时间段进行数据分组存储。

3.根据权利要求2所述的一种智能计算中心基于组合循环备份的数据加密传输系统，其特征在于：所述储存大数据分析模块(4)在依据所述数据修改日志单元(2)的操纵记录进行大数据分析，得出各存储数据文件的大小、备份频繁程度和备份频繁的时段，从而形成在不同时段的数据分组形成以存储数据文件的索引为基础的存储和备份频繁程度特点的数据分组规则，并发送至所述数据备份管理服务器(1)的所述数据分组规则存储模块(6)以替换已经存储的数据分组规则，以便对已经存储在所述数据存储单元(3)中数据文件进行重新数据分组和数据存储，同时对所述数据修改日志单元(2)内存储的操作记录进行更新，以便使已经存储的数据安装新的分组映射进行数据分组；同时，对所述数据修改侦测模块(5)侦测到的数据文件或修改文件安装新的所述数据分组规则进行数据分组和备份处理。

4.根据权利要求2所述的一种智能计算中心基于组合循环备份的数据加密传输系统，其特征在于：还通过所述储存大数据分析模块(4)读取所述数据修改日志单元(2)的操纵记录进行大数据分析，分析各所述数据分组的恢复频繁程度，当恢复的频繁程度的次数达到一定值时，按一定时间段对该所述数据分组采用完全备份的方式进行数据备份，并在所述数据修改日志单元(2)进行记录；对所述数据分组中，数据修改存在一定频繁程度的次数，但数据恢复的频繁程度次数未达到所述一定值时，按一定时间段对该所述数据分组采用差异备份的方式进行数据备份。

5.根据权利要求4所述的一种智能计算中心基于组合循环备份的数据加密传输系统，其特征在于：对所述数据分组中，数据修改存在一定频繁程度的次数，但数据恢复的频繁程度次数未达到所述一定值时，按一定时间段对该所述数据分组采用增量备份的方式进行数据备份。

6.根据权利要求4或5所述的一种智能计算中心基于组合循环备份的数据加密传输系统，其特征在于：对所有数据分组中，依据所述数据分组中数据文件的大小按照不同数据备份方式进行备份，其对所述数据分组的大小大于一定值时采用增量备份方式对该数据分组进行备份，其余分组采用完全备份或差异备份的方式进行备份。

7.根据权利要求2-6任意一项所述的一种智能计算中心基于组合循环备份的数据加密传输系统，其特征在于：在进行数据分组中，使数据文件文件较大的数据文件处于一个数据分组，数据文件较小的数据文件处于一个数据分组；或使数据文件修改频繁频次较大的数据文件处于一个数据分组，数据文件修改频繁频次较小的数据文件处于一个数据分组。

8.一种智能计算中心基于组合循环备份的数据加密传输方法，包括如权利要求2-7中任意一项所述的智能计算中心基于组合循环备份的数据加密传输系统，在进行数据的备份和储存中，具体数据加密传输方法采用如下具体方法执行：

步骤S1，在数据通过数据加密传输系统进行存储时，所述数据备份管理服务器(1)对接收的数据文件依据预先设定的数据分组规则进行网格化分组存储备份，其中所述预先设定数据分配规则为专业人员依据自己的数据的特点预估设定的数据分组规定，同时，所述数据备份管理服务器(1)向所述数据修改记录日志单元(2)登记记录该数据文件的索引、数据备份存储时间和所在数据分组位置和所在的所述数据存储单元(3)；

步骤S2，在进行数据加密传输过程中，所述数据修改侦测模块(5)对进行传输的数据文件进行侦测，以判断数据文件是否修改或者传输的数据文件是否未存储于所述数据存储单元(3)；

步骤S3，当所述数据文件为初次生成的数据文件时，将该数据文件的索引发送至所述数据备份管理服务器(1)，所述数据备份管理服务器(1)依据所述索引获取文件的大小，并依据所述预先设定数据分配规则将该所述数据文件分配到合适数据分组和对应于的所述数据存储单元(3)，并将所述操作记录存储于所述数据修改日志单元(2)；

步骤S4，当检测到所述数据文件为已经存储在所述数据存储单元(3)且进行了修改的数据文件时，所述数据备份管理服务器(1)将该修改后的数据备份到相应的数据分组和所述数据存储单元(3)中，并将所述操作记录存储于所述数据修改日志单元(2)；

步骤S5，所述数据修改日志单元(2)用于记录数据文件的存储和备份操作记录，所述操作记录的内容包括存储数据文件的索引、数据备份存储时间和所在数据分组的位置和所在的所述数据存储单元(3)，同时供所述数据备份管理服务器(1)进行数据备份的查询和管理工作；

步骤S6，所述储存大数据分析模块(4)读取所述数据修改日志单元(2)的操纵记录，对数据文件的大小、所在数据分组、所在的数据存储单元、数据修改备份的记录进行大数据分析，得出各存储数据文件的存储和备份频繁程度特点，形成以存储数据文件的索引为基础的存储和备份频繁程度特点的数据记录，并发送至所述数据备份管理服务器(1)；

步骤S7，所述储存大数据分析模块(4)在依据所述数据修改日志单元(2)的操纵记录进行大数据分析，得出各存储数据文件的大小、备份频繁程度和备份频繁的时段，从而形成在不同时段的数据分组形成以存储数据文件的索引为基础的存储和备份频繁程度特点的数据分组规则，并发送至所述数据备份管理服务器(1)的所述数据分组规则存储模块(6)以替换已经存储的数据分组规则，以便对已经存储在所述数据存储单元(3)中数据文件进行重新数据分组和数据存储，同时对所述数据修改日志单元(2)内存储的操作记录进行更新，以便使已经存储的数据安装新的分组映射进行数据分组；同时，对所述数据修改侦测模块(5)侦测到的数据文件或修改文件安装新的所述数据分组规则进行数据分组和备份处理。

9.根据权利要求8所述的一种智能计算中心基于组合循环备份的数据加密传输方法，其特征在于：在进行数据分组中，使数据文件文件较大的数据文件处于一个数据分组，数据文件较小的数据文件处于一个数据分组；或使数据文件修改频繁频次较大的数据文件处于一个数据分组，数据文件修改频繁频次较小的数据文件处于一个数据分组。

10.一种计算机储存介质，包括数据备份管理服务器(1)、数据修改日志单元(2)、多个数据存储单元(3)、储存大数据分析模块(4)和数据修改侦测模块(5)，用于执行根据权利要求8-9中任意一项所述的一种智能计算中心基于组合循环备份的数据加密传输方法。

Images