CN115933986A - 一种具有高冗余量的计算存储阵列 - Google Patents

一种具有高冗余量的计算存储阵列 Download PDF

Info

Publication number
CN115933986A
CN115933986A CN202211703785.XA CN202211703785A CN115933986A CN 115933986 A CN115933986 A CN 115933986A CN 202211703785 A CN202211703785 A CN 202211703785A CN 115933986 A CN115933986 A CN 115933986A
Authority
CN
China
Prior art keywords
backup
terminal
data
storage
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211703785.XA
Other languages
English (en)
Other versions
CN115933986B (zh
Inventor
许丰
王新军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Quantum Core Cloud Beijing Microelectronics Technology Co ltd
Original Assignee
Quantum Core Cloud Beijing Microelectronics Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Quantum Core Cloud Beijing Microelectronics Technology Co ltd filed Critical Quantum Core Cloud Beijing Microelectronics Technology Co ltd
Priority to CN202211703785.XA priority Critical patent/CN115933986B/zh
Publication of CN115933986A publication Critical patent/CN115933986A/zh
Application granted granted Critical
Publication of CN115933986B publication Critical patent/CN115933986B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种具有高冗余量的计算存储阵列，包括CPU终端、GPU终端、硬盘终端、分区终端、备份终端、搜索终端和人机交互终端；硬盘终端由预设数量的存储模块组成；CPU终端、GPU终端、分区终端、备份终端和搜索终端连接至预设数量的存储模块之中形成计算存储阵列；GPU终端用于进行冗余数据计算和加密运算；分区终端用于对硬盘终端内的全部存储模块进行分区，分出存储区和备份区；备份终端用于根据数据类型生成备份指令并将备份指令发送至CPU终端；搜索终端用于根据搜索信息搜索出对应的数据；人机交互终端用于供管理员输入或选择搜索信息，用于显示搜索出的数据，展示硬盘终端的存储状态。本发明具有提高数据传输速度和存储安全性的效果。

Description

一种具有高冗余量的计算存储阵列
技术领域
本发明涉及电数字数据处理的技术领域，具体涉及一种具有高冗余量的计算存储阵列。
背景技术
随着存储技术的发展，人们对于存储的快捷、安全，大容量等的需求越来越高。那么之前的存储阵列就不满足要求了，而且提高安全性和速度，就要花很大的代价进行设备升级，增加安全设备等。存储阵列是指把多个磁盘组成一个阵列，当作单一磁盘使用，它将数据以分段的方式储存在不同的磁盘中，存取数据时，阵列中的相关磁盘一起动作，大幅减低数据的存取时间，同时有更佳的空间利用率。
现在已经开发出了很多存储阵列，经过我们大量的检索与参考，发现现有技术的存储阵列有如公开号为CN207115383U、EP0020608B1、US10649659B2、JP2006031694A所公开的存储阵列，这些存储阵列一般包括：存储器及控制器，控制器与存储器电连接，以执行将从主机接收的数据写入到存储器的写入动作、及内部动作的方式构成。上述的存储阵列只具备硬盘的冗余读写和传输的功能，没有额外的计算功能。控制器和简化的操作系统都用于硬盘存储的调度和管理，造成了数据传输速度降低和数据存储安全性降低的缺陷。
发明内容
本发明的目的在于，针对上述存储阵列存在的不足，提出一种具有高冗余量的计算存储阵列。
本发明采用如下技术方案：
一种具有高冗余量的计算存储阵列，包括CPU终端、GPU终端、硬盘终端、分区终端、备份终端、搜索终端和人机交互终端；
所述硬盘终端由预设数量的存储模块组成；所述CPU终端、GPU终端、分区终端、备份终端和搜索终端连接至预设数量的存储模块之中形成计算存储阵列；所述CPU终端用于调度和管理存储模块；所述GPU终端用于提供额外的加速运算，进行冗余数据计算和加密运算；所述分区终端用于对硬盘终端内的全部存储模块进行分区，分出存储区和备份区；所述备份终端用于根据数据类型生成备份指令并将备份指令发送至CPU终端；所述搜索终端用于根据搜索信息搜索出对应的数据；
所述人机交互终端用于供管理员输入或选择搜索信息，用于显示搜索出的数据，用于展示硬盘终端的存储状态和备份状态。
可选的，所述分区终端包括存储场景信息获取模块、数据类型信息获取模块和分区模块；所述存储场景获取模块用于获取存储场景信息；所述数据类型信息获取模块用于获取数据类型信息；所述分区模块用于根据存储场景信息和数据类型信息选择对应的分区模式并根据分区模式进行分区；
所述备份终端包括备份标记读取模块、数据容量获取模块、类型占比计算模块、备份判断模块和备份指令生成模块；所述备份标记读取模块用于读取被存储数据的备份标记信息；所述数据容量获取模块用于获取被存储数据的数据容量；所述类型占比计算模块用于计算已备份数据中与被存储数据同类型的数据的占比；所述备份判断模块用于根据被存储数据的备份标记信息、数据容量和类型占比判断是否进行备份，生成备份判断信息；所述备份指令生成模块用于根据备份判断信息生成对应的备份指令。
可选的，当所述分区模块选择分区模式之前，利用以下公式计算分区指数：
Figure DEST_PATH_IMAGE001
其中，
Figure DEST_PATH_IMAGE002
表示分区指数；
Figure DEST_PATH_IMAGE003
表示分区基准值，由管理员根据经验设定；
Figure DEST_PATH_IMAGE004
表示指数值选择函数；
Figure DEST_PATH_IMAGE005
表示权重函数；
Figure DEST_PATH_IMAGE006
式中，
Figure DEST_PATH_IMAGE007
表示第一参考数值，
Figure DEST_PATH_IMAGE008
表示基准值确定函数；
Figure DEST_PATH_IMAGE009
表示第一参考数值的指数值确定函数；
Figure DEST_PATH_IMAGE010
Figure DEST_PATH_IMAGE011
式中，
Figure DEST_PATH_IMAGE012
表示存储场景信息中的场景类型；
Figure DEST_PATH_IMAGE013
至
Figure DEST_PATH_IMAGE014
表示场景类型对应的场景数值，均由管理员根据经验设定；
Figure DEST_PATH_IMAGE015
表示存储场景信息中的场景建筑面积；
Figure DEST_PATH_IMAGE016
至
Figure DEST_PATH_IMAGE017
分别表示不同场景建筑面积区间对应的指数值，均由管理员根据经验设定；
Figure DEST_PATH_IMAGE018
至
Figure 74565DEST_PATH_IMAGE017
均大于1，且
Figure DEST_PATH_IMAGE019
；
Figure DEST_PATH_IMAGE020
Figure DEST_PATH_IMAGE021
式中，
Figure DEST_PATH_IMAGE022
表示数据类型信息中的数据类型；
Figure DEST_PATH_IMAGE023
表示数据类型为数字类型；
Figure DEST_PATH_IMAGE024
表示数据类型为图片类型；
Figure DEST_PATH_IMAGE025
表示数据类型为视频类型；
Figure DEST_PATH_IMAGE026
和
Figure DEST_PATH_IMAGE027
分别表示最小权重值和最大权重值，均由管理员根据实际情况设定；
基于不同的分区指数选择分区模式时，满足以下式子：
Figure DEST_PATH_IMAGE028
式中，
Figure DEST_PATH_IMAGE029
表示分区模式选择函数；
Figure DEST_PATH_IMAGE030
表示第一分区模式，用于将所述硬盘终端中的80%的存储模块划分为存储区，20%的存储模块划分为备份区；
Figure DEST_PATH_IMAGE031
表示第二分区模式，用于将所述硬盘终端中的70%的存储模块划分为存储区，30%的存储模块划分为备份区；
Figure DEST_PATH_IMAGE032
表示第三分区模式，用于将所述硬盘终端中的60%的存储模块划分为存储区，40%的存储模块划分为备份区；
Figure DEST_PATH_IMAGE033
表示第四分区模式，用于将所述硬盘终端中的50%的存储模块划分为存储区，50%的存储模块划分为备份区。要说明的是建筑面积指的是本发明应用场景的建筑面积，例如在互联网公司，那么建筑面积就是互联网公司的建筑面积；如果应用在百货公司，那么建筑面积就是百货公司的建筑面积；如果应用在银行总部，那么建筑面积就是银行总部的建筑面积。
可选的，所述备份判断模块进行判断时满足以下式子：
Figure DEST_PATH_IMAGE034
Figure DEST_PATH_IMAGE035
Figure DEST_PATH_IMAGE036
Figure DEST_PATH_IMAGE037
其中，
Figure DEST_PATH_IMAGE038
表示判断指数；
Figure DEST_PATH_IMAGE039
表示基于备份标记信息的选值窗函数；
Figure DEST_PATH_IMAGE040
表示备份标记信息中的标记值；
Figure DEST_PATH_IMAGE041
表示判断最大基准值，由管理员根据经验设定，使得当
Figure DEST_PATH_IMAGE042
时，
Figure DEST_PATH_IMAGE043
；
Figure DEST_PATH_IMAGE044
表示数据容量；
Figure DEST_PATH_IMAGE045
表示数据容量指数转换系数，由管理员根据经验设定；
Figure DEST_PATH_IMAGE046
表示基于类型占比的符号选择函数；
Figure DEST_PATH_IMAGE047
表示被存储数据的类型占比；
Figure DEST_PATH_IMAGE048
表示类型占比指数转换系数，由管理员根据经验设定；
Figure DEST_PATH_IMAGE049
表示备份判断信息函数；
Figure DEST_PATH_IMAGE050
表示判定值，由管理员根据经验设定。
Figure DEST_PATH_IMAGE051
是指备份判断信息表示无需备份；
Figure DEST_PATH_IMAGE052
是指备份判断信息表示需备份。
可选的，所述备份终端还包括备份标记校对模块，所述备份标记校对模块用于对备份标记信息中的标记值进行校对；所述备份标记信息的初始标记值由操作者预先设定；
当被存储数据的备份标记信息的初始标记值为0时，所述备份标记校对模块进行校对时，满足以下式子：
Figure DEST_PATH_IMAGE053
Figure DEST_PATH_IMAGE054
其中，
Figure DEST_PATH_IMAGE055
表示第一校对指数；
Figure DEST_PATH_IMAGE056
表示基于对被存储数据进行相同判定的选择函数；
Figure DEST_PATH_IMAGE057
表示对被存储数据进行相同判定的判定结果；所述相同判定是指在所述硬盘终端识别是否存在与被存储数据相同的数据；
Figure DEST_PATH_IMAGE058
表示存在相同数据；
Figure DEST_PATH_IMAGE059
表示不存在相同数据；
Figure DEST_PATH_IMAGE060
表示比例转换系数，由管理员根据经验设定；
Figure DEST_PATH_IMAGE061
和
Figure DEST_PATH_IMAGE062
分别表示被存储数据中图片数据容量和视频数据容量；当
Figure DEST_PATH_IMAGE063
时，所述备份标记校对模块将标记值变更为1；
当被存储数据的备份标记信息的初始标记值为1时，所述备份标记校对模块进行校对时，满足以下式子：
Figure DEST_PATH_IMAGE064
其中，
Figure DEST_PATH_IMAGE065
表示第二校对指数；当
Figure DEST_PATH_IMAGE066
时，所述备份标记校对模块将标记值变更为0。
一种具有高冗余量的计算存储方法，应用于如上述的一种具有高冗余量的计算存储阵列，所述计算存储方法包括：
S1，对硬盘终端内的全部存储模块进行分区，分出存储区和备份区；
S2，调度和管理存储模块；
S3，提供额外的加速运算，进行冗余数据计算和加密运算；
S4，根据数据类型生成备份指令并将备份指令发送至CPU终端；
S5，供管理员输入或选择搜索信息；
S6，根据搜索信息搜索出对应的数据；
S7，显示搜索出的数据；
S8，展示硬盘终端的存储状态和备份状态。
本发明所取得的有益效果是：
1、CPU终端、GPU终端、硬盘终端、分区终端、备份终端、搜索终端和人机交互终端的设置，由于计算存储阵列打通了GPU与硬盘之间的传输通道，能够不再使用传统存储阵列中的RAID卡，大大提高了数据传输速度。由于计算存储阵列读取硬盘数据能够做到与网络直连，写硬盘数据通过GPU进行冗余数据的计算，整体传输速度能够达到原有存储阵列10倍以上；同时计算存储阵列使用GPU作为加密通道的加速器，GPU取代CPU和RAID卡进行加密的加速运算，使得数据在全加密状态下，对硬盘读写没有任何速度影响，也比传统存储阵列加密性能大大提高；
2、存储场景信息获取模块、数据类型信息获取模块和分区模块的设置有利于快速且准确地划分存储分区，进而提高存储数据的速度和有序性，从而便于管理和调用数据；备份标记读取模块、数据容量获取模块、类型占比计算模块、备份判断模块和备份指令生成模块的设置配合分区指数算法，有利于快捷地确认分区模式，进而提高了分区模式的适应性和准确性，从而进一步提高数据传输速度和安全性；
3、备份判断模块配合判断指数算法，有利于快速地判断被存储数据是否需要进行备份，使得备份选择更加快速、准确，从而节省备份空间和提高数据传输速度；
4、备份标记校对模块的设置配合校对算法，有利于进一步提高备份准确性和效率；
5、个人区域划定模块和个人区域校对模块的设置配合个人区域划定算法，有利于适应性地调节个人区域的范围，配合GPU终端的高运算能力，可以大大减轻存储阵列的CPU的工作压力，可以更多的参与数据运算，CPU可以解放出来处理更多的任务，增加工作效率。
为使能更进一步了解本发明的特征及技术内容，请参阅以下有关本发明的详细说明与附图，然而所提供的附图仅用于提供参考与说明，并非用来对本发明加以限制。
附图说明
图1为本发明的整体结构示意图；
图2为本发明中一种具有高冗余量的计算存储阵列的应用效果示意图；
图3为本发明中一种具有高冗余量的计算存储方法的方法流程示意图；
图4为本发明另一实施例中的整体结构示意图；
附图标记说明：
1、CPU终端；2、GPU终端；3、硬盘终端；4、分区终端；5、备份终端；6、搜索终端；7、人机交互终端。
具体实施方式
以下是通过特定的具体实施例来说明本发明的实施方式，本领域技术人员可由本说明书所公开的内容了解本发明的优点与效果。本发明可通过其他不同的具体实施例加以施行或应用，本说明书中的各项细节也可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。另外，本发明的附图仅为简单示意说明，并非依实际尺寸描绘，事先声明。以下实施方式将进一步详细说明本发明的相关技术内容，但所公开的内容并非用以限制本发明的保护范围。
实施例一。
本实施例提供了一种具有高冗余量的计算存储阵列。结合图1和图2所示，一种具有高冗余量的计算存储阵列，包括CPU终端1、GPU终端2、硬盘终端3、分区终端4、备份终端5、搜索终端6和人机交互终端7；
所述硬盘终端3由预设数量的存储模块组成；所述CPU终端1、GPU终端2、分区终端4、备份终端5和搜索终端6连接至预设数量的存储模块之中形成计算存储阵列；所述CPU终端1用于调度和管理存储模块；所述GPU终端2用于提供额外的加速运算，进行冗余数据计算和加密运算；所述分区终端4用于对硬盘终端内的全部存储模块进行分区，分出存储区和备份区；所述备份终端5用于根据数据类型生成备份指令并将备份指令发送至CPU终端1；所述搜索终端6用于根据搜索信息搜索出对应的数据；
所述人机交互终端7用于供管理员输入或选择搜索信息，用于显示搜索出的数据，用于展示硬盘终端的存储状态和备份状态。
可选的，所述分区终端包括存储场景信息获取模块、数据类型信息获取模块和分区模块；所述存储场景获取模块用于获取存储场景信息；所述数据类型信息获取模块用于获取数据类型信息；所述分区模块用于根据存储场景信息和数据类型信息选择对应的分区模式并根据分区模式进行分区；
所述备份终端包括备份标记读取模块、数据容量获取模块、类型占比计算模块、备份判断模块和备份指令生成模块；所述备份标记读取模块用于读取被存储数据的备份标记信息；所述数据容量获取模块用于获取被存储数据的数据容量；所述类型占比计算模块用于计算已备份数据中与被存储数据同类型的数据的占比；所述备份判断模块用于根据被存储数据的备份标记信息、数据容量和类型占比判断是否进行备份，生成备份判断信息；所述备份指令生成模块用于根据备份判断信息生成对应的备份指令。
可选的，当所述分区模块选择分区模式之前，利用以下公式计算分区指数：
Figure DEST_PATH_IMAGE067
其中，
Figure DEST_PATH_IMAGE068
表示分区指数；
Figure DEST_PATH_IMAGE069
表示分区基准值，由管理员根据经验设定；
Figure DEST_PATH_IMAGE070
表示指数值选择函数；
Figure DEST_PATH_IMAGE071
表示权重函数；
Figure DEST_PATH_IMAGE072
式中，
Figure DEST_PATH_IMAGE073
表示第一参考数值，
Figure DEST_PATH_IMAGE074
表示基准值确定函数；
Figure DEST_PATH_IMAGE075
表示第一参考数值的指数值确定函数；
Figure DEST_PATH_IMAGE076
Figure DEST_PATH_IMAGE077
式中，
Figure DEST_PATH_IMAGE078
表示存储场景信息中的场景类型；
Figure DEST_PATH_IMAGE079
至
Figure DEST_PATH_IMAGE080
表示场景类型对应的场景数值，均由管理员根据经验设定；
Figure DEST_PATH_IMAGE081
表示存储场景信息中的场景建筑面积；
Figure DEST_PATH_IMAGE082
至
Figure DEST_PATH_IMAGE083
分别表示不同场景建筑面积区间对应的指数值，均由管理员根据经验设定；
Figure 272196DEST_PATH_IMAGE082
至
Figure 563063DEST_PATH_IMAGE083
均大于1，且
Figure DEST_PATH_IMAGE084
；
Figure DEST_PATH_IMAGE085
Figure DEST_PATH_IMAGE086
式中，
Figure DEST_PATH_IMAGE087
表示数据类型信息中的数据类型；
Figure DEST_PATH_IMAGE088
表示数据类型为数字类型；
Figure DEST_PATH_IMAGE089
表示数据类型为图片类型；
Figure DEST_PATH_IMAGE090
表示数据类型为视频类型；
Figure DEST_PATH_IMAGE091
和
Figure DEST_PATH_IMAGE092
分别表示最小权重值和最大权重值，均由管理员根据实际情况设定；
基于不同的分区指数选择分区模式时，满足以下式子：
Figure DEST_PATH_IMAGE093
式中，
Figure DEST_PATH_IMAGE094
表示分区模式选择函数；
Figure DEST_PATH_IMAGE095
表示第一分区模式，用于将所述硬盘终端中的80%的存储模块划分为存储区，20%的存储模块划分为备份区；
Figure DEST_PATH_IMAGE096
表示第二分区模式，用于将所述硬盘终端中的70%的存储模块划分为存储区，30%的存储模块划分为备份区；
Figure DEST_PATH_IMAGE097
表示第三分区模式，用于将所述硬盘终端中的60%的存储模块划分为存储区，40%的存储模块划分为备份区；
Figure DEST_PATH_IMAGE098
表示第四分区模式，用于将所述硬盘终端中的50%的存储模块划分为存储区，50%的存储模块划分为备份区。
可选的，所述备份判断模块进行判断时满足以下式子：
Figure DEST_PATH_IMAGE099
Figure DEST_PATH_IMAGE100
Figure DEST_PATH_IMAGE101
Figure DEST_PATH_IMAGE102
其中，
Figure DEST_PATH_IMAGE103
表示判断指数；
Figure DEST_PATH_IMAGE104
表示基于备份标记信息的选值窗函数；
Figure DEST_PATH_IMAGE105
表示备份标记信息中的标记值；
Figure DEST_PATH_IMAGE106
表示判断最大基准值，由管理员根据经验设定，使得当
Figure DEST_PATH_IMAGE107
时，
Figure DEST_PATH_IMAGE108
；
Figure DEST_PATH_IMAGE109
表示数据容量；
Figure DEST_PATH_IMAGE110
表示数据容量指数转换系数，由管理员根据经验设定；
Figure DEST_PATH_IMAGE111
表示基于类型占比的符号选择函数；
Figure DEST_PATH_IMAGE112
表示被存储数据的类型占比；
Figure DEST_PATH_IMAGE113
表示类型占比指数转换系数，由管理员根据经验设定；
Figure DEST_PATH_IMAGE114
表示备份判断信息函数；
Figure DEST_PATH_IMAGE115
表示判定值，由管理员根据经验设定。
Figure DEST_PATH_IMAGE116
是指备份判断信息表示无需备份；
Figure DEST_PATH_IMAGE117
是指备份判断信息表示需备份。
可选的，所述备份终端还包括备份标记校对模块，所述备份标记校对模块用于对备份标记信息中的标记值进行校对；所述备份标记信息的初始标记值由操作者预先设定；
当被存储数据的备份标记信息的初始标记值为0时，所述备份标记校对模块进行校对时，满足以下式子：
Figure DEST_PATH_IMAGE118
Figure DEST_PATH_IMAGE119
其中，
Figure DEST_PATH_IMAGE120
表示第一校对指数；
Figure DEST_PATH_IMAGE121
表示基于对被存储数据进行相同判定的选择函数；
Figure DEST_PATH_IMAGE122
表示对被存储数据进行相同判定的判定结果；所述相同判定是指在所述硬盘终端识别是否存在与被存储数据相同的数据；
Figure DEST_PATH_IMAGE123
表示存在相同数据；
Figure DEST_PATH_IMAGE124
表示不存在相同数据；
Figure DEST_PATH_IMAGE125
表示比例转换系数，由管理员根据经验设定；
Figure DEST_PATH_IMAGE126
和
Figure DEST_PATH_IMAGE127
分别表示被存储数据中图片数据容量和视频数据容量；当
Figure DEST_PATH_IMAGE128
时，所述备份标记校对模块将标记值变更为1；
当被存储数据的备份标记信息的初始标记值为1时，所述备份标记校对模块进行校对时，满足以下式子：
Figure DEST_PATH_IMAGE129
其中，
Figure DEST_PATH_IMAGE130
表示第二校对指数；当
Figure DEST_PATH_IMAGE131
时，所述备份标记校对模块将标记值变更为0。
一种具有高冗余量的计算存储方法，应用于如上述的一种具有高冗余量的计算存储阵列，结合图3所示，所述计算存储方法包括：
S1，对硬盘终端内的全部存储模块进行分区，分出存储区和备份区；
S2，调度和管理存储模块；
S3，提供额外的加速运算，进行冗余数据计算和加密运算；
S4，根据数据类型生成备份指令并将备份指令发送至CPU终端；
S5，供管理员输入或选择搜索信息；
S6，根据搜索信息搜索出对应的数据；
S7，显示搜索出的数据；
S8，展示硬盘终端的存储状态和备份状态。
实施例二。
本实施例包含了实施例一的全部内容，提供了一种具有高冗余量的计算存储阵列，结合图4所示，所述计算存储阵列还包括个人区域管理终端；所述个人区域管理终端用于根据个人账户的登陆信息为操作者在存储区选取对应的个人区域。
所述个人区域管理终端包括个人区域划定模块和个人区域校对模块；所述个人区域划定模块用于根据个人账户的登陆信息为操作者在存储区划定个人区域；所述个人区域校对模块用于根据操作者的存储次数、存储数据容量和删除次数对个人区域进行校对；所述个人区域的划定是指在存储区内以一个存储模块为单位为对应的操作者划定用于存储个人数据的至少一个存储模块。
当所述个人区域划定模块工作时，满足以下式子：
Figure DEST_PATH_IMAGE132
其中，
Figure DEST_PATH_IMAGE133
表示个人区域的存储模块划定数量；
Figure DEST_PATH_IMAGE134
表示登陆信息中的个人存储空间需求值；
Figure DEST_PATH_IMAGE135
表示每个存储模块的存储容量；
Figure DEST_PATH_IMAGE136
表示对
Figure DEST_PATH_IMAGE137
的结果取整数；
Figure DEST_PATH_IMAGE138
表示登陆信息中的账户等级；所述账户等级由管理员为每个操作者预先设定。
当所述个人区域校对模块工作时，满足以下式子：
Figure DEST_PATH_IMAGE139
Figure DEST_PATH_IMAGE140
Figure DEST_PATH_IMAGE141
其中，
Figure DEST_PATH_IMAGE142
表示校对后的存储模块划定数量；
Figure DEST_PATH_IMAGE143
表示校对函数；
Figure DEST_PATH_IMAGE144
表示校对指数；
Figure DEST_PATH_IMAGE145
和
Figure DEST_PATH_IMAGE146
分别表示第一阈值和第二阈值，均由管理员根据经验设定；
Figure DEST_PATH_IMAGE147
表示周期t天内，操作员存储数据的次数；
Figure DEST_PATH_IMAGE148
表示周期t天内操作员第
Figure DEST_PATH_IMAGE149
次存储数据的数据容量，
Figure DEST_PATH_IMAGE150
表示第一校对指数转换系数，由管理员根于经验设定；
Figure DEST_PATH_IMAGE151
表示周期t天内操作员删除数据的数据容量；
Figure DEST_PATH_IMAGE152
表示第二校对指数转换系数，由管理员根于经验设定。
以上所公开的内容仅为本发明的优选可行实施例，并非因此局限本发明的保护范围，所以凡是运用本发明说明书及附图内容所做的等效技术变化，均包含于本发明的保护范围内，此外，随着技术发展其中的元素是可以更新的。

Claims (6)

1.一种具有高冗余量的计算存储阵列，其特征在于，包括CPU终端、GPU终端、硬盘终端、分区终端、备份终端、搜索终端和人机交互终端；
所述硬盘终端由预设数量的存储模块组成；所述CPU终端、GPU终端、分区终端、备份终端和搜索终端连接至预设数量的存储模块之中形成计算存储阵列；所述CPU终端用于调度和管理存储模块；所述GPU终端用于提供额外的加速运算，进行冗余数据计算和加密运算；所述分区终端用于对硬盘终端内的全部存储模块进行分区，分出存储区和备份区；所述备份终端用于根据数据类型生成备份指令并将备份指令发送至CPU终端；所述搜索终端用于根据搜索信息搜索出对应的数据；
所述人机交互终端用于供管理员输入或选择搜索信息，用于显示搜索出的数据，用于展示硬盘终端的存储状态和备份状态。
2.如权利要求1所述的一种具有高冗余量的计算存储阵列，其特征在于，所述分区终端包括存储场景信息获取模块、数据类型信息获取模块和分区模块；所述存储场景获取模块用于获取存储场景信息；所述数据类型信息获取模块用于获取数据类型信息；所述分区模块用于根据存储场景信息和数据类型信息选择对应的分区模式并根据分区模式进行分区；
所述备份终端包括备份标记读取模块、数据容量获取模块、类型占比计算模块、备份判断模块和备份指令生成模块；所述备份标记读取模块用于读取被存储数据的备份标记信息；所述数据容量获取模块用于获取被存储数据的数据容量；所述类型占比计算模块用于计算已备份数据中与被存储数据同类型的数据的占比；所述备份判断模块用于根据被存储数据的备份标记信息、数据容量和类型占比判断是否进行备份，生成备份判断信息；所述备份指令生成模块用于根据备份判断信息生成对应的备份指令。
3.如权利要求2所述的一种具有高冗余量的计算存储阵列，其特征在于，当所述分区模块选择分区模式之前，利用以下公式计算分区指数：
Figure 18425DEST_PATH_IMAGE001
其中，
Figure 63741DEST_PATH_IMAGE002
表示分区指数；
Figure 990109DEST_PATH_IMAGE003
表示分区基准值，由管理员根据经验设定；
Figure 837104DEST_PATH_IMAGE004
表示指数值选择函数；
Figure 987463DEST_PATH_IMAGE005
表示权重函数；
Figure 520075DEST_PATH_IMAGE006
式中，
Figure 250134DEST_PATH_IMAGE007
表示第一参考数值，
Figure 450171DEST_PATH_IMAGE008
表示基准值确定函数；
Figure 771431DEST_PATH_IMAGE009
表示第一参考数值的指数值确定函数；
Figure 284015DEST_PATH_IMAGE010
Figure 552186DEST_PATH_IMAGE011
式中，
Figure 137888DEST_PATH_IMAGE012
表示存储场景信息中的场景类型；
Figure 98891DEST_PATH_IMAGE013
至
Figure 871675DEST_PATH_IMAGE014
表示场景类型对应的场景数值，均由管理员根据经验设定；
Figure 474694DEST_PATH_IMAGE015
表示存储场景信息中的场景建筑面积；
Figure 150788DEST_PATH_IMAGE016
至
Figure 751534DEST_PATH_IMAGE017
分别表示不同场景建筑面积区间对应的指数值，均由管理员根据经验设定；
Figure 11614DEST_PATH_IMAGE016
至
Figure 418325DEST_PATH_IMAGE018
均大于1，且
Figure 447461DEST_PATH_IMAGE019
；
Figure 750266DEST_PATH_IMAGE020
Figure 966484DEST_PATH_IMAGE021
式中，
Figure 878683DEST_PATH_IMAGE022
表示数据类型信息中的数据类型；
Figure 559063DEST_PATH_IMAGE023
表示数据类型为数字类型；
Figure 32769DEST_PATH_IMAGE024
表示数据类型为图片类型；
Figure 736283DEST_PATH_IMAGE025
表示数据类型为视频类型；
Figure 688059DEST_PATH_IMAGE026
和
Figure 488524DEST_PATH_IMAGE027
分别表示最小权重值和最大权重值，均由管理员根据实际情况设定；
基于不同的分区指数选择分区模式时，满足以下式子：
Figure 634597DEST_PATH_IMAGE028
式中，
Figure 825407DEST_PATH_IMAGE029
表示分区模式选择函数；
Figure 580873DEST_PATH_IMAGE030
表示第一分区模式，用于将所述硬盘终端中的80%的存储模块划分为存储区，20%的存储模块划分为备份区；
Figure 970267DEST_PATH_IMAGE031
表示第二分区模式，用于将所述硬盘终端中的70%的存储模块划分为存储区，30%的存储模块划分为备份区；
Figure 520197DEST_PATH_IMAGE032
表示第三分区模式，用于将所述硬盘终端中的60%的存储模块划分为存储区，40%的存储模块划分为备份区；
Figure 463882DEST_PATH_IMAGE033
表示第四分区模式，用于将所述硬盘终端中的50%的存储模块划分为存储区，50%的存储模块划分为备份区。
4.如权利要求3所述的一种具有高冗余量的计算存储阵列，其特征在于，所述备份判断模块进行判断时满足以下式子：
Figure 23039DEST_PATH_IMAGE034
Figure 771333DEST_PATH_IMAGE035
Figure 492164DEST_PATH_IMAGE036
Figure 719884DEST_PATH_IMAGE037
其中，
Figure 551573DEST_PATH_IMAGE038
表示判断指数；
Figure 384400DEST_PATH_IMAGE039
表示基于备份标记信息的选值窗函数；
Figure 574335DEST_PATH_IMAGE040
表示备份标记信息中的标记值；
Figure 227033DEST_PATH_IMAGE041
表示判断最大基准值，由管理员根据经验设定，使得当
Figure 924731DEST_PATH_IMAGE042
时，
Figure 346485DEST_PATH_IMAGE043
；
Figure 674698DEST_PATH_IMAGE044
表示数据容量；
Figure 345851DEST_PATH_IMAGE045
表示数据容量指数转换系数，由管理员根据经验设定；
Figure 549037DEST_PATH_IMAGE046
表示基于类型占比的符号选择函数；
Figure 90877DEST_PATH_IMAGE047
表示被存储数据的类型占比；
Figure 589991DEST_PATH_IMAGE048
表示类型占比指数转换系数，由管理员根据经验设定；
Figure 951702DEST_PATH_IMAGE049
表示备份判断信息函数；
Figure 194465DEST_PATH_IMAGE050
表示判定值，由管理员根据经验设定；
Figure 387549DEST_PATH_IMAGE051
是指备份判断信息表示无需备份；
Figure 57565DEST_PATH_IMAGE052
是指备份判断信息表示需备份。
5.如权利要求4所述的一种具有高冗余量的计算存储阵列，其特征在于，所述备份终端还包括备份标记校对模块，所述备份标记校对模块用于对备份标记信息中的标记值进行校对；所述备份标记信息的初始标记值由操作者预先设定；
当被存储数据的备份标记信息的初始标记值为0时，所述备份标记校对模块进行校对时，满足以下式子：
Figure 673616DEST_PATH_IMAGE053
Figure 454490DEST_PATH_IMAGE054
其中，
Figure 502081DEST_PATH_IMAGE055
表示第一校对指数；
Figure 342998DEST_PATH_IMAGE056
表示基于对被存储数据进行相同判定的选择函数；
Figure 944880DEST_PATH_IMAGE057
表示对被存储数据进行相同判定的判定结果；所述相同判定是指在所述硬盘终端识别是否存在与被存储数据相同的数据；
Figure 529445DEST_PATH_IMAGE058
表示存在相同数据；
Figure 634805DEST_PATH_IMAGE059
表示不存在相同数据；
Figure 162736DEST_PATH_IMAGE060
表示比例转换系数，由管理员根据经验设定；
Figure 986336DEST_PATH_IMAGE061
和
Figure 171329DEST_PATH_IMAGE062
分别表示被存储数据中图片数据容量和视频数据容量；当
Figure 662354DEST_PATH_IMAGE063
时，所述备份标记校对模块将标记值变更为1；
当被存储数据的备份标记信息的初始标记值为1时，所述备份标记校对模块进行校对时，满足以下式子：
Figure 641811DEST_PATH_IMAGE064
其中，
Figure 454171DEST_PATH_IMAGE065
表示第二校对指数；当
Figure 380539DEST_PATH_IMAGE066
时，所述备份标记校对模块将标记值变更为0。
6.一种具有高冗余量的计算存储方法，应用于如权利要求5所述的一种具有高冗余量的计算存储阵列，其特征在于，所述计算存储方法包括：
S1，对硬盘终端内的全部存储模块进行分区，分出存储区和备份区；
S2，调度和管理存储模块；
S3，提供额外的加速运算，进行冗余数据计算和加密运算；
S4，根据数据类型生成备份指令并将备份指令发送至CPU终端；
S5，供管理员输入或选择搜索信息；
S6，根据搜索信息搜索出对应的数据；
S7，显示搜索出的数据；
S8，展示硬盘终端的存储状态和备份状态。
CN202211703785.XA 2022-12-29 2022-12-29 一种具有高冗余量的计算存储阵列 Active CN115933986B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211703785.XA CN115933986B (zh) 2022-12-29 2022-12-29 一种具有高冗余量的计算存储阵列

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211703785.XA CN115933986B (zh) 2022-12-29 2022-12-29 一种具有高冗余量的计算存储阵列

Publications (2)

Publication Number Publication Date
CN115933986A true CN115933986A (zh) 2023-04-07
CN115933986B CN115933986B (zh) 2023-06-09

Family

ID=85838341

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211703785.XA Active CN115933986B (zh) 2022-12-29 2022-12-29 一种具有高冗余量的计算存储阵列

Country Status (1)

Country Link
CN (1) CN115933986B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118398062A (zh) * 2024-06-27 2024-07-26 深圳市领德创科技有限公司 基于磁盘阵列的ssd内部数据安全管理系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101055511A (zh) * 2007-05-16 2007-10-17 华为技术有限公司 一种存储阵列系统及其数据操作方法
CN101499027A (zh) * 2009-03-06 2009-08-05 赵晓宇 一种基于独立内核和分布式构架的智能存储系统
CN102520890A (zh) * 2011-12-30 2012-06-27 北京天地云箱科技有限公司 基于gpu的rs-draid系统及存储设备数据控制方法
US20190129888A1 (en) * 2015-07-27 2019-05-02 Sas Institute Inc. Distributed data storage grouping
CN110795228A (zh) * 2018-08-03 2020-02-14 伊姆西Ip控股有限责任公司 使用加速器混合集的分布式深度学习的自适应批量数据集划分
CN111897499A (zh) * 2020-08-04 2020-11-06 盛铂科技（上海）有限公司 一种基于fpga和gpu的高速采集存储分析系统
CN112785485A (zh) * 2019-11-04 2021-05-11 辉达公司 用于有效的结构附接存储器的技术

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101055511A (zh) * 2007-05-16 2007-10-17 华为技术有限公司 一种存储阵列系统及其数据操作方法
CN101499027A (zh) * 2009-03-06 2009-08-05 赵晓宇 一种基于独立内核和分布式构架的智能存储系统
CN102520890A (zh) * 2011-12-30 2012-06-27 北京天地云箱科技有限公司 基于gpu的rs-draid系统及存储设备数据控制方法
US20190129888A1 (en) * 2015-07-27 2019-05-02 Sas Institute Inc. Distributed data storage grouping
CN110795228A (zh) * 2018-08-03 2020-02-14 伊姆西Ip控股有限责任公司 使用加速器混合集的分布式深度学习的自适应批量数据集划分
CN112785485A (zh) * 2019-11-04 2021-05-11 辉达公司 用于有效的结构附接存储器的技术
CN111897499A (zh) * 2020-08-04 2020-11-06 盛铂科技（上海）有限公司 一种基于fpga和gpu的高速采集存储分析系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118398062A (zh) * 2024-06-27 2024-07-26 深圳市领德创科技有限公司 基于磁盘阵列的ssd内部数据安全管理系统及方法

Also Published As

Publication number Publication date
CN115933986B (zh) 2023-06-09

Similar Documents

Publication Publication Date Title
CN112232495A (zh) 预测模型的训练方法、装置、介质和计算设备
CN111061740B (zh) 一种数据同步方法、设备和存储介质
CN112506811B (zh) 基于固态硬盘内数据冷热划分的数据块动态分配方法、装置
CN111125658A (zh) 识别欺诈用户的方法、装置、服务器和存储介质
CN115933986A (zh) 一种具有高冗余量的计算存储阵列
CN112380071B (zh) 一种快速备份ntfs文件系统的方法
CN116483287B (zh) 一种互联网用户的数据安全存储方法及系统
CN110019017B (zh) 一种基于访问特征的高能物理文件存储方法
CN116629435A (zh) 风险预测方法、装置、计算机设备和存储介质
CN114490302B (zh) 一种基于大数据分析的威胁行为分析方法及服务器
CN115757054A (zh) 一种日志记录方法、系统、计算机设备及介质
CN106980540B (zh) 一种分布式多维离散数据的计算方法
CN116028798A (zh) 水害预警数据处理方法、装置、计算机设备和存储介质
CN113360324B (zh) 基于分布式文件数据的数据备份装置
CN117318052B (zh) 发电机组进相试验无功功率预测方法、装置和计算机设备
CN112687079A (zh) 灾害预警方法、装置、设备及存储介质
CN115408926B (zh) 用于隧道掘进岩体参数预测的数据处理方法和装置
CN108683749B (zh) 一种随机邮箱地址的判断方法、设备和介质
CN111984804A (zh) 图像检索方法、装置、计算机设备和存储介质
CN112000955B (zh) 确定日志特征序列的方法、漏洞分析方法及系统、设备
US11429620B2 (en) Data storage selection based on data importance
CN113658173A (zh) 基于知识蒸馏的检测模型的压缩方法、系统和计算设备
CN110321435B (zh) 一种数据源划分方法、装置、设备和存储介质
CN111061880A (zh) 海量文本数据快速聚类方法
CN111611406B (zh) 用于人工智能学习模式的数据存储系统与方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant