CN112035058B - 云平台存储系统 - Google Patents

云平台存储系统 Download PDF

Info

Publication number
CN112035058B
CN112035058B CN202010752395.6A CN202010752395A CN112035058B CN 112035058 B CN112035058 B CN 112035058B CN 202010752395 A CN202010752395 A CN 202010752395A CN 112035058 B CN112035058 B CN 112035058B
Authority
CN
China
Prior art keywords
storage
data
module
space
threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010752395.6A
Other languages
English (en)
Other versions
CN112035058A (zh
Inventor
陈恭祥
高进福
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhongsheng Ruida Technology Co ltd
Original Assignee
Shenzhen Zhongsheng Ruida Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhongsheng Ruida Technology Co ltd filed Critical Shenzhen Zhongsheng Ruida Technology Co ltd
Priority to CN202010752395.6A priority Critical patent/CN112035058B/zh
Publication of CN112035058A publication Critical patent/CN112035058A/zh
Application granted granted Critical
Publication of CN112035058B publication Critical patent/CN112035058B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/062—Securing storage systems
    • G06F3/0623—Securing storage systems in relation to content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出了云平台存储系统，所述系统包括：所述云平台存储系统包括：存储模块，用于对云平台产生的需要存储的数据进行实时存储；判断模块，用于进行存储状态和剩余容量的判断，并对满足剩余容量要求的存储模块进行筛选；配置模块，用于根据新数据的数据占用空间以及存储模块的剩余容量，将所述新数据分配至存储模块进行数据存储；数据拆分存储模块，用于将所述新数据拆分为多个数据块，并将所述数据块分别存储于不同的存储模块中；数据调取模块，用于针对以拆分存储形式进行存储的新数据被调用时，利用数据块对应的校验码依次从存储模块中调取所述新数据对应的数据块，并根据所述数据块中每个数据的帧序号将所述数据合并为完整的数据。

Description

云平台存储系统
技术领域
本发明提出了云平台存储系统，属于云存储技术领域。
背景技术
随着信息的爆炸式增长，人们日常工作、生活以及各行各业均会产生大量的存储，在数据量不断增大的时代，硬件存储系统已经不能满足人们日渐增加的数据量需求，云储存铸件出现在人们的生活中。但是，由于当前，数据存储数量的逐渐上升，云存储系统常常出现存储效率较低，存储空间的适应能力不足的问题。
发明内容
本发明提供了一种云平台存储系统，用以解决现有云存储系统存储效率较低，存储空间的适应能力不足的问题，所采取的技术方案如下：
云平台存储系统，所述云平台存储系统包括：
多个存储模块，用于同时运行，对云平台产生的需要存储的数据进行实时存储；
判断模块，用于对所述多个存储模块进行存储状态和剩余容量的判断，并对满足剩余容量要求的存储模块进行筛选；
配置模块，用于根据所述新数据的数据占用空间以及所述存储模块的剩余容量，将所述新数据分配至存储模块进行数据存储；
数据拆分存储模块，用于当各所述存储模块的剩余容量均无法满足所述新数据的存储空间时，将所述新数据拆分为多个数据块，并将所述数据块分别存储于不同的存储模块中；
数据调取模块，用于针对以拆分存储形式进行存储的新数据被调用时，利用数据块对应的校验码依次从存储模块中调取所述新数据对应的数据块，并根据所述数据块中每个数据的帧序号将所述数据合并为完整的数据。
进一步地，所述判断模块包括：
存储判断模块，用于在所述云平台产生新数据需要被存储时，判断每个存储模块中是否正在进行数据存储，并筛选出已完成数据存储的存储模块；如果当前没有存储模块完成数据存储操作，则启动存储状态监测模块；
存储状态监测模块，用于当存在正在进行存储的数据时，将所述新数据放置缓冲区，并实时对所述正在进行存储的数据状态进行检测，判断数据存储是否完成；
空间判断模块，用于判断已完成数据存储的存储模块内的剩余存储容量是否达到第一容量阈值，并筛选出没有达到第一容量阈值的存储模块；
阈值自适应调整模块，用于在预设的采集时间间隔内，根据所述云平台整体存储空间，以及各存储模块的剩余容量值，对每个存储模块的第一容量阈值进行自适应调整。
进一步地，所述阈值自适应调整模块利用阈值调整模型对各存储模块的容量阈值进行自适应调整：
Figure BDA0002610457200000021
其中，T1表示自适应调整后的信道的第一容量阈值，ΔCi表示每个存储模块在第i个采集时间间隔中的剩余容量，Cmax表示所述存储模块的最大容量值；n表示采集次数；λ表示容量阈值调节系数，λ＝1.2-1.5。
当调整后的所述第一空间阈值超过存储模块最大容量的70％时，将所述第一空间阈值设置为存储模块最大容量的70％。
进一步地，所述配置模块包括：
存储空间确定模块，用于根据所述新数据的数据量确定所述新数据存储时需要占用的存储空间；
容量确定模块，用于在没有达到第一容量阈值的存储模块中，确定每个所述没有达到第一容量阈值的存储模块的剩余容量，筛选出剩余容量最大的存储模块；
比较模块，用于将所述新数据存储时需要占用的存储空间与所述剩余容量最大的存储模块的剩余容量进行比较，如果所述新数据存储时需要占用的存储空间小于述剩余容量最大的存储模块的剩余容量，则将所述新数据存储至所述剩余容量最大的存储模块中；如果所述所述新数据存储时需要占用的存储空间大于述剩余容量最大的存储模块的剩余容量，则启动数据拆分存储模块。
进一步地，所述数据拆分存储模块包括：
筛选模块一，用于在各所述存储模块的剩余容量均无法满足所述新数据的存储空间时，判断所述各存储模块是否达到或超过第二空间阈值，筛选出已达到或超过第二空间阈值的存储模块；其中，所述第二空间阈值大于第一空间阈值；
数量判断模块，用于判断所述已达到或超过第二空间阈值的存储模块的数量，当所述已达到或超过第二空间阈值的存储模块的数量大于2时，启动数据拆分模块，当所述已达到或超过第二空间阈值的存储模块的数量小于等于2时，启动筛选模块二；
筛选模块二，用于判断所述各存储模块是否达到或超过第一空间阈值且为达到第二空间阈值，获取已达到或超过第一空间阈值且未达到第二空间阈值的存储模块，按照剩余容量值从小达到的顺序将筛选出的所述已达到或超过第一空间阈值且未达到第二空间阈值的存储模块进行排序，筛选出剩余容量值最小的M个所述已达到或超过第一空间阈值且未达到第二空间阈值的存储模块；其中，M为已达到或超过第一空间阈值且未达到第二空间阈值的存储模块的总个数的50％；
数据拆分模块，用于将所述新数据分成N个数据块，其中，N满足的条件为：N＝M+P，或，N＝P；P表示已达到或超过第二空间阈值的存储模块的数量，M表示筛选模块二筛选出的所述已达到或超过第一空间阈值且未达到第二空间阈值的存储模块的数量；
拆分配置模块，用于将所述数据块分别配置于对应的存储模块中；所述对应的存储模块是指筛选模块一筛选出的已达到或超过第二空间阈值的存储模块，或者，筛选模块一筛选出的已达到或超过第二空间阈值的存储模块和筛选模块二筛选出的已达到或超过第一空间阈值且未达到第二空间阈值的存储模块。
进一步地，所述数据拆分模块包括：
帧序号添加模块，用于对所述新数据的每一帧数据添加帧序号
拆分模块，用于按照所述帧序号的顺序，将所述新数据拆分为N个数据块，每个数据块中包含多个按帧序号排列的帧数据；
校验码生成模块，用于针对每个数据块生成校验码；
对应配置模块，用于将带有校验码的数据块依次配置到对应的存储模块中进行存储。
进一步地，所述云平台存储系统的存储过程包括：
S1、同时运行多个存储模块，对云平台产生的需要存储的数据进行实时存储；
S2、对所述多个存储模块进行存储状态和剩余容量的判断，并对满足剩余容量要求的存储模块进行筛选；
S3、根据所述新数据的数据占用空间以及所述存储模块的剩余容量，将所述新数据分配至存储模块进行数据存储；
S4、当各所述存储模块的剩余容量均无法满足所述新数据的存储空间时，将所述新数据拆分为多个数据块，并将所述数据块分别存储于不同的存储模块中；
S5、针对以拆分存储形式进行存储的新数据被调用时，利用数据块对应的校验码依次从存储模块中调取所述新数据对应的数据块，并根据所述数据块中每个数据的帧序号将所述数据合并为完整的数据。
进一步地，对所述多个存储模块进行存储状态和剩余容量的判断，并对满足剩余容量要求的存储模块进行筛选，包括：
S201、在所述云平台产生新数据需要被存储时，判断每个存储模块中是否正在进行数据存储，并筛选出已完成数据存储的存储模块；如果当前没有存储模块完成数据存储操作，则启动存储状态监测模块；
S202、当存在正在进行存储的数据时，将所述新数据放置缓冲区，并实时对所述正在进行存储的数据状态进行检测，判断数据存储是否完成；
S203、判断已完成数据存储的存储模块内的剩余存储容量是否达到第一容量阈值，并筛选出没有达到第一容量阈值的存储模块；
S204、在预设的采集时间间隔内，根据所述云平台整体存储空间，以及各存储模块的剩余容量值，对每个存储模块的第一容量阈值进行自适应调整。
进一步地，根据所述新数据的数据占用空间以及所述存储模块的剩余容量，将所述新数据分配至存储模块进行数据存储，包括：
S301、根据所述新数据的数据量确定所述新数据存储时需要占用的存储空间；
S302、在没有达到第一容量阈值的存储模块中，确定每个所述没有达到第一容量阈值的存储模块的剩余容量，筛选出剩余容量最大的存储模块；
S303、将所述新数据存储时需要占用的存储空间与所述剩余容量最大的存储模块的剩余容量进行比较，如果所述新数据存储时需要占用的存储空间小于述剩余容量最大的存储模块的剩余容量，则将所述新数据存储至所述剩余容量最大的存储模块中；如果所述所述新数据存储时需要占用的存储空间大于述剩余容量最大的存储模块的剩余容量，则启动数据拆分存储模块。
进一步地，当各所述存储模块的剩余容量均无法满足所述新数据的存储空间时，将所述新数据拆分为多个数据块，并将所述数据块分别存储于不同的存储模块中，包括：
S401、在各所述存储模块的剩余容量均无法满足所述新数据的存储空间时，判断所述各存储模块是否达到或超过第二空间阈值，筛选出已达到或超过第二空间阈值的存储模块；其中，所述第二空间阈值大于第一空间阈值；所述第二空间阈值为：
Figure BDA0002610457200000041
其中，T2表示第二空间阈值；β表示第二阈值系数，β的取值范围为1.1——1.25；
S402、判断所述已达到或超过第二空间阈值的存储模块的数量，当所述已达到或超过第二空间阈值的存储模块的数量大于2时，启动数据拆分模块，当所述已达到或超过第二空间阈值的存储模块的数量小于等于2时，启动筛选模块二；
S403、判断所述各存储模块是否达到或超过第一空间阈值且为达到第二空间阈值，获取已达到或超过第一空间阈值且未达到第二空间阈值的存储模块，按照剩余容量值从小达到的顺序将筛选出的所述已达到或超过第一空间阈值且未达到第二空间阈值的存储模块进行排序，筛选出剩余容量值最小的M个所述已达到或超过第一空间阈值且未达到第二空间阈值的存储模块；其中，M为已达到或超过第一空间阈值且未达到第二空间阈值的存储模块的总个数的50％；
S404、将所述新数据分成N个数据块，其中，N满足的条件为：N＝M+P，或，N＝P；P表示已达到或超过第二空间阈值的存储模块的数量，M表示筛选模块二筛选出的所述已达到或超过第一空间阈值且未达到第二空间阈值的存储模块的数量；
S405、将所述数据块分别配置于对应的存储模块中；所述对应的存储模块是指筛选模块一筛选出的已达到或超过第二空间阈值的存储模块，或者，筛选模块一筛选出的已达到或超过第二空间阈值的存储模块和筛选模块二筛选出的已达到或超过第一空间阈值且未达到第二空间阈值的存储模块。
本发明有益效果：
本发明提出的云存储系统，根据存储模块剩余空间以及存储数据之间的关系对数据进行存储，提高存储模块使用的合理性，同时，当所有存储模块均无法满足数据存储容量需求时，通过对数据进行拆分的方式，将一个完整的数据，分块存储至不同的存储模块中，达到存储模块剩余容量的合理运用，有效提高每个存储模块的使用效率，有效避免云存储空间中，零散存储空间的余量浪费。同时，通过阈值调整机制根据每个存储模块的实际使用情况对存储模块的第一空间阈值进行调整，通过第一空间阈值的调整，使存储模块在70％以内的存储容量中进行有效的存储预警限制，使存储模块尽量保证有足够的剩余空间，进行超大数据的整体保存，尽量降低超大数据拆分率，保证大数据的存储效率和存储准确性。本发明提出的云存储系统能够有效提高数据云存储的存储效率，同时，增大存储空间的使用率和存储空间与存储数据之间的适应性，避免因存储空间使用率不足而造成的存储空间不足。
附图说明
图1为本发明所述系统的系统框图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明提供了一种云平台存储系统，用以解决现有云存储系统存储效率较低，存储空间的适应能力不足的问题。
本发明实施例提出一种云平台存储系统，如图1所示，所述云平台存储系统包括：
多个存储模块，用于同时运行，对云平台产生的需要存储的数据进行实时存储；
判断模块，用于对所述多个存储模块进行存储状态和剩余容量的判断，并对满足剩余容量要求的存储模块进行筛选；
配置模块，用于根据所述新数据的数据占用空间以及所述存储模块的剩余容量，将所述新数据分配至存储模块进行数据存储；
数据拆分存储模块，用于当各所述存储模块的剩余容量均无法满足所述新数据的存储空间时，将所述新数据拆分为多个数据块，并将所述数据块分别存储于不同的存储模块中；
数据调取模块，用于针对以拆分存储形式进行存储的新数据被调用时，利用数据块对应的校验码依次从存储模块中调取所述新数据对应的数据块，并根据所述数据块中每个数据的帧序号将所述数据合并为完整的数据。
上述技术方案的工作原理为：首先，通过多个存储模块同时运行，对云平台产生的需要存储的数据进行实时存储；
然后，利用判断模块对所述多个存储模块进行存储状态和剩余容量的判断，并对满足剩余容量要求的存储模块进行筛选；
随后，通过配置模块根据所述新数据的数据占用空间以及所述存储模块的剩余容量，将所述新数据分配至存储模块进行数据存储；
之后，利用数据拆分存储模块当各所述存储模块的剩余容量均无法满足所述新数据的存储空间时，将所述新数据拆分为多个数据块，并将所述数据块分别存储于不同的存储模块中；
最后，采用数据调取模块针对以拆分存储形式进行存储的新数据被调用时，利用数据块对应的校验码依次从存储模块中调取所述新数据对应的数据块，并根据所述数据块中每个数据的帧序号将所述数据合并为完整的数据。其中，针对每个被拆分为数据块的所述新数据，其数据块对应的校验码都含有与所述新数据对应的校验码特征码，所述校验码特征码可以是固定编码的数字，例如：001111，则001代表校验码特征码，也可以是字母或字母与数字的组合例如，校验码为A111或A10111，则A或A10代表所述新数据校验码特征码，那么带有该校验码特征码的数据块均为所述新数据的数据块。
上述技术方案的效果为：根据存储模块剩余空间以及存储数据之间的关系对数据进行存储，提高存储模块使用的合理性，同时，当所有存储模块均无法满足数据存储容量需求时，通过对数据进行拆分的方式，将一个完整的数据，分块存储至不同的存储模块中，达到存储模块剩余容量的合理运用，有效提高每个存储模块的使用效率，有效避免云存储空间中，零散存储空间的余量浪费。同时，通过阈值调整机制根据每个存储模块的实际使用情况对存储模块的第一空间阈值进行调整，通过第一空间阈值的调整，使存储模块在70％以内的存储容量中进行有效的存储预警限制，使存储模块尽量保证有足够的剩余空间，进行超大数据的整体保存，尽量降低超大数据拆分率，保证大数据的存储效率和存储准确性。本发明提出的云存储系统能够有效提高数据云存储的存储效率，同时，通过数据拆分存储增大存储空间的使用率，并通过数据拆分存储和阈值调整机制增加存储空间与存储数据之间的适应性，避免因存储空间使用率不足而造成的存储空间不足。
本发明的一个实施例，所述判断模块包括：
存储判断模块，用于在所述云平台产生新数据需要被存储时，判断每个存储模块中是否正在进行数据存储，并筛选出已完成数据存储的存储模块；如果当前没有存储模块完成数据存储操作，则启动存储状态监测模块；
存储状态监测模块，用于当存在正在进行存储的数据时，将所述新数据放置缓冲区，并实时对所述正在进行存储的数据状态进行检测，判断数据存储是否完成；
空间判断模块，用于判断已完成数据存储的存储模块内的剩余存储容量是否达到第一容量阈值，并筛选出没有达到第一容量阈值的存储模块；
阈值自适应调整模块，用于在预设的采集时间间隔内，根据所述云平台整体存储空间，以及各存储模块的剩余容量值，对每个存储模块的第一容量阈值进行自适应调整。
上述技术方案的工作原理为：通过存储判断模块在所述云平台产生新数据需要被存储时，判断每个存储模块中是否正在进行数据存储，并筛选出已完成数据存储的存储模块；如果当前没有存储模块完成数据存储操作，则启动存储状态监测模块；然后，当存在正在进行存储的数据时，利用存储状态监测模块将所述新数据放置缓冲区，并实时对所述正在进行存储的数据状态进行检测，判断数据存储是否完成；通过空间判断模块判断已完成数据存储的存储模块内的剩余存储容量是否达到第一容量阈值，并筛选出没有达到第一容量阈值的存储模块；利用阈值自适应调整模块，用于在预设的采集时间间隔内，根据所述云平台整体存储空间，以及各存储模块的剩余容量值，对每个存储模块的第一容量阈值进行自适应调整。
上述技术方案的效果为：通过阈值调整机制根据每个存储模块的实际使用情况对存储模块的第一空间阈值进行调整，通过第一空间阈值的调整，使存储模块在一定范围内的存储容量中进行有效的存储预警限制，使存储模块尽量保证有足够的剩余空间，进行超大数据的整体保存，尽量降低超大数据拆分率，保证大数据的存储效率和存储准确性。通过这种方式，使存储模块的存储空间具有一定的适应能力，即根据实际存储数据的容量，通过调整阈值范围，使存储模块的空间足以存储后续的大数据，避免因存储空间使用率不足而造成的存储空间不足。
本发明的一个实施例，所述阈值自适应调整模块利用阈值调整模型对各存储模块的容量阈值进行自适应调整：
Figure BDA0002610457200000081
其中，T1表示自适应调整后的信道的第一容量阈值，ΔCi表示每个存储模块在第i个采集时间间隔中的剩余容量，Cmax表示所述存储模块的最大容量值；n表示采集次数；λ表示容量阈值调节系数，λ＝1.2-1.5，优选为1.32。其中，系数的具体值根据实际应用进行进行具体设置。
当调整后的所述第一空间阈值超过存储模块最大容量的70％时，将所述第一空间阈值设置为存储模块最大容量的70％。通过对第一空间阈值不超过存储模块最大容量的70％的限制，有效保证存储空间剩余容量满足第二空间阈值的设置，进而满足后续第一空间阈值与第二空间阈值配合使用时，数据拆分配置存储的合理性。
上述技术方案的工作原理为：利用存储空间的每个采集时间间隔所采集到的剩余余量和存储模块最大存储容量值对第一容量阈值进行调节。
上述技术方案的效果为：通过上述公式获得的第一容量阈值更加符合存储模块实际应用情况，提高阈值设定与实际存储情况的匹配性，防止固定阈值造成的存储模块存储应用限制，提高后续数据存储的配置合理性，避免固定阈值造成造成存储空间浪费，进而提高存储模块中存储空间的使用效率。
本发明的一个实施例，所述配置模块包括：
存储空间确定模块，用于根据所述新数据的数据量确定所述新数据存储时需要占用的存储空间；
容量确定模块，用于在没有达到第一容量阈值的存储模块中，确定每个所述没有达到第一容量阈值的存储模块的剩余容量，筛选出剩余容量最大的存储模块；
比较模块，用于将所述新数据存储时需要占用的存储空间与所述剩余容量最大的存储模块的剩余容量进行比较，如果所述新数据存储时需要占用的存储空间小于述剩余容量最大的存储模块的剩余容量，则将所述新数据存储至所述剩余容量最大的存储模块中；如果所述所述新数据存储时需要占用的存储空间大于述剩余容量最大的存储模块的剩余容量，则启动数据拆分存储模块。
上述技术方案的工作原理为：首先，通过存储空间确定模块根据所述新数据的数据量确定所述新数据存储时需要占用的存储空间；
然后，利用容量确定模块在没有达到第一容量阈值的存储模块中，确定每个所述没有达到第一容量阈值的存储模块的剩余容量，筛选出剩余容量最大的存储模块；
最后，通过比较模块将所述新数据存储时需要占用的存储空间与所述剩余容量最大的存储模块的剩余容量进行比较，如果所述新数据存储时需要占用的存储空间小于述剩余容量最大的存储模块的剩余容量，则将所述新数据存储至所述剩余容量最大的存储模块中；如果所述所述新数据存储时需要占用的存储空间大于述剩余容量最大的存储模块的剩余容量，则启动数据拆分存储模块。
上述技术方案的效果为：通过容量对比进行数据存储方式的选择，有效提高数据存储效率，根据存储模块实际剩余容量与数据占用量之间的比较确定存储模式，能够有效提高存储空间利用率。
本发明的一个实施例，所述数据拆分存储模块包括：
筛选模块一，用于在各所述存储模块的剩余容量均无法满足所述新数据的存储空间时，判断所述各存储模块是否达到或超过第二空间阈值，筛选出已达到或超过第二空间阈值的存储模块；其中，所述第二空间阈值大于第一空间阈值；
数量判断模块，用于判断所述已达到或超过第二空间阈值的存储模块的数量，当所述已达到或超过第二空间阈值的存储模块的数量大于2时，启动数据拆分模块，当所述已达到或超过第二空间阈值的存储模块的数量小于等于2时，启动筛选模块二；
筛选模块二，用于判断所述各存储模块是否达到或超过第一空间阈值且为达到第二空间阈值，获取已达到或超过第一空间阈值且未达到第二空间阈值的存储模块，按照剩余容量值从小达到的顺序将筛选出的所述已达到或超过第一空间阈值且未达到第二空间阈值的存储模块进行排序，筛选出剩余容量值最小的M个所述已达到或超过第一空间阈值且未达到第二空间阈值的存储模块；其中，M为已达到或超过第一空间阈值且未达到第二空间阈值的存储模块的总个数的50％；
数据拆分模块，用于将所述新数据分成N个数据块，其中，N满足的条件为：N＝M+P，或，N＝P；P表示已达到或超过第二空间阈值的存储模块的数量，M表示筛选模块二筛选出的所述已达到或超过第一空间阈值且未达到第二空间阈值的存储模块的数量；
拆分配置模块，用于将所述数据块分别配置于对应的存储模块中；所述对应的存储模块是指筛选模块一筛选出的已达到或超过第二空间阈值的存储模块，或者，筛选模块一筛选出的已达到或超过第二空间阈值的存储模块和筛选模块二筛选出的已达到或超过第一空间阈值且未达到第二空间阈值的存储模块。
上述技术方案的工作原理为：
首先，利用筛选模块一在各所述存储模块的剩余容量均无法满足所述新数据的存储空间时，判断所述各存储模块是否达到或超过第二空间阈值，筛选出已达到或超过第二空间阈值的存储模块；其中，所述第二空间阈值大于第一空间阈值；
然后，通过数量判断模块判断所述已达到或超过第二空间阈值的存储模块的数量，当所述已达到或超过第二空间阈值的存储模块的数量大于2时，启动数据拆分模块，当所述已达到或超过第二空间阈值的存储模块的数量小于等于2时，启动筛选模块二；
随后，利用筛选模块二判断所述各存储模块是否达到或超过第一空间阈值且为达到第二空间阈值，获取已达到或超过第一空间阈值且未达到第二空间阈值的存储模块，按照剩余容量值从小达到的顺序将筛选出的所述已达到或超过第一空间阈值且未达到第二空间阈值的存储模块进行排序，筛选出剩余容量值最小的M个所述已达到或超过第一空间阈值且未达到第二空间阈值的存储模块；其中，M为已达到或超过第一空间阈值且未达到第二空间阈值的存储模块的总个数的50％；
之后，通过数据拆分模块将所述新数据分成N个数据块，其中，N满足的条件为：N＝M+P，或，N＝P；P表示已达到或超过第二空间阈值的存储模块的数量，M表示筛选模块二筛选出的所述已达到或超过第一空间阈值且未达到第二空间阈值的存储模块的数量；
最后，采用拆分配置模块将所述数据块分别配置于对应的存储模块中；所述对应的存储模块是指筛选模块一筛选出的已达到或超过第二空间阈值的存储模块，或者，筛选模块一筛选出的已达到或超过第二空间阈值的存储模块和筛选模块二筛选出的已达到或超过第一空间阈值且未达到第二空间阈值的存储模块。
上述技术方案的效果为：通过第一空间阈值和第二空间阈值的搭配使用，有效提高数据拆分存储的配置合理性。通过上述方式进行数据存储，不仅能够提高数据存储效率和存储空间使用率。同时，能够保证各存储空间在存储占用量过大的数据后，其剩余空间仍然满足后续数据的存储使用。有效防止因为超大占用量的数据存储之后，各存储空间剩余不足的问题发生。有效提高存储空间有效使用的最大化，避免存储空间因为数据存储配置不合理而造成过多存储模块中出现的剩余容量无法满足使用的零散存储空间，进而防止造成存储空间浪费的问题出现。
本发明的一个实施例，所述数据拆分模块包括：
帧序号添加模块，用于对所述新数据的每一帧数据添加帧序号
拆分模块，用于按照所述帧序号的顺序，将所述新数据拆分为N个数据块，每个数据块中包含多个按帧序号排列的帧数据；
校验码生成模块，用于针对每个数据块生成校验码；
对应配置模块，用于将带有校验码的数据块依次配置到对应的存储模块中进行存储。
上述技术方案的工作原理为：通过帧序号添加模块对所述新数据的每一帧数据添加帧序号；采用拆分模块按照所述帧序号的顺序，将所述新数据拆分为N个数据块，每个数据块中包含多个按帧序号排列的帧数据；通过校验码生成模块针对每个数据块生成校验码；利用对应配置模块将带有校验码的数据块依次配置到对应的存储模块中进行存储。
上述技术方案的效果为：通过上述数据拆分方式能够有效防止存储乱码，同时，防止在数据合并时产生数据无法恢复原貌，产生数据错误的问题，进而提高数据存储和还原的准确性。
本发明的一个实施例，所述云平台存储系统的存储过程包括：
S1、同时运行多个存储模块，对云平台产生的需要存储的数据进行实时存储；
S2、对所述多个存储模块进行存储状态和剩余容量的判断，并对满足剩余容量要求的存储模块进行筛选；
S3、根据所述新数据的数据占用空间以及所述存储模块的剩余容量，将所述新数据分配至存储模块进行数据存储；
S4、当各所述存储模块的剩余容量均无法满足所述新数据的存储空间时，将所述新数据拆分为多个数据块，并将所述数据块分别存储于不同的存储模块中；
S5、针对以拆分存储形式进行存储的新数据被调用时，利用数据块对应的校验码依次从存储模块中调取所述新数据对应的数据块，并根据所述数据块中每个数据的帧序号将所述数据合并为完整的数据。
上述技术方案的效果为：根据存储模块剩余空间以及存储数据之间的关系对数据进行存储，提高存储模块使用的合理性，同时，当所有存储模块均无法满足数据存储容量需求时，通过对数据进行拆分的方式，将一个完整的数据，分块存储至不同的存储模块中，达到存储模块剩余容量的合理运用，有效提高每个存储模块的使用效率，有效避免云存储空间中，零散存储空间的余量浪费。同时，通过阈值调整机制根据每个存储模块的实际使用情况对存储模块的第一空间阈值进行调整，通过第一空间阈值的调整，使存储模块在70％以内的存储容量中进行有效的存储预警限制，使存储模块尽量保证有足够的剩余空间，进行超大数据的整体保存，尽量降低超大数据拆分率，保证大数据的存储效率和存储准确性。本发明提出的云存储系统能够有效提高数据云存储的存储效率，同时，通过数据拆分存储增大存储空间的使用率，并通过数据拆分存储和阈值调整机制增加存储空间与存储数据之间的适应性，避免因存储空间使用率不足而造成的存储空间不足。
本发明的一个实施例，对所述多个存储模块进行存储状态和剩余容量的判断，并对满足剩余容量要求的存储模块进行筛选，包括：
S201、在所述云平台产生新数据需要被存储时，判断每个存储模块中是否正在进行数据存储，并筛选出已完成数据存储的存储模块；如果当前没有存储模块完成数据存储操作，则启动存储状态监测模块；
S202、当存在正在进行存储的数据时，将所述新数据放置缓冲区，并实时对所述正在进行存储的数据状态进行检测，判断数据存储是否完成；
S203、判断已完成数据存储的存储模块内的剩余存储容量是否达到第一容量阈值，并筛选出没有达到第一容量阈值的存储模块；
S204、在预设的采集时间间隔内，根据所述云平台整体存储空间，以及各存储模块的剩余容量值，对每个存储模块的第一容量阈值进行自适应调整。
上述技术方案的效果为：通过阈值调整机制根据每个存储模块的实际使用情况对存储模块的第一空间阈值进行调整，通过第一空间阈值的调整，使存储模块在一定范围内的存储容量中进行有效的存储预警限制，使存储模块尽量保证有足够的剩余空间，进行超大数据的整体保存，尽量降低超大数据拆分率，保证大数据的存储效率和存储准确性。通过这种方式，使存储模块的存储空间具有一定的适应能力，即根据实际存储数据的容量，通过调整阈值范围，使存储模块的空间足以存储后续的大数据，避免因存储空间使用率不足而造成的存储空间不足。
本发明的一个实施例，根据所述新数据的数据占用空间以及所述存储模块的剩余容量，将所述新数据分配至存储模块进行数据存储，包括：
S301、根据所述新数据的数据量确定所述新数据存储时需要占用的存储空间；
S302、在没有达到第一容量阈值的存储模块中，确定每个所述没有达到第一容量阈值的存储模块的剩余容量，筛选出剩余容量最大的存储模块；
S303、将所述新数据存储时需要占用的存储空间与所述剩余容量最大的存储模块的剩余容量进行比较，如果所述新数据存储时需要占用的存储空间小于述剩余容量最大的存储模块的剩余容量，则将所述新数据存储至所述剩余容量最大的存储模块中；如果所述所述新数据存储时需要占用的存储空间大于述剩余容量最大的存储模块的剩余容量，则启动数据拆分存储模块。
上述技术方案的效果为：通过容量对比进行数据存储方式的选择，有效提高数据存储效率，根据存储模块实际剩余容量与数据占用量之间的比较确定存储模式，能够有效提高存储空间利用率。
本发明的一个实施例，当各所述存储模块的剩余容量均无法满足所述新数据的存储空间时，将所述新数据拆分为多个数据块，并将所述数据块分别存储于不同的存储模块中，包括：
S401、在各所述存储模块的剩余容量均无法满足所述新数据的存储空间时，判断所述各存储模块是否达到或超过第二空间阈值，筛选出已达到或超过第二空间阈值的存储模块；其中，所述第二空间阈值大于第一空间阈值；所述第二空间阈值为：
Figure BDA0002610457200000131
其中，T2表示第二空间阈值；β表示第二阈值系数，β的取值范围为1.1——1.25；优选为1.18；所述第二阈值系数根据实际应用情况设置。
S402、判断所述已达到或超过第二空间阈值的存储模块的数量，当所述已达到或超过第二空间阈值的存储模块的数量大于2时，启动数据拆分模块，当所述已达到或超过第二空间阈值的存储模块的数量小于等于2时，启动筛选模块二；
S403、判断所述各存储模块是否达到或超过第一空间阈值且为达到第二空间阈值，获取已达到或超过第一空间阈值且未达到第二空间阈值的存储模块，按照剩余容量值从小达到的顺序将筛选出的所述已达到或超过第一空间阈值且未达到第二空间阈值的存储模块进行排序，筛选出剩余容量值最小的M个所述已达到或超过第一空间阈值且未达到第二空间阈值的存储模块；其中，M为已达到或超过第一空间阈值且未达到第二空间阈值的存储模块的总个数的50％；
S404、将所述新数据分成N个数据块，其中，N满足的条件为：N＝M+P，或，N＝P；P表示已达到或超过第二空间阈值的存储模块的数量，M表示筛选模块二筛选出的所述已达到或超过第一空间阈值且未达到第二空间阈值的存储模块的数量；
S405、将所述数据块分别配置于对应的存储模块中；所述对应的存储模块是指筛选模块一筛选出的已达到或超过第二空间阈值的存储模块，或者，筛选模块一筛选出的已达到或超过第二空间阈值的存储模块和筛选模块二筛选出的已达到或超过第一空间阈值且未达到第二空间阈值的存储模块。
上述技术方案的效果为：通过第一空间阈值和第二空间阈值的搭配使用，有效提高数据拆分存储的配置合理性。通过上述方式进行数据存储，不仅能够提高数据存储效率和存储空间使用率。同时，能够保证各存储空间在存储占用量过大的数据后，其剩余空间仍然满足后续数据的存储使用。有效防止因为超大占用量的数据存储之后，各存储空间剩余不足的问题发生。有效提高存储空间有效使用的最大化，避免存储空间因为数据存储配置不合理而造成过多存储模块中出现的剩余容量无法满足使用的零散存储空间，进而防止造成存储空间浪费的问题出现。同时，通过上述公式获得的第二空间阈值，能够与第一空间阈值进行有效配合，使第二空间阈值与第一空间阈值的设置更符合实际存储模块的空间使用情况，进而后续的存储模块配置的合理性最大化，最大程度上提高存储模块的存储空间的使用率。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.云平台存储系统，其特征在于，所述云平台存储系统包括：
多个存储模块，用于同时运行，对云平台产生的需要存储的数据进行实时存储；
判断模块，用于对所述多个存储模块进行存储状态和剩余容量的判断，并对满足剩余容量要求的存储模块进行筛选；
配置模块，用于根据新数据的数据占用空间以及所述存储模块的剩余容量，将所述新数据分配至存储模块进行数据存储；
数据拆分存储模块，用于当各所述存储模块的剩余容量均无法满足所述新数据的存储空间时，将所述新数据拆分为多个数据块，并将所述数据块分别存储于不同的存储模块中；
数据调取模块，用于针对以拆分存储形式进行存储的新数据被调用时，利用数据块对应的校验码依次从存储模块中调取所述新数据对应的数据块，并根据所述数据块中每个数据的帧序号将所述数据合并为完整的数据；
所述数据拆分存储模块包括：
筛选模块一，用于在各所述存储模块的剩余容量均无法满足所述新数据的存储空间时，判断所述各存储模块是否达到或超过第二空间阈值，筛选出已达到或超过第二空间阈值的存储模块；其中，所述第二空间阈值大于第一空间阈值；
数量判断模块，用于判断所述已达到或超过第二空间阈值的存储模块的数量，当所述已达到或超过第二空间阈值的存储模块的数量大于2时，启动数据拆分模块，当所述已达到或超过第二空间阈值的存储模块的数量小于等于2时，启动筛选模块二；
筛选模块二，用于判断所述各存储模块是否达到或超过第一空间阈值且未达到第二空间阈值，获取已达到或超过第一空间阈值且未达到第二空间阈值的存储模块，按照剩余容量值从小到大的顺序将筛选出的所述已达到或超过第一空间阈值且未达到第二空间阈值的存储模块进行排序，筛选出剩余容量值最小的M个所述已达到或超过第一空间阈值且未达到第二空间阈值的存储模块；其中，M为已达到或超过第一空间阈值且未达到第二空间阈值的存储模块的总个数的50％；
数据拆分模块，用于将所述新数据分成N个数据块，其中，N满足的条件为：N＝M+P，或，N＝P；P表示已达到或超过第二空间阈值的存储模块的数量，M表示筛选模块二筛选出的所述已达到或超过第一空间阈值且未达到第二空间阈值的存储模块的数量；
拆分配置模块，用于将所述数据块分别配置于对应的存储模块中；所述对应的存储模块是指筛选模块一筛选出的已达到或超过第二空间阈值的存储模块，或者，筛选模块一筛选出的已达到或超过第二空间阈值的存储模块和筛选模块二筛选出的已达到或超过第一空间阈值且未达到第二空间阈值的存储模块。
2.根据权利要求1所述系统，其特征在于，所述判断模块包括：
存储判断模块，用于在所述云平台产生新数据需要被存储时，判断每个存储模块中是否正在进行数据存储，并筛选出已完成数据存储的存储模块；如果当前没有存储模块完成数据存储操作，则启动存储状态监测模块；
存储状态监测模块，用于当存在正在进行存储的数据时，将所述新数据放置缓冲区，并实时对所述正在进行存储的数据状态进行检测，判断数据存储是否完成；
空间判断模块，用于判断已完成数据存储的存储模块内的剩余存储容量是否达到第一容量阈值，并筛选出没有达到第一容量阈值的存储模块；
阈值自适应调整模块，用于在预设的采集时间间隔内，根据所述云平台整体存储空间，以及各存储模块的剩余容量值，对每个存储模块的第一容量阈值进行自适应调整。
3.根据权利要求2所述系统，其特征在于，所述阈值自适应调整模块利用阈值调整模型对各存储模块的容量阈值进行自适应调整：
Figure FDA0002949625860000021
其中，T1表示自适应调整后的信道的第一容量阈值，ΔCi表示每个存储模块在第i个采集时间间隔中的剩余容量，Cmax表示所述存储模块的最大容量值；n表示采集次数；λ表示容量阈值调节系数，λ＝1.2-1.5。
4.根据权利要求1所述系统，其特征在于，所述配置模块包括：
存储空间确定模块，用于根据所述新数据的数据量确定所述新数据存储时需要占用的存储空间；
容量确定模块，用于在没有达到第一容量阈值的存储模块中，确定每个所述没有达到第一容量阈值的存储模块的剩余容量，筛选出剩余容量最大的存储模块；
比较模块，用于将所述新数据存储时需要占用的存储空间与所述剩余容量最大的存储模块的剩余容量进行比较，如果所述新数据存储时需要占用的存储空间小于述剩余容量最大的存储模块的剩余容量，则将所述新数据存储至所述剩余容量最大的存储模块中；如果所述所述新数据存储时需要占用的存储空间大于述剩余容量最大的存储模块的剩余容量，则启动数据拆分存储模块。
5.根据权利要求1所述系统，其特征在于，所述数据拆分模块包括：
帧序号添加模块，用于对所述新数据的每一帧数据添加帧序号
拆分模块，用于按照所述帧序号的顺序，将所述新数据拆分为N个数据块，每个数据块中包含多个按帧序号排列的帧数据；
校验码生成模块，用于针对每个数据块生成校验码；
对应配置模块，用于将带有校验码的数据块依次配置到对应的存储模块中进行存储。
6.根据权利要求1所述系统，其特征在于，所述云平台存储系统的存储过程包括：
S1、同时运行多个存储模块，对云平台产生的需要存储的数据进行实时存储；
S2、对所述多个存储模块进行存储状态和剩余容量的判断，并对满足剩余容量要求的存储模块进行筛选；
S3、根据所述新数据的数据占用空间以及所述存储模块的剩余容量，将所述新数据分配至存储模块进行数据存储；
S4、当各所述存储模块的剩余容量均无法满足所述新数据的存储空间时，将所述新数据拆分为多个数据块，并将所述数据块分别存储于不同的存储模块中；
S5、针对以拆分存储形式进行存储的新数据被调用时，利用数据块对应的校验码依次从存储模块中调取所述新数据对应的数据块，并根据所述数据块中每个数据的帧序号将所述数据合并为完整的数据。
7.根据权利要求1所述系统，其特征在于，对所述多个存储模块进行存储状态和剩余容量的判断，并对满足剩余容量要求的存储模块进行筛选，包括：
S201、在所述云平台产生新数据需要被存储时，判断每个存储模块中是否正在进行数据存储，并筛选出已完成数据存储的存储模块；如果当前没有存储模块完成数据存储操作，则启动存储状态监测模块；
S202、当存在正在进行存储的数据时，将所述新数据放置缓冲区，并实时对所述正在进行存储的数据状态进行检测，判断数据存储是否完成；
S203、判断已完成数据存储的存储模块内的剩余存储容量是否达到第一容量阈值，并筛选出没有达到第一容量阈值的存储模块；
S204、在预设的采集时间间隔内，根据所述云平台整体存储空间，以及各存储模块的剩余容量值，对每个存储模块的第一容量阈值进行自适应调整。
8.根据权利要求1所述系统，其特征在于，根据所述新数据的数据占用空间以及所述存储模块的剩余容量，将所述新数据分配至存储模块进行数据存储，包括：
S301、根据所述新数据的数据量确定所述新数据存储时需要占用的存储空间；
S302、在没有达到第一容量阈值的存储模块中，确定每个所述没有达到第一容量阈值的存储模块的剩余容量，筛选出剩余容量最大的存储模块；
S303、将所述新数据存储时需要占用的存储空间与所述剩余容量最大的存储模块的剩余容量进行比较，如果所述新数据存储时需要占用的存储空间小于述剩余容量最大的存储模块的剩余容量，则将所述新数据存储至所述剩余容量最大的存储模块中；如果所述所述新数据存储时需要占用的存储空间大于述剩余容量最大的存储模块的剩余容量，则启动数据拆分存储模块。
9.根据权利要求1所述系统，其特征在于，当各所述存储模块的剩余容量均无法满足所述新数据的存储空间时，将所述新数据拆分为多个数据块，并将所述数据块分别存储于不同的存储模块中，包括：
S401、在各所述存储模块的剩余容量均无法满足所述新数据的存储空间时，判断所述各存储模块是否达到或超过第二空间阈值，筛选出已达到或超过第二空间阈值的存储模块；其中，所述第二空间阈值大于第一空间阈值；所述第二空间阈值为：
Figure FDA0002949625860000041
其中，T2表示第二空间阈值；β表示第二阈值系数，β的取值范围为1.1——1.25；T1表示自适应调整后的信道的第一容量阈值，Cmax表示所述存储模块的最大容量值；
S402、判断所述已达到或超过第二空间阈值的存储模块的数量，当所述已达到或超过第二空间阈值的存储模块的数量大于2时，启动数据拆分模块，当所述已达到或超过第二空间阈值的存储模块的数量小于等于2时，启动筛选模块二；
S403、判断所述各存储模块是否达到或超过第一空间阈值且未达到第二空间阈值，获取已达到或超过第一空间阈值且未达到第二空间阈值的存储模块，按照剩余容量值从小到大的顺序将筛选出的所述已达到或超过第一空间阈值且未达到第二空间阈值的存储模块进行排序，筛选出剩余容量值最小的M个所述已达到或超过第一空间阈值且未达到第二空间阈值的存储模块；其中，M为已达到或超过第一空间阈值且未达到第二空间阈值的存储模块的总个数的50％；
S404、将所述新数据分成N个数据块，其中，N满足的条件为：N＝M+P，或，N＝P；P表示已达到或超过第二空间阈值的存储模块的数量，M表示筛选模块二筛选出的所述已达到或超过第一空间阈值且未达到第二空间阈值的存储模块的数量；
S405、将所述数据块分别配置于对应的存储模块中；所述对应的存储模块是指筛选模块一筛选出的已达到或超过第二空间阈值的存储模块，或者，筛选模块一筛选出的已达到或超过第二空间阈值的存储模块和筛选模块二筛选出的已达到或超过第一空间阈值且未达到第二空间阈值的存储模块。
CN202010752395.6A 2020-07-30 2020-07-30 云平台存储系统 Active CN112035058B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010752395.6A CN112035058B (zh) 2020-07-30 2020-07-30 云平台存储系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010752395.6A CN112035058B (zh) 2020-07-30 2020-07-30 云平台存储系统

Publications (2)

Publication Number Publication Date
CN112035058A CN112035058A (zh) 2020-12-04
CN112035058B true CN112035058B (zh) 2021-04-30

Family

ID=73583714

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010752395.6A Active CN112035058B (zh) 2020-07-30 2020-07-30 云平台存储系统

Country Status (1)

Country Link
CN (1) CN112035058B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112820034B (zh) * 2020-12-31 2023-02-17 威海新北洋数码科技有限公司 物品存放方法和储物柜
CN113506105A (zh) * 2021-05-31 2021-10-15 深圳市合力思科技有限公司 一种基于在线支付的证书存放调用方法及系统
CN113254392B (zh) * 2021-07-12 2022-06-14 深圳比特微电子科技有限公司 用于片上系统的数据存储方法和基于片上系统的设备
CN113628087B (zh) * 2021-08-20 2022-06-03 轩昂环保科技股份有限公司 城市智慧管家管理系统
CN116339622B (zh) * 2023-02-20 2023-11-14 深圳市数存科技有限公司 一种基于块级的数据压缩系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102281321A (zh) * 2011-04-25 2011-12-14 程旭 云存储分割与备份数据的方法及装置
CN102904913A (zh) * 2011-07-27 2013-01-30 鸿富锦精密工业（深圳）有限公司 云端存储空间管理方法与系统及使用所述方法的网关设备
CN103577503A (zh) * 2012-08-10 2014-02-12 鸿富锦精密工业（深圳）有限公司 云端文件存储系统及方法
CN108616583A (zh) * 2018-04-16 2018-10-02 牛路 一种基于计算机云的存储空间分配方法
CN109343962A (zh) * 2018-10-26 2019-02-15 北京知道创宇信息技术有限公司 数据处理方法、装置及分布式服务系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108156188B (zh) * 2016-12-02 2021-06-01 中科星图股份有限公司 一种数据有效性检验系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102281321A (zh) * 2011-04-25 2011-12-14 程旭 云存储分割与备份数据的方法及装置
CN102904913A (zh) * 2011-07-27 2013-01-30 鸿富锦精密工业（深圳）有限公司 云端存储空间管理方法与系统及使用所述方法的网关设备
CN103577503A (zh) * 2012-08-10 2014-02-12 鸿富锦精密工业（深圳）有限公司 云端文件存储系统及方法
CN108616583A (zh) * 2018-04-16 2018-10-02 牛路 一种基于计算机云的存储空间分配方法
CN109343962A (zh) * 2018-10-26 2019-02-15 北京知道创宇信息技术有限公司 数据处理方法、装置及分布式服务系统

Also Published As

Publication number Publication date
CN112035058A (zh) 2020-12-04

Similar Documents

Publication Publication Date Title
CN112035058B (zh) 云平台存储系统
US11907760B2 (en) Systems and methods of memory allocation for neural networks
CN106293924B (zh) 安卓系统的内存管理方法及装置
CN111176852A (zh) 资源分配方法、装置、芯片及计算机可读存储介质
US6742078B1 (en) Management, data link structure and calculating method for flash memory
CN108287666A (zh) 用于云存储环境的数据存储方法及装置
CN111176840B (zh) 分布式任务的分配优化方法和装置、存储介质及电子装置
CN111831355B (zh) 权重精度配置方法、装置、设备及存储介质
CN110502321A (zh) 一种资源调度方法及系统
CN103902384A (zh) 为虚拟机分配物理机的方法及装置
CN111930498A (zh) 一种高效的gpu资源分配优化方法和系统
CN115203177B (zh) 一种分布式数据存储系统及存储方法
CN112732202A (zh) 一种数据存储系统
CN116954905A (zh) 一种面向Flink大数据的任务编排与迁移方法
CN115398399A (zh) 确定内存的方法、统计服务器、物理机和存储介质
CN113537833B (zh) 交通事故的应急车辆调度方法、装置及设备
EP1645963B1 (en) Determining sizes of memory frames for dynamic memory allocation limiting internal fragmentation
CN115249099A (zh) 库位分配方法、装置、电子设备、存储介质及程序产品
CN113657794A (zh) 一种生产人力资源分配的策划方法及策划装置
CN116383290B (zh) 一种数据泛化解析方法
JP2642576B2 (ja) 複数ページサイズシステムにおける自動ページ数管理方式
CN113342273B (zh) 一种基于缓存的大数据存储方法及系统
CN117519913B (zh) 一种容器内存资源弹性伸缩调度方法和系统
CN111258747A (zh) 一种服务效率控制方法及装置
CN110187976B (zh) 一种移动终端的日志输出控制方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant