CN114706527B - 一种存储空间分布式的释放方法及分布式系统 - Google Patents

一种存储空间分布式的释放方法及分布式系统 Download PDF

Info

Publication number
CN114706527B
CN114706527B CN202210301124.8A CN202210301124A CN114706527B CN 114706527 B CN114706527 B CN 114706527B CN 202210301124 A CN202210301124 A CN 202210301124A CN 114706527 B CN114706527 B CN 114706527B
Authority
CN
China
Prior art keywords
storage space
data
release
releasing
temporary storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210301124.8A
Other languages
English (en)
Other versions
CN114706527A (zh
Inventor
张志杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Hanxinsheng Technology Co ltd
Original Assignee
Beijing Hanxinsheng Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Hanxinsheng Technology Co ltd filed Critical Beijing Hanxinsheng Technology Co ltd
Priority to CN202210301124.8A priority Critical patent/CN114706527B/zh
Publication of CN114706527A publication Critical patent/CN114706527A/zh
Application granted granted Critical
Publication of CN114706527B publication Critical patent/CN114706527B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种存储空间分布式的释放方法及分布式系统，其方法包括步骤：S1、发出从所记录存储空间内符合释放条件的总存储空间的数据/文件；S2、建立总检索式，并在临时存储空间内查找相应的字段；S3、判断临时存储空间内是否存在相应的字段，若存在，则进入步骤S4，若不存在，则进入步骤S5；S4、验证该字段所存在的逻辑表达式是否与总存储空间的数据/文件有索引关系，进入步骤S6；S5、字段进行截断，建立检索式进行二次查全；S6、若有关联，则更新逻辑表达式；若没有关联，则逻辑表达式无需更新；S7、完成整个总存储空间和临时存储空间的数据释放。本发明解决了现有对象聚合机制对存储空间的释放，忽略了分布式存储中临时存储空间释放的问题。

Description

一种存储空间分布式的释放方法及分布式系统
技术领域
本发明属于数据存储技术领域，具体来说，涉及一种存储空间分布式的释放方法及分布式系统。
背景技术
在分布式存储中，本地对象存储位于最底层，其负责将数据实际写入磁盘中。目前在本地对象存储的对象聚合实现方式中，所有的对象均按照时间顺序并以追加写的方式写到一个聚合文件中，其中，聚合文件的大小默认为64MB，超出时会自动切换到一个新的聚合文件。这样一个文件对象最终会分布存储到不同的聚合文件中，一个聚合文件也会包含不同文件对象。当前在删除一个文件对象时会修改相关聚合文件的元数据，首先将聚合文件中要删除的文件对象对应的数据段置为无效状态，然后判断聚合文件中是否还存在有效数据；若还存在有效数据则对该聚合文件不做处理，此时不会释放该聚合文件对应的存储空间；若不存在有效数据则删除该聚合文件并释放其对应的存储空间。此时，对象聚合机制会启动一个定时器，定时扫描所有的聚合文件，将有效数据转移到新的聚合文件中，然后删除原有的聚合文件，通过这种方式来实现存储空间的释放。
但是对象聚合机制对存储空间的释放，却忽略了对分布式存储中临时存储的逻辑公式或者其它关联表中的相关数据进行释放；导致该机制在数据删除后，对应的分布式存储空间并没有真正的释放，对应临时存储空间仍有相应的逻辑表达式和关联数据存储，再次写入仍然会提示空间不足。
发明内容
针对现有对象聚合机制对存储空间的释放，忽略了分布式存储中临时存储空间释放的问题，本发明提供了一种存储空间分布式的释放方法及分布式系统。
为实现上述技术目的，本发明采用的技术方案如下：
一种存储空间分布式的释放方法，包括步骤：
S1、检测分布式系统预设的存储空间释放条件时，或者管理员权限要求释放该数据/文件的存储空间时，发出从所记录存储空间内符合释放条件的总存储空间的数据/文件；
S2、根据总存储空间释放的数据/文件建立总检索式，并在临时存储空间内查找相应的字段；
S3、判断临时存储空间内是否存在相应的字段，若存在该字段，则进入步骤S4，若不存在该字段，则进入步骤S5；
S4、验证该字段所存在的逻辑表达式是否与总存储空间的数据/文件有关联或者有索引关系，进入步骤S6；
S5、对该字段进行截断，并建立检索式进行二次查全，返回步骤S3中；
S6、若有关联，则更新逻辑表达式删除该字段的索引条件；若没有关联，则逻辑表达式无需更新；
S7、完成整个总存储空间和临时存储空间的数据释放。
进一步地，所述预设的存储空间释放条件包括时间节点、时间段、存储空间剩余存储磁盘大小、管理员人为定义的数据/文件的释放。
进一步地，所述预设的存储空间释放条件中每个数据/文件建立独立的检索式，单独在临时存储空间内查找。
进一步地，检索式包括数据的表名称或者文件名称加上存储入存储系统的时间节点。
进一步地，步骤S5中，对其字段的截断采用字符串的截取方式，所有截取的字符串均建立独立的检索式，逐一在判断临时存储空间内是否存在相应的字段。
进一步地，步骤S5返回步骤S3前，会判断循环次数，如果达到预设的次数即不再返回步骤S3，直接进入步骤S7。
一种存储空间分布式系统，包括总存储空间、临时存储空间、总存储空间释放单元、临时存储空间释放单元、检索式建立单元和控制单元；
所述总存储空间，用于存储数据/文件的磁盘；
所述临时存储空间，用于临时存储逻辑表达式和逻辑表达式索引的所有数据/ 文件存储空间；
所述总存储空间释放单元，用于释放总存储空间内达到预设的存储空间释放条件的数据/文件；
所述临时存储空间释放单元，用于释放临时存储空间内逻辑表达式中索引的字段和索引的数据/文件；
所述检索式建立单元，用于根据预设的存储空间释放条件所获取的字段，建立总存储空间和临时存储空间内的检索式；
所述控制单元，用于检索式检索结果的判断或者验证，以及控制结果释放步骤的执行。
本发明相比现有技术，具有如下有益效果：
本发明不仅对总存储空间存储的数据/文件进行完整的释放，同时还对释放的数据/文件建立检索式，在临时存储空间内进行逻辑表达式中索引的字段和索引的数据 /文件的释放。进而实现分布式系统内存储的数据/文件进行完整的释放，防止总存储空间内数据/文件的释放，忽略分布式存储中临时存储空间释放的现象产生，导致分布式存储系统存储的数据/文件释放不够完整的现象产生。
附图说明
图1为本发明一种存储空间分布式的释放方法的流程图；
图2为本发明一种存储空间分布式系统的结构示意图。
图中标记说明：10-总存储空间，20-临时存储空间，30-总存储空间释放单元， 40-临时存储空间释放单元，50-检索式建立单元，60-控制单元。
具体实施方式
为了便于本领域技术人员的理解，下面结合实施例与附图对本发明作进一步的说明，实施方式提及的内容并非对本发明的限定。
如图1所示，一种存储空间分布式的释放方法，包括步骤：
S1、检测分布式系统预设的存储空间释放条件时，或者管理员权限要求释放该数据/文件的存储空间时，发出从所记录存储空间内符合释放条件的总存储空间10 的数据/文件；如总存储空间10需要释放：数据表A。
S2、根据总存储空间10释放的数据/文件建立总检索式，并在临时存储空间20 内查找相应的字段；在临时存储空间20内查找带有“数据表A”字段的检索式；以及和“数据表A”有索引关系的“数据表B、C、Z”结构。
S3、判断临时存储空间20内是否存在相应的字段，若存在该字段，则进入步骤S4，若不存在该字段，则进入步骤S5；S4、验证该字段所存在的逻辑表达式是否与总存储空间10的数据/文件有关联或者有索引关系，进入步骤S6；通过索引关系的“数据表A”，运行检索式，监控“数据表B、C、Z”三表中是否有变化，对“数据表A”关联数据是否删除。
S5、对该字段进行截断，并建立检索式进行二次查全，返回步骤S3中；如将“数据表A”截断为“数据”和“表A”，分为两个检索式或者检索式写入字段“数据”OR“表A”中，完成步骤S3的进一步查全。
S6、若有关联，则更新逻辑表达式删除该字段的索引条件；若没有关联，则逻辑表达式无需更新；若“数据表B、C、Z”三表中是否有变化，则更新逻辑表达式删除“数据表A”字段的索引条件。同时完成对“数据表B、C、Z”三表的更新。
S7、完成整个总存储空间10和临时存储空间20的数据释放。删除“数据表A”、更新临时存储空间20内逻辑表达式和更新“数据表B、C、Z”中数据，完成“数据表A”的完整释放。
预设的存储空间释放条件包括时间节点、时间段、存储空间剩余存储磁盘大小、管理员人为定义的数据/文件的释放。时间节点通常需要释放设定的时间节点以前或者以后至当前时间节点的所有数据/文件的释放。时间段的释放，以两个时间节点以内的所有数据/文件的释放。存储空间剩余存储磁盘大小的释放，以总存储空间10 剩余的存储磁盘空间大小作为标准，当剩余的存储磁盘空间大小小于预设的存储空间释放条件时，对部分数据/文件的释放。管理员人为定义的数据/文件的释放，以总存储空间10内与该数据/文件检索结果为标准，进行释放。如：一个时间段以内存储至总存储空间10的数据/文件为“数据表E、F、G”，相同的方式建立一个检索式或者三个检索式，或者管理员通过强制释放命令，释放“数据表E、F、G”在总存储空间10或者临时存储空间20内的数据表/逻辑表达式索引关系，以及索引关系表“数据表T、Y、U”的更新。
预设的存储空间释放条件中每个数据/文件建立独立的检索式，单独在临时存储空间20内查找。每个数据/文件建立独立的检索式的优点在于，更能查全、查准，防止漏查或者错查的可能性产生。多个“数据表”容易在临时存储空间20中造成逻辑表达式逻辑检索复杂，导致检索的索引表关系混乱，导致索引的“数据表T、Y、 U”更新不够完整，进而可能导致“数据表E、F、G”在临时存储空间20中释放不够完全。
检索式包括数据的表名称或者文件名称加上存储入存储系统的时间节点。确保每个检索式的唯一性，每个待释放的数据/文件的唯一性特性，防止错误释放或者漏释放的可能性产生。有些数据表的存储名称可能导致重复，增加存储时间，确保检索字段的唯一性，如“数据表A+2020-01-01-21-56-48”，精确到存储时间秒为单位，确保数据表字段的检索时唯一性。
步骤S5中，对其字段的截断采用字符串的截取方式，所有截取的字符串均建立独立的检索式，逐一在判断临时存储空间20内是否存在相应的字段。防止管理员或者逻辑表达式编辑人员在编辑逻辑表达式时为了简便而截选数据的表名称或者文件名称的部分字段，而没有全选整个字段，导致无法在临时存储空间20中找到该数据或者文件相关的逻辑表达式。
步骤S5返回步骤S3前，会判断循环次数，如果达到预设的次数即不再返回步骤S3，直接进入步骤S7。该设计目的防止步骤S5成为死循环，现实临时存储空间 20内，并不是对所有的总存储空间10内的数据/文件建立有逻辑表达式，仅仅只是对需要快速索引数据/文件的临时存储空间20。
如图2所示，一种存储空间分布式系统，包括总存储空间10、临时存储空间20、总存储空间释放单元30 、临时存储空间释放单元40 、检索式建立单元50和控制单元60；所述总存储空间10，用于存储数据/文件的磁盘；所述临时存储空间20，用于临时存储逻辑表达式和逻辑表达式索引的所有数据/文件存储空间；所述总存储空间释放单元30 ，用于释放总存储空间10内达到预设的存储空间释放条件的数据/ 文件；所述临时存储空间释放单元40，用于释放临时存储空间20内逻辑表达式中索引的字段和索引的数据/文件；所述检索式建立单元50，用于根据预设的存储空间释放条件所获取的字段，建立总存储空间10和临时存储空间20内的检索式；所述控制单元60，用于检索式检索结果的判断或者验证，以及控制结果释放步骤的执行。
本发明相比现有技术，具有如下有益效果：
本发明不仅对总存储空间10存储的数据/文件进行完整的释放，同时还对释放的数据/文件建立检索式，在临时存储空间20内进行逻辑表达式中索引的字段和索引的数据/文件的释放。进而实现分布式系统内存储的数据/文件进行完整的释放，防止总存储空间10内数据/文件的释放，忽略分布式存储中临时存储空间20释放的现象产生，导致分布式存储系统存储的数据/文件释放不够完整的现象产生。
以上对本申请提供的一种存储空间分布式的释放方法及分布式系统进行了详细介绍。具体实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (7)

1.一种存储空间分布式的释放方法，其特征在于，包括步骤：
S1、检测分布式系统预设的存储空间释放条件时，或者管理员权限要求释放数据/文件的存储空间时，发出从所记录存储空间内符合释放条件的总存储空间(10)的数据/文件；
S2、根据总存储空间(10)释放的数据/文件建立总检索式，并在临时存储空间(20)内查找相应的字段；
S3、判断临时存储空间(20)内是否存在相应的字段，若存在该字段，则进入步骤S4，若不存在该字段，则进入步骤S5；
S4、验证该字段所存在的逻辑表达式是否与总存储空间(10)的数据/文件有关联或者有索引关系，进入步骤S6；
S5、对该字段进行截断，并建立检索式进行二次查全，返回步骤S3中；
S6、若有关联，则更新逻辑表达式删除该字段的索引条件；若没有关联，则逻辑表达式无需更新；
S7、完成整个总存储空间(10)和临时存储空间(20)的数据释放。
2.根据权利要求1所述的一种存储空间分布式的释放方法，其特征在于，所述预设的存储空间释放条件包括时间节点、时间段、存储空间剩余存储磁盘大小、管理员人为定义的数据/文件的释放。
3.根据权利要求2所述的一种存储空间分布式的释放方法，其特征在于，所述预设的存储空间释放条件中每个数据/文件建立独立的检索式，单独在临时存储空间(20)内查找。
4.根据权利要求3所述的一种存储空间分布式的释放方法，其特征在于，检索式包括数据的表名称或者文件名称加上存储入存储系统的时间节点。
5.根据权利要求4所述的一种存储空间分布式的释放方法，其特征在于，步骤S5中，对其字段的截断采用字符串的截取方式，所有截取的字符串均建立独立的检索式，逐一在判断临时存储空间(20)内是否存在相应的字段。
6.根据权利要求5所述的一种存储空间分布式的释放方法，其特征在于，步骤S5返回步骤S3前，会判断循环次数，如果达到预设的次数即不再返回步骤S3，直接进入步骤S7。
7.一种存储空间分布式系统，其特征在于，包括总存储空间(10)、临时存储空间(20)、总存储空间释放单元( 30 ) 、临时存储空间释放单元(40) 、检索式建立单元(50)和控制单元(60)；
所述总存储空间(10)，用于存储数据/文件的磁盘；
所述临时存储空间(20)，用于临时存储逻辑表达式和逻辑表达式索引的所有数据/文件存储空间；
所述总存储空间释放单元(30) ，用于释放总存储空间(10)内达到预设的存储空间释放条件的数据/文件；
所述临时存储空间释放单元(40) ，用于释放临时存储空间(20)内逻辑表达式中索引的字段和索引的数据/文件；
所述检索式建立单元(50)，用于根据预设的存储空间释放条件所获取的字段，建立总存储空间(10)和临时存储空间(20)内的检索式；
所述控制单元(60)，用于检索式检索结果的判断或者验证，以及控制结果释放步骤的执行。
CN202210301124.8A 2022-03-24 2022-03-24 一种存储空间分布式的释放方法及分布式系统 Active CN114706527B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210301124.8A CN114706527B (zh) 2022-03-24 2022-03-24 一种存储空间分布式的释放方法及分布式系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210301124.8A CN114706527B (zh) 2022-03-24 2022-03-24 一种存储空间分布式的释放方法及分布式系统

Publications (2)

Publication Number Publication Date
CN114706527A CN114706527A (zh) 2022-07-05
CN114706527B true CN114706527B (zh) 2022-09-20

Family

ID=82171004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210301124.8A Active CN114706527B (zh) 2022-03-24 2022-03-24 一种存储空间分布式的释放方法及分布式系统

Country Status (1)

Country Link
CN (1) CN114706527B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08221991A (ja) * 1995-02-13 1996-08-30 Nippon Telegr & Teleph Corp <Ntt> 連想メモリにおける複数選択分離方法および装置
US5829041A (en) * 1994-09-14 1998-10-27 Kabushiki Kaisha Toshiba Method and apparatus for managing single virtual space suitable for distributed processing
CN103353892A (zh) * 2013-07-05 2013-10-16 北京东方网信科技股份有限公司 一种适应海量存储的数据清理方法及系统
CN107229429A (zh) * 2017-06-27 2017-10-03 郑州云海信息技术有限公司 一种存储空间管理方法及装置
CN109739933A (zh) * 2019-01-02 2019-05-10 郑州云海信息技术有限公司 存储空间释放方法、装置、终端及计算机可读存储介质
CN110109910A (zh) * 2018-01-08 2019-08-09 广东神马搜索科技有限公司 数据处理方法及系统、电子设备和计算机可读存储介质
CN113918097A (zh) * 2021-10-22 2022-01-11 云南电网有限责任公司电力科学研究院 一种分布式存储方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5829041A (en) * 1994-09-14 1998-10-27 Kabushiki Kaisha Toshiba Method and apparatus for managing single virtual space suitable for distributed processing
JPH08221991A (ja) * 1995-02-13 1996-08-30 Nippon Telegr & Teleph Corp <Ntt> 連想メモリにおける複数選択分離方法および装置
CN103353892A (zh) * 2013-07-05 2013-10-16 北京东方网信科技股份有限公司 一种适应海量存储的数据清理方法及系统
CN107229429A (zh) * 2017-06-27 2017-10-03 郑州云海信息技术有限公司 一种存储空间管理方法及装置
CN110109910A (zh) * 2018-01-08 2019-08-09 广东神马搜索科技有限公司 数据处理方法及系统、电子设备和计算机可读存储介质
CN109739933A (zh) * 2019-01-02 2019-05-10 郑州云海信息技术有限公司 存储空间释放方法、装置、终端及计算机可读存储介质
CN113918097A (zh) * 2021-10-22 2022-01-11 云南电网有限责任公司电力科学研究院 一种分布式存储方法及系统

Also Published As

Publication number Publication date
CN114706527A (zh) 2022-07-05

Similar Documents

Publication Publication Date Title
US6668263B1 (en) Method and system for efficiently searching for free space in a table of a relational database having a clustering index
Bancilhon et al. On Line Processing of Compacted Relations.
JP2001282593A (ja) データベース−ファイル連携方法及び装置
CN110673800B (zh) 文件系统的数据操作方法、装置、设备及可读存储介质
CN103139224A (zh) 一种网络文件系统及网络文件系统的访问方法
US20070143286A1 (en) File management method in file system and metadata server therefor
CN103077199A (zh) 一种文件资源查找定位方法及装置
CN111831661A (zh) 一种基于快递业务逻辑的数据库归档方法
CN108958653A (zh) 一种基于底层聚合文件的空间回收方法、系统及相关装置
CN113377292A (zh) 一种单机存储引擎
CN106326040A (zh) 一种快照元数据管理方法和装置
CN110008289B (zh) 一种关系数据库、电网模型数据存储及检索方法
CN114706527B (zh) 一种存储空间分布式的释放方法及分布式系统
CN104077078B (zh) 读存储区、更新存储区的方法及装置
CN114968111A (zh) 一种数据删除方法、装置、设备和计算机可读存储介质
EP2534568A1 (en) Data storage method
CN105574192A (zh) 一种计算机文件检索方法
CN113094754B (zh) 大数据平台数据修改系统及修改、响应、缓存、校验方法
CN112612852B (zh) 数据同步方法及装置、电子设备、存储介质
CN112835907A (zh) 多次散列存储方法及系统
CN106354830A (zh) 一种数据库集群节点间数据同步的方法及装置
JP2005234945A (ja) 同時実行制御方法及び装置
CN117390031B (zh) 一种基于lsm树的存储系统中二级索引有效性的验证方法
CN109656926A (zh) 数据库的管理方法
CN114237507B (zh) 管理数据的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant