CN112214173B - 一种基于卷删除的写缓存资源分配方法及系统 - Google Patents

一种基于卷删除的写缓存资源分配方法及系统 Download PDF

Info

Publication number
CN112214173B
CN112214173B CN202011109859.8A CN202011109859A CN112214173B CN 112214173 B CN112214173 B CN 112214173B CN 202011109859 A CN202011109859 A CN 202011109859A CN 112214173 B CN112214173 B CN 112214173B
Authority
CN
China
Prior art keywords
volume
write cache
queue
task
deletion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011109859.8A
Other languages
English (en)
Other versions
CN112214173A (zh
Inventor
张刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202011109859.8A priority Critical patent/CN112214173B/zh
Publication of CN112214173A publication Critical patent/CN112214173A/zh
Application granted granted Critical
Publication of CN112214173B publication Critical patent/CN112214173B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662—Virtualisation aspects
    • G06F3/0665—Virtualisation aspects at area level, e.g. provisioning of virtual or logical volumes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0652—Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本发明提供一种基于卷删除的写缓存资源分配方法及系统，包括：设置写缓存的等待处理队列，将卷删任务导入所述队列中；发送写缓存接口异步资源的回调申请；利用所述回调申请判断写缓存资源是否充足：若是，则为卷删任务分配资源，并将要删除的目标卷的数据进行强制下刷；若否，则返回请求发送成功，并将卷删任务插入到所述队列的最前端。本发明在用户发起卷删任务时，异步申请写缓存资源的刷盘资源，根据写缓存资源占用情况，做出不同的响应，避免卷删任务因申请资源发生任务超时而导致系统发生未知错误。

Description

一种基于卷删除的写缓存资源分配方法及系统
技术领域
本发明属于存储系统技术领域，具体涉及一种基于卷删除的写缓存资源分配方法及系统。
背景技术
全闪精简卷，为使用固态存储介质创建的存储池中创建出来的自精简配置的卷，在全闪精简池存储功能中，进行卷删除操作时，启动卷删任务之后，卷删任务需要将写缓存中没有下刷到磁盘中的数据强制下刷到磁盘中，而此时还有其他的卷正在使用写缓存资源，当要删除的卷比较多的时候会造成写缓存资源的竞争，而卷删任务在启动后申请写缓存资源时，给写缓存下发了请求之后就会一直等待写缓存的回复，这样做很容易造成卷删任务超时，进而导致存储系统发生未知错误，因此需要对当前的卷删任务与写缓存资源使用进行优化，以防止删卷任务发生超时现象,提高系统的处理性能及稳定性。
发明内容
针对现有技术的上述不足，本发明提供一种基于卷删除的写缓存资源分配方法及系统，以解决上述技术问题。
第一方面，本发明提供一种基于卷删除的写缓存资源分配方法，包括：
设置写缓存的等待处理队列，将卷删任务导入所述队列中；
发送写缓存接口异步资源的回调申请；
利用所述回调申请判断写缓存资源是否充足：
若是，则为卷删任务分配资源，并将要删除的目标卷的数据进行强制下刷；
若否，则返回请求发送成功，并将卷删任务插入到所述队列的最前端。
进一步的，所述方法还包括：
设置卷删任务超时策略，遍历写缓存的等待处理队列中的卷删任务；
将满足所述超时策略的卷删任务移出写缓存的等待处理队列。
进一步的，所述判断写缓存资源是否充足，包括：
获取写缓存的空闲资源大小；
获取删除所述目标卷需要的目标缓存大小；
判断所述目标缓存大小是否小于或等于所述空闲资源大小：
若是，则判断写缓存资源充足；若否，则判断写缓存资源不充足。
进一步的，所述方法还包括：
在所述卷删任务超时策略中设置卷删任务最大等待时间；
计算卷删任务所述等待处理队列中的实际等待时间；
判断实际等待时间满足卷删任务最大等待时间的卷删任务满足所述超时策略。
进一步的，所述方法还包括：
计算卷删任务最大等待时间与在所述等待处理队列中的实际等待时间之差，所述差作为处理时间；
计算目标卷的数据大小和处理时间的商作为下刷速度；
写缓存按照所述下刷速度强制下刷目标卷的数据。
进一步的，所述方法还包括：
所述等待处理队列的各节点设置权重，位于所述队列从前到后端的节点权重依次降低；
根据等待处理队列中的卷删任务的实际等待时间设置权重，实际等待时间久的权重高；
实时刷新各节点的权重，并更新等待处理队列内各卷删任务的排序。
进一步的，所述回调申请为写缓存为卷删任务注册一个回调函数，所述回调函数用于发送申请并返回申请发送是否成功。
第二方面，本发明提供一种基于卷删除的写缓存资源分配系统，包括：
队列处理单元，配置用于设置写缓存的等待处理队列，将卷删任务导入所述队列中；
申请发送单元，配置用于发送写缓存接口异步资源的回调申请；
响应处理单元，配置用于利用所述回调申请判断写缓存资源是否充足：
若是，则为卷删任务分配资源，并将要删除的目标卷的数据进行强制下刷；
若否，则返回请求发送成功，并将卷删任务插入到所述队列的最前端。
本发明的有益效果在于，
本发明提供的一种基于卷删除的写缓存资源分配方法及系统，在用户发起卷删任务时，异步申请写缓存资源的刷盘资源，根据写缓存资源占用情况，做出不同的响应，同时提供超时判断、处理办法，避免卷删任务因申请资源发生任务超时而导致系统发生未知错误。
此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的方法的示意性流程图。
图2是本发明一个实施例的系统的示意性框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
下面对本发明中出现的关键术语进行解释。
图1是本发明一个实施例的方法的示意性流程图。其中，图1执行主体可以为一种基于卷删除的写缓存资源分配系统。
如图1所示，该方法包括：
步骤110，设置写缓存的等待处理队列，将卷删任务导入所述队列中；
步骤120，发送写缓存接口异步资源的回调申请；
步骤130，利用所述回调申请判断写缓存资源是否充足：
若是，则为卷删任务分配资源，并将要删除的目标卷的数据进行强制下刷；
若否，则返回请求发送成功，并将卷删任务插入到所述队列的最前端。
可选地，作为本发明一个实施例，所述方法还包括：
设置卷删任务超时策略，遍历写缓存的等待处理队列中的卷删任务；
将满足所述超时策略的卷删任务移出写缓存的等待处理队列。
可选地，作为本发明一个实施例，所述判断写缓存资源是否充足，包括：
获取写缓存的空闲资源大小；
获取删除所述目标卷需要的目标缓存大小；
判断所述目标缓存大小是否小于或等于所述空闲资源大小：
若是，则判断写缓存资源充足；若否，则判断写缓存资源不充足。
可选地，作为本发明一个实施例，所述方法还包括：
在所述卷删任务超时策略中设置卷删任务最大等待时间；
计算卷删任务所述等待处理队列中的实际等待时间；
判断实际等待时间满足卷删任务最大等待时间的卷删任务满足所述超时策略。
可选地，作为本发明一个实施例，所述方法还包括：
计算卷删任务最大等待时间与在所述等待处理队列中的实际等待时间之差，所述差作为处理时间；
计算目标卷的数据大小和处理时间的商作为下刷速度；
写缓存按照所述下刷速度强制下刷目标卷的数据。
可选地，作为本发明一个实施例，所述方法还包括：
所述等待处理队列的各节点设置权重，位于所述队列从前到后端的节点权重依次降低；
根据等待处理队列中的卷删任务的实际等待时间设置权重，实际等待时间久的权重高；
实时刷新各节点的权重，并更新等待处理队列内各卷删任务的排序。
可选地，作为本发明一个实施例，所述回调申请为写缓存为卷删任务注册一个回调函数，所述回调函数用于发送申请并返回申请发送是否成功。
为了便于对本发明的理解，下面以本发明一种基于卷删除的写缓存资源分配方法的原理，结合实施例中对全闪精简池进行存储管理的过程，对本发明提供的一种基于卷删除的写缓存资源分配方法做进一步的描述。
具体的，所述一种基于卷删除的写缓存资源分配方法包括：
1、设置写缓存的等待处理队列，将卷删任务导入所述队列中；发送写缓存接口异步资源的回调申请；所述回调申请为写缓存为卷删任务注册一个回调函数，所述回调函数用于发送申请并返回申请发送是否成功；
2、利用所述回调申请判断写缓存资源是否充足；获取写缓存的空闲资源大小，获取删除所述目标卷需要的目标缓存大小，判断所述目标缓存大小是否小于或等于所述空闲资源大小：若是，则判断写缓存资源充足；若否，则判断写缓存资源不充足；
若写缓存资源充足，则为卷删任务分配资源，并将要删除的目标卷的数据进行强制下刷；若写缓存资源不充足，则返回请求发送成功，并将卷删任务插入到所述队列的最前端；将写缓存中对应要删除卷的数据进行强制下刷从而避免卷删任务长时间等待而发生任务超时；
3、设置卷删任务超时策略，在所述卷删任务超时策略中设置卷删任务最大等待时间；遍历写缓存的等待处理队列中的卷删任务；计算卷删任务所述等待处理队列中的实际等待时间；判断实际等待时间满足卷删任务最大等待时间的卷删任务满足所述超时策略；将满足所述超时策略的卷删任务移出写缓存的等待处理队列，避免超时的卷删任务堆积占用内存资源，及时移除方便队列中的其他任务进行操作，也使得超时的卷删任务移除队列进行重新处理；避免卷删任务因申请资源发生任务超时而导致系统发生未知错误。
4、计算卷删任务最大等待时间与在所述等待处理队列中的实际等待时间之差，所述差作为处理时间；计算目标卷的数据大小和处理时间的商作为下刷速度；写缓存按照所述下刷速度强制下刷目标卷的数据；根据数据量和剩余的处理时间来设置下刷速度，保证数据下刷的成功率；
5、所述等待处理队列的各节点设置权重，位于所述队列从前到后端的节点权重依次降低；根据等待处理队列中的卷删任务的实际等待时间设置权重，实际等待时间久的权重高；实时刷新各节点的权重，并更新等待处理队列内各卷删任务的排序，保证写缓存等待处理队列的合理性，提高写缓存的处理效率。
如图2示，该系统200包括：
队列处理单元210，配置用于设置写缓存的等待处理队列，将卷删任务导入所述队列中；
申请发送单元220，配置用于发送写缓存接口异步资源的回调申请；
响应处理单元230，配置用于利用所述回调申请判断写缓存资源是否充足：
若是，则为卷删任务分配资源，并将要删除的目标卷的数据进行强制下刷；
若否，则返回请求发送成功，并将卷删任务插入到所述队列的最前端。
尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (7)

1.一种基于卷删除的写缓存资源分配方法，其特征在于，包括：
设置写缓存的等待处理队列，将卷删任务导入所述队列中；
发送写缓存接口异步资源的回调申请；
利用所述回调申请判断写缓存资源是否充足：
若是，则为卷删任务分配资源，并将要删除的目标卷的数据进行强制下刷；
若否，则返回请求发送成功，并将卷删任务插入到所述队列的最前端；
所述方法还包括：
所述等待处理队列的各节点设置权重，位于所述队列从前到后端的节点权重依次降低；
根据等待处理队列中的卷删任务的实际等待时间设置权重，实际等待时间久的权重高；
实时刷新各节点的权重，并更新等待处理队列内各卷删任务的排序。
2.根据权利要求1所述的一种基于卷删除的写缓存资源分配方法，其特征在于，所述方法还包括：
设置卷删任务超时策略，遍历写缓存的等待处理队列中的卷删任务；
将满足所述超时策略的卷删任务移出写缓存的等待处理队列。
3.根据权利要求1所述的一种基于卷删除的写缓存资源分配方法，其特征在于，所述判断写缓存资源是否充足，包括：
获取写缓存的空闲资源大小；
获取删除所述目标卷需要的目标缓存大小；
判断所述目标缓存大小是否小于或等于所述空闲资源大小：
若是，则判断写缓存资源充足；若否，则判断写缓存资源不充足。
4.根据权利要求2所述的一种基于卷删除的写缓存资源分配方法，其特征在于，所述方法还包括：
在所述卷删任务超时策略中设置卷删任务最大等待时间；
计算卷删任务所述等待处理队列中的实际等待时间；
判断实际等待时间满足卷删任务最大等待时间的卷删任务满足所述超时策略。
5.根据权利要求4所述的一种基于卷删除的写缓存资源分配方法，其特征在于，所述方法还包括：
计算卷删任务最大等待时间与在所述等待处理队列中的实际等待时间之差，所述差作为处理时间；
计算目标卷的数据大小和处理时间的商作为下刷速度；
写缓存按照所述下刷速度强制下刷目标卷的数据。
6.根据权利要求1所述的一种基于卷删除的写缓存资源分配方法，其特征在于，所述回调申请为写缓存为卷删任务注册一个回调函数，所述回调函数用于发送申请并返回申请发送是否成功。
7.一种基于卷删除的写缓存资源分配系统，其特征在于，
队列处理单元，配置用于设置写缓存的等待处理队列，将卷删任务导入所述队列中；
申请发送单元，配置用于发送写缓存接口异步资源的回调申请；
响应处理单元，配置用于利用所述回调申请判断写缓存资源是否充足：
若是，则为卷删任务分配资源，并将要删除的目标卷的数据进行强制下刷；
若否，则返回请求发送成功，并将卷删任务插入到所述队列的最前端；
所述基于卷删除的写缓存资源分配系统被配置为执行以下方法步骤：
所述等待处理队列的各节点设置权重，位于所述队列从前到后端的节点权重依次降低；
根据等待处理队列中的卷删任务的实际等待时间设置权重，实际等待时间久的权重高；
实时刷新各节点的权重，并更新等待处理队列内各卷删任务的排序。
CN202011109859.8A 2020-10-16 2020-10-16 一种基于卷删除的写缓存资源分配方法及系统 Active CN112214173B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011109859.8A CN112214173B (zh) 2020-10-16 2020-10-16 一种基于卷删除的写缓存资源分配方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011109859.8A CN112214173B (zh) 2020-10-16 2020-10-16 一种基于卷删除的写缓存资源分配方法及系统

Publications (2)

Publication Number Publication Date
CN112214173A CN112214173A (zh) 2021-01-12
CN112214173B true CN112214173B (zh) 2023-01-10

Family

ID=74055540

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011109859.8A Active CN112214173B (zh) 2020-10-16 2020-10-16 一种基于卷删除的写缓存资源分配方法及系统

Country Status (1)

Country Link
CN (1) CN112214173B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113138718A (zh) * 2021-04-27 2021-07-20 北京百度网讯科技有限公司 用于分布式块存储系统的存储方法、设备、系统和介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109614377A (zh) * 2018-12-07 2019-04-12 浪潮电子信息产业股份有限公司 分布式文件系统的文件删除方法、装置、设备及存储介质
CN109684236A (zh) * 2018-12-25 2019-04-26 广东浪潮大数据研究有限公司 一种数据写缓存控制方法、装置、电子设备和存储介质
CN111309437A (zh) * 2020-02-13 2020-06-19 苏州浪潮智能科技有限公司 一种逻辑卷的异步删除方法、系统及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109614377A (zh) * 2018-12-07 2019-04-12 浪潮电子信息产业股份有限公司 分布式文件系统的文件删除方法、装置、设备及存储介质
CN109684236A (zh) * 2018-12-25 2019-04-26 广东浪潮大数据研究有限公司 一种数据写缓存控制方法、装置、电子设备和存储介质
CN111309437A (zh) * 2020-02-13 2020-06-19 苏州浪潮智能科技有限公司 一种逻辑卷的异步删除方法、系统及装置

Also Published As

Publication number Publication date
CN112214173A (zh) 2021-01-12

Similar Documents

Publication Publication Date Title
CN111857589B (zh) 分布式存储系统中ssd缓存下刷速度控制方法及系统
EP3796150A1 (en) Storage volume creation method and apparatus, server, and storage medium
CN112214173B (zh) 一种基于卷删除的写缓存资源分配方法及系统
CN109614377A (zh) 分布式文件系统的文件删除方法、装置、设备及存储介质
WO2021093365A1 (zh) 一种gpu显存管理控制方法及相关装置
US20200133871A1 (en) Method, device and computer program product for data writing
CN109739933A (zh) 存储空间释放方法、装置、终端及计算机可读存储介质
CN107992271B (zh) 数据预读方法、装置、设备及计算机可读存储介质
CN108153594B (zh) 一种人工智能云平台的资源碎片整理方法及电子设备
CN109614045A (zh) 一种元数据落盘方法、装置及相关设备
CN107301090B (zh) 在存储服务器中为应用设置数据处理路径的方法及装置
CN111124283A (zh) 一种存储空间管理方法、系统、电子设备及存储介质
CN107545053B (zh) 一种集群系统缓存查询方法及设备
WO2021068515A1 (zh) 存储系统中数据管理方法和装置
CN108334288A (zh) 数据存储方法和装置
CN111625506A (zh) 一种基于删除队列的分布式数据删除方法、装置及设备
CN103176753A (zh) 存储设备及其数据管理方法
CN103064793B (zh) 精简配置容量回收方法和系统
CN114020828B (zh) 一种分布式分级存储系统
CN109992213B (zh) 数据删除方法、系统、装置及计算机可读存储介质
CN114546891A (zh) 一种缓存缩容方法、装置、设备及存储介质
CN106569744A (zh) 一种存储临时数据的方法及存储设备
CN108958655B (zh) 一种固态硬盘的数据擦写方法、装置、设备及存储介质
CN109582244B (zh) 一种元数据落盘方法、装置、终端及计算机可读存储介质
CN109992217A (zh) 一种服务质量控制方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant