CN109918208A - 一种io操作处理方法及装置 - Google Patents

一种io操作处理方法及装置 Download PDF

Info

Publication number
CN109918208A
CN109918208A CN201910179746.6A CN201910179746A CN109918208A CN 109918208 A CN109918208 A CN 109918208A CN 201910179746 A CN201910179746 A CN 201910179746A CN 109918208 A CN109918208 A CN 109918208A
Authority
CN
China
Prior art keywords
target
mutual exclusion
data structure
recorded
storage region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910179746.6A
Other languages
English (en)
Inventor
段鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New H3C Technologies Co Ltd Chengdu Branch
Original Assignee
New H3C Technologies Co Ltd Chengdu Branch
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by New H3C Technologies Co Ltd Chengdu Branch filed Critical New H3C Technologies Co Ltd Chengdu Branch
Priority to CN201910179746.6A priority Critical patent/CN109918208A/zh
Publication of CN109918208A publication Critical patent/CN109918208A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供了一种IO操作处理方法及装置,其中,该方法包括:获取待处理的目标输入输出IO操作并对互斥锁加锁,其中,互斥锁加锁期间,仅允许目标IO操作占用互斥数据结构,互斥数据结构中记录有正在执行的IO操作所指向的逻辑卷的存储区域;若目标IO操作所指向的逻辑卷的目标存储区域与互斥数据结构中记录的存储区域不存在重叠,则将目标存储区域添加至互斥数据结构中,并处理目标IO操作;在将目标IO操作处理完成之后,删除互斥数据结构中记录的目标存储区域,并对互斥锁解锁。采用上述方式,可以有效避免对同一段存储区域同时执行后台IO操作和前台IO写操作,进而避免出现源卷和目标卷中的数据不一致的情况。

Description

一种IO操作处理方法及装置
技术领域
本申请涉及分布式存储技术领域,具体而言,涉及一种IO操作处理方法及装置。
背景技术
在分布式存储领域,一般将一段逻辑连续的存储空间映射为卷,又称为逻辑卷,以便通过卷进行数据的读写。为了提高卷中数据的可靠性,防止数据丢失,通常会通过另一个容量相等的卷进行数据备份,形成源卷和目标卷。针对源卷和目标卷,为了使源卷和目标卷中的数据一致,服务器可执行的数据备份操作包括如下两种操作过程:一种是、定期执行后台复制任务,也即后台输入输出(Input Output、IO)操作,从源卷中读取数据并拷贝至目标卷中的对应存储位置上;另一种是、若监测到主机发送的IO写操作指令,则执行前台IO写操作,即将IO操作指令中指示的待写入数据同时写入源卷和目标卷的同一存储位置上。
但是,针对同一段存储区域,如果同时执行上述后台IO操作和上述前台IO写操作,那么仍然会导致源卷和目标卷中的数据不一致的问题。例如,服务器执行后台IO操作任务,包括如下步骤:步骤1、从源卷中读取0至4M数据段的数据;步骤2、将读取到的数据写入到目标卷的0至4M数据段。若服务器在执行完步骤1,未执行步骤2时,接收到IO操作指令并执行前台IO写操作,将源卷和目标卷的0至4M数据段写入新数据,那么,后续在执行步骤2时,仍会将之前步骤1中读取的数据写入目标卷的0至4M数据段,这样目标卷中写入的新数据就会被覆盖掉,从而使源卷和目标卷数据不一致。
发明内容
有鉴于此,本申请实施例的目的在于提供一种IO操作处理方法及装置,以有效避免对同一段存储区域同时执行后台IO操作和前台IO写操作,进而避免出现源卷和目标卷中的数据不一致的情况。
第一方面,本申请提供一种IO操作处理方法,包括:
获取待处理的目标输入输出IO操作并对互斥锁加锁,其中,所述互斥锁加锁期间,仅允许所述目标IO操作占用互斥数据结构,所述互斥数据结构中记录有正在执行的IO操作所指向的逻辑卷的存储区域;
若所述目标IO操作所指向的逻辑卷的目标存储区域与所述互斥数据结构中记录的存储区域不存在重叠,则将所述目标存储区域添加至所述互斥数据结构中,并处理所述目标IO操作;
在将所述目标IO操作处理完成之后,删除所述互斥数据结构中记录的所述目标存储区域,并对所述互斥锁解锁。
本申请的一些实施例中,所述方法还包括:
若所述目标IO操作所指向的逻辑卷的目标存储区域与所述互斥数据结构中记录的存储区域存在重叠,则确定所述目标IO操作与正在执行的IO操作冲突,并对所述互斥锁解锁;
禁止处理所述目标IO操作,直至确定所述目标IO操作所指向的逻辑卷的目标存储区域与所述互斥数据结构中记录的存储区域不存在重叠之后,重新处理所述目标IO操作。
本申请的一些实施例中,在对所述互斥锁加锁之后,在判断所述目标IO操作所指向的逻辑卷的目标存储区域与所述互斥数据结构中记录的存储区域是否存在重叠之前,还包括:
确定所述互斥数据结构中记录的存储区域的数据量未超出预设数据量阈值。
本申请的一些实施例中,若确定所述互斥数据结构中记录的存储区域的数据量超出预设数据量阈值,则所述方法还包括:
禁止处理所述目标IO操作并对所述互斥锁解锁,直至确定所述互斥数据结构中记录的存储区域的数据量未超出预设数据量阈值之后,重新获取所述目标IO操作。
本申请的一些实施例中,在将所述目标存储区域添加至所述互斥数据结构中之后,并在处理所述目标IO操作之前,还包括:
对所述互斥锁解锁;
在删除所述互斥数据结构中记录的所述目标存储区域之前,还包括:
对所述互斥锁加锁。
第二方面,本申请实施例还提供一种IO操作处理装置,包括:
获取模块,用于获取待处理的目标输入输出IO操作并对互斥锁加锁,其中,所述互斥锁加锁期间,仅允许所述目标IO操作占用互斥数据结构,所述互斥数据结构中记录有正在执行的IO操作所指向的逻辑卷的存储区域;
处理模块,用于若所述目标IO操作所指向的逻辑卷的目标存储区域与所述互斥数据结构中记录的存储区域不存在重叠,则将所述目标存储区域添加至所述互斥数据结构中,并处理所述目标IO操作;
删除模块,用于在将所述目标IO操作处理完成之后,删除所述互斥数据结构中记录的所述目标存储区域,并对所述互斥锁解锁。
本申请的一些实施例中,所述处理模块,还用于:
若所述目标IO操作所指向的逻辑卷的目标存储区域与所述互斥数据结构中记录的存储区域存在重叠,则确定所述目标IO操作与正在执行的IO操作冲突,并对所述互斥锁解锁;
禁止处理所述目标IO操作,直至确定所述目标IO操作所指向的逻辑卷的目标存储区域与所述互斥数据结构中记录的存储区域不存在重叠之后,重新处理所述目标IO操作。
本申请的一些实施例中,所述处理模块,还用于:
在判断所述目标IO操作所指向的逻辑卷的目标存储区域与所述互斥数据结构中记录的存储区域是否存在重叠之前,确定所述互斥数据结构中记录的存储区域的数据量未超出预设数据量阈值。
本申请的一些实施例中,所述处理模块,还用于:
若确定所述互斥数据结构中记录的存储区域的数据量超出预设数据量阈值,则禁止处理所述目标IO操作并对所述互斥锁解锁,直至确定所述互斥数据结构中记录的存储区域的数据量未超出预设数据量阈值之后,重新获取所述目标IO操作。
本申请的一些实施例中,所述处理模块,还用于:
在将所述目标存储区域添加至所述互斥数据结构中之后,并在处理所述目标IO操作之前,对所述互斥锁解锁;
所述删除模块,还用于:
在删除所述互斥数据结构中记录的所述目标存储区域之前,对所述互斥锁加锁。
第三方面,本申请实施例还提供一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行上述第一方面,或第一方面的任一种可能的实施方式中IO操作处理方法的步骤。
第四方面,本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述第一方面,或第一方面的任一种可能的实施方式中IO操作处理方法的步骤。
本申请实施例提供的IO操作处理方法及装置,通过互斥数据结构来记录正在执行的IO操作所指向的逻辑卷的存储区域,并且互斥数据结构的访问或操作等权限可以通过互斥锁来控制,当获取到待处理的目标IO操作时,对互斥锁加锁,在互斥锁加锁期间,仅允许目标IO操作占用互斥数据结构;判断目标IO操作所指向的逻辑卷的目标存储区域与互斥数据结构中记录的存储区域是否存在重叠,若不存在重叠,说明目标存储区域当前没有正在执行的IO操作,则将目标存储区域添加至互斥数据结构中,并处理目标IO操作;在将目标IO操作处理完成之后,删除互斥数据结构中记录的目标存储区域,并对互斥锁解锁。由于只在目标存储区域与互斥数据结构中记录的存储区域不存在重叠的情况下,才对目标IO操作进行处理,可以有效避免对同一段存储区域同时执行后台IO操作和前台IO写操作,进而避免出现源卷和目标卷中的数据不一致的情况。
另外,本申请实施例中,为互斥数据结构设置互斥锁,可以保证当前只有一个IO操作占用互斥数据结构,因为,在互斥锁加锁期间,仅允许当前待处理的目标IO操作占用互斥数据结构,其它IO操作无法占用互斥数据结构。并且,在目标IO操作处理完成后,及时对互斥锁解锁,以便其它待处理的IO操作能够占用互斥数据结构。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它相关的附图。
图1示出了本申请实施例提供的一种IO操作处理方法的流程示意图;
图2示出了本申请实施例提供的另一种IO操作处理方法的流程示意图;
图3示出了本申请实施例提供的一种IO操作处理装置的示意图;
图4示出了本申请实施例提供的一种电子设备的示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例,都属于本申请保护的范围。
考虑到针对同一段存储区域,如果同时执行后台IO操作和前台IO写操作,那么仍然会导致源卷和目标卷中的数据不一致的问题。为避免上述问题,需要保证前台IO写操作和后台IO操作互斥,所谓互斥,也即针对同一段存储区域,后台IO操作和前台IO写操作不能同时执行。
值得注意的是,目前常用的前台IO写操作和后台IO操作互斥的方式为:
(1)按照预设分段长度,对逻辑卷的容量进行分段。例如,逻辑卷的容量为12G,预设分段长度为2G,则分段结果为[0G,2G]、[2G,4G]、[4G,6G]、[6G,8G]、[8G,10G]、[10G,12G]。
(2)为每个分段设置互斥标识符,并将互斥标识符存储在内存中。其中,源卷和目标卷对应相同的互斥标识符,该互斥标识符初始状态为未置位。
(3)在前台IO写操作或后台IO操作执行前,先判断与IO操作所指向的逻辑卷的存储区域有重叠的分段的互斥标识符是否已置位。若上述分段的互斥标识符均未置位,则将上述分段的互斥标识符全部置位,然后再进行IO操作,当IO操作执行完毕后,将上述分段的互斥标识符全部设置为未置位。若上述分段的互斥标识符有一个或者多个已置位,则等待执行IO操作,直到上述分段的互斥标识符均为未置位。
目前的这种方式,当逻辑卷的容量很大时,预设分段长度越小,互斥标识符的数量越多,需要消耗的内存越大;预设分段长度越大,与IO操作所指向的逻辑卷的存储区域有重叠的分段的出现概率就越高,相应地,IO操作互斥等待事件(即,需要等待处理IO操作直至前台IO写操作和后台IO操作互斥)的发生概率越高,进而造成IO操作时延越大。因此,很难均衡内存消耗和IO操作时延较大的问题。
针对上述问题,本申请提供了一种IO操作处理方法及装置,首先获取待处理的目标IO操作并对互斥锁加锁,判断目标IO操作所指向的逻辑卷的目标存储区域与互斥数据结构中记录的存储区域是否存在重叠,若不存在重叠,说明目标存储区域当前没有正在执行的IO操作,则将目标存储区域添加至互斥数据结构中,并处理目标IO操作;在将目标IO操作处理完成之后,删除互斥数据结构中记录的目标存储区域,并对互斥锁解锁。由此可以保证前台IO写操作和后台IO操作互斥,进而避免出现源卷和目标卷中的数据不一致的情况。并且,互斥数据结构仅记录正在执行的IO操作所指向的逻辑卷的存储区域,不需要记录对应逻辑卷的所有存储区域,可以大大减小互斥数据结构所占用的内存空间。同时,相对于现有互斥方式,本申请的前台IO写操作和后台IO操作互斥等待的概率不依赖于逻辑卷的预设分段长度,可以有效降低IO操作互斥等待事件的发生概率,从而降低IO操作时延。
在介绍本申请的实施例之前,首先对互斥数据结构和互斥锁进行说明。
互斥数据结构可以用于记录正在执行的IO操作所指向的逻辑卷的存储区域。在面向对象的程序语言中,上述数据结构可以是对象。例如为C++或JAVA语言中的向量(vector)、地图(map)、集合(set)、表(list)或数组等数据结构,在此不做限制。
互斥数据结构以list为例,可以对list执行的操作包括:将当前待处理的目标IO操作的目标存储区域范围添加至list,遍历list查看目标存储区域范围与list中记录的存储区域是否有重叠,将目标存储区域范围从list中删除等,另外,还可以判断list中记录的存储区域的数据量是否超出预设数据量阈值。具体操作过程将在下文实施例中进行介绍。
本申请实施例中,互斥数据结构的访问或操作等权限可以通过互斥锁来控制,在互斥锁加锁期间,只允许当前待处理的目标IO操作占用互斥数据结构,即仅允许针对当前待处理的目标IO操作对互斥数据结构进行操作,在对互斥锁解锁以后才允许另外的IO操作占用互斥数据结构。
下面结合具体实施例对本申请提供的技术方案进行详细说明。
参照图1所示,为本申请实施例提供的一种IO操作处理方法的流程示意图,包括以下步骤:
步骤S101,获取待处理的目标IO操作并对互斥锁加锁,其中,互斥锁加锁期间,仅允许目标IO操作占用互斥数据结构,互斥数据结构中记录有正在执行的IO操作所指向的逻辑卷的存储区域。
本申请实施例中,待处理的目标IO操作可以是前台IO写操作,也可以是后台IO操作。其中,前台IO写操作即将IO操作指令中指示的待写入数据同时写入源卷和目标卷的同一存储位置上;后台IO操作可以是后台复制操作,即从源卷中读取数据并写入目标卷中的对应存储位置上。
针对后台IO操作,由于服务器定期执行后台复制任务,即定期执行后台IO操作,故服务器可以通过检测后台程序运行任务来确定是否有后台IO操作任务。针对前台IO写操作,服务器可以通过检测是否接收到主机发送的IO操作指令来检测是否有前台IO写操作。
具体的,互斥数据结构中记录的正在执行的IO操作所指向的逻辑卷的存储区域,是指IO操作正在对逻辑卷的哪一存储区域进行写数据或者读数据,例如,逻辑卷的存储容量为1G,互斥数据结构中记录有{offset,len}这一存储范围,其中,offset是相对于逻辑卷的起始地址的偏移量,len是指存储区域的长度,假设逻辑卷的起始地址为0,offset为100M,len为10M,则{offset,len}这一存储范围对应的逻辑卷的存储区域即[100M,110M]。
另外,由于源卷和目标卷的存储区域相对应,故互斥数据结构中记录的正在执行的IO操作所指向的逻辑卷的存储区域,既可以表示源卷的存储区域,也可以包括目标卷的存储区域。
步骤S102,若目标IO操作所指向的逻辑卷的目标存储区域与互斥数据结构中记录的存储区域不存在重叠,则将目标存储区域添加至互斥数据结构中,并处理目标IO操作。
具体实施中,服务器在获取到待处理的目标IO操作并对互斥锁加锁以后,可以遍历互斥数据结构,从而判断目标IO操作所指向的逻辑卷的目标存储区域与互斥数据结构中记录的存储区域是否存在重叠,如果不存在重叠,说明逻辑卷的目标存储区域没有正在执行的IO操作,此时可以将目标存储区域添加至互斥数据结构中,然后处理目标IO操作。从而可以保证只有一个IO操作对目标存储区域进行操作,避免出现针对同一段存储区域,后台IO操作和前台IO写操作同时执行的情况,即保证前台IO写操作和后台IO操作互斥,进而避免出现源卷和目标卷中的数据不一致的情况。
步骤S103,在将目标IO操作处理完成之后,删除互斥数据结构中记录的目标存储区域,并对互斥锁解锁。
本申请实施例中,在目标IO操作处理完成之后,将互斥数据结构中记录的目标存储区域删除,并对互斥锁解锁,以便后续其它IO操作可以继续对目标存储区域进行操作,同时,可以保证互斥数据结构中记录的只是正在执行的IO操作所指向的逻辑卷的存储区域。
此外,具体实施中,若目标IO操作所指向的逻辑卷的目标存储区域与互斥数据结构中记录的存储区域存在重叠,则确定目标IO操作与正在执行的IO操作冲突,也即前台IO写操作和后台IO操作同时指向目标存储区域,这种情况下无法满足前台IO写操作和后台IO操作互斥,故当前禁止处理目标IO操作,即暂时不对目标IO操作进行处理,此时对互斥锁解锁,以使其它IO操作可以占用互斥数据结构,即继续获取其它IO操作,并判断是否处理其它IO操作。当确定目标IO操作所指向的逻辑卷的目标存储区域与互斥数据结构中记录的存储区域不存在重叠之后,可以重新处理目标IO操作。
此外,本申请实施例中,考虑到互斥数据结构需要占用一定量的内存,为了限制互斥数据结构的内存占用量,故,服务器在获取到待处理的目标IO操作并对互斥锁加锁之后,在判断目标IO操作所指向的逻辑卷的目标存储区域与互斥数据结构中记录的存储区域是否存在重叠之前,还可以执行如下步骤:
判断互斥数据结构中记录的存储区域的数据量是否超出预设数据量阈值,若未超出预设数据量阈值,则继续遍历互斥数据结构,以判断目标IO操作所指向的逻辑卷的目标存储区域与互斥数据结构中记录的存储区域是否存在重叠;若互斥数据结构中记录的存储区域的数据量超出预设数据量阈值,则禁止处理目标IO操作并对互斥锁解锁,直至确定互斥数据结构中记录的存储区域的数据量未超出预设数据量阈值之后,可以重新获取目标IO操作,进而判断是否处理目标IO操作。通过判断互斥数据结构中记录的存储区域的数据量是否达到预设数据量阈值,仅在未达到预设数据量阈值的情况下再重新获取待处理的目标IO操作并进行互斥检测,可以达到限制互斥数据结构所占用的内存的目的,从而保证消耗的内存较小。
另外,本申请的一实施例中,在将目标存储区域添加至互斥数据结构中之后,并在处理目标IO操作之前,还可以对互斥锁解锁,这样,在目标IO操作处理过程中,可以允许其它IO操作占用互斥数据结构,从而降低IO操作时延。同时,在删除互斥数据结构中记录的目标存储区域之前,还需要对互斥锁加锁,在删除互斥数据结构中记录的目标存储区域之后,再对互斥锁解锁。
因此,上述获取到目标IO操作并对目标IO操作进行处理的过程中,对互斥锁的操作可以包括一个加锁解锁过程,即在获取到目标IO操作之后对互斥锁加锁,直至目标IO操作处理完成并删除互斥数据结构中记录的目标存储区域之后,再对互斥锁解锁。还可以包括两个加锁解锁过程,即在获取到目标IO操作之后对互斥锁加锁,在处理目标IO操作之前对互斥锁解锁;当处理完目标IO操作后再对互斥锁加锁,在删除互斥数据结构中记录的目标存储区域之后,再对互斥锁解锁。
参照图2所示,为本申请实施例提供的另一IO操作处理方法的流程示意图,包括以下步骤:
步骤S201,获取待处理的目标IO操作并对互斥锁加锁;
步骤S202,判断互斥数据结构中记录的存储区域的数据量是否超出预设数据量阈值,如果否,则执行步骤S203,如果是,则执行步骤S205;
步骤S203,判断目标IO操作所指向的逻辑卷的目标存储区域与互斥数据结构中记录的存储区域是否存在重叠,如果否,则执行步骤S204,如果是,则执行步骤S205;
步骤S204,将目标存储区域添加至互斥数据结构中,并将IO操作互斥结果设置为OK,继续执行步骤S206;
步骤S205,禁止处理目标IO操作,将IO操作互斥结果设置为EAGAIN,即“重新执行”,继续执行步骤S206;
步骤S206,对互斥锁解锁;
步骤S207,判断IO操作互斥结果是否为EAGAIN,如果否,则执行步骤S208,如果是,则执行步骤S212;
步骤S208,处理目标IO操作,并得到IO操作处理结果,具体包括操作成功或操作失败;
步骤S209,对互斥锁加锁;
步骤S210,删除互斥数据结构中记录的目标存储区域;
步骤S211,对互斥锁解锁;
步骤S212,将IO操作处理结果设置为EAGAIN;
步骤S213,返回IO操作处理结果。
本申请实施例提供的一种IO操作处理方法,首先获取待处理的目标IO操作并对互斥锁加锁,在确定互斥数据结构中记录的存储区域的数据量未超出预设数据量阈值时,判断目标IO操作所指向的逻辑卷的目标存储区域与互斥数据结构中记录的存储区域是否存在重叠,若不存在重叠,说明目标存储区域没有正在执行的IO操作,允许处理目标IO操作,此时将目标存储区域添加至互斥数据结构中,对互斥锁解锁,并处理目标IO操作;若存在重叠,说明目标存储区域存在正在执行的IO操作,禁止处理目标IO操作,并对互斥锁解锁。从而可以保证只有一个IO操作对目标存储区域进行操作,避免出现针对同一段存储区域,后台IO操作和前台IO写操作同时执行的情况,即保证前台IO写操作和后台IO操作互斥,进而避免出现源卷和目标卷中的数据不一致的情况。
另外,确定互斥数据结构中记录的存储区域的数据量未达到预设数据量阈值,可以达到限制互斥数据结构所占用的内存的目的,从而保证消耗的内存较小。并且,在处理目标IO操作之前,对互斥锁解锁,可以在目标IO操作处理过程中,可以允许其它IO操作占用互斥数据结构,从而降低IO操作时延。
参照图3所示,为本申请实施例提供的一种IO操作处理装置的示意图,所述装置包括获取模块10、处理模块20和删除模块30;其中:
获取模块10,用于获取待处理的目标输入输出IO操作并对互斥锁加锁,其中,互斥锁加锁期间,仅允许目标IO操作占用互斥数据结构,互斥数据结构中记录有正在执行的IO操作所指向的逻辑卷的存储区域;
处理模块20,用于若目标IO操作所指向的逻辑卷的目标存储区域与互斥数据结构中记录的存储区域不存在重叠,则将目标存储区域添加至互斥数据结构中,并处理目标IO操作;
删除模块30,用于在将目标IO操作处理完成之后,删除互斥数据结构中记录的目标存储区域,并对互斥锁解锁。
一种可能的实施方式中,处理模块20,还用于:
若目标IO操作所指向的逻辑卷的目标存储区域与互斥数据结构中记录的存储区域存在重叠,则确定目标IO操作与正在执行的IO操作冲突,并对互斥锁解锁;
禁止处理目标IO操作,直至确定目标IO操作所指向的逻辑卷的目标存储区域与互斥数据结构中记录的存储区域不存在重叠之后,重新处理目标IO操作。
一种可能的实施方式中,处理模块20,还用于:
在判断目标IO操作所指向的逻辑卷的目标存储区域与互斥数据结构中记录的存储区域是否存在重叠之前,确定互斥数据结构中记录的存储区域的数据量未超出预设数据量阈值。
一种可能的实施方式中,处理模块20,还用于:
若确定互斥数据结构中记录的存储区域的数据量超出预设数据量阈值时,禁止处理目标IO操作并对互斥锁解锁,直至确定互斥数据结构中记录的存储区域的数据量未超出预设数据量阈值之后,重新获取目标IO操作。
一种可能的实施方式中,处理模块20,还用于:
在将目标存储区域添加至互斥数据结构中之后,并在处理目标IO操作之前,对互斥锁解锁;
删除模块30,还用于:
在删除互斥数据结构中记录的目标存储区域之前,对互斥锁加锁。
本申请实施例提供的IO操作处理方法及装置,可以有效避免对同一段存储区域同时执行后台IO操作和前台IO写操作,进而避免导致源卷和目标卷中的数据不一致的情况。并且,互斥数据结构仅记录正在执行的IO操作所指向的逻辑卷的存储区域,不需要记录对应逻辑卷的所有存储区域,可以大大减小互斥数据结构所占用的内存空间。另外,在目标IO操作处理过程中,可以允许其它IO操作占用互斥数据结构,从而降低IO操作时延。
如图4所示,本申请实施例所提供的一种电子设备400的结构示意图,包括:处理器401、存储器402和总线403;
上述存储器402存储有上述处理器401可执行的机器可读指令,当电子设备400运行时,上述处理器401与上述存储器402之间通过总线403通信,上述机器可读指令被上述处理器401执行时执行如下处理:
获取待处理的目标输入输出IO操作并对互斥锁加锁,其中,互斥锁加锁期间,仅允许目标IO操作占用互斥数据结构,互斥数据结构中记录有正在执行的IO操作所指向的逻辑卷的存储区域;
若目标IO操作所指向的逻辑卷的目标存储区域与互斥数据结构中记录的存储区域不存在重叠,则将目标存储区域添加至互斥数据结构中,并处理目标IO操作;
在将目标IO操作处理完成之后,删除互斥数据结构中记录的目标存储区域,并对互斥锁解锁。
一种可能的实施方式中,处理器401还可以执行如下处理:
若目标IO操作所指向的逻辑卷的目标存储区域与互斥数据结构中记录的存储区域存在重叠,则确定目标IO操作与正在执行的IO操作冲突,并对互斥锁解锁;
禁止处理目标IO操作,直至确定目标IO操作所指向的逻辑卷的目标存储区域与互斥数据结构中记录的存储区域不存在重叠之后,重新处理目标IO操作。
一种可能的实施方式中,处理器401还可以执行如下处理:在判断目标IO操作所指向的逻辑卷的目标存储区域与互斥数据结构中记录的存储区域是否存在重叠之前,确定互斥数据结构中记录的存储区域的数据量未超出预设数据量阈值。
另一种可能的实施方式中,处理器401还可以执行如下处理:
若确定互斥数据结构中记录的存储区域的数据量超出预设数据量阈值,则禁止处理目标IO操作并对互斥锁解锁,直至确定互斥数据结构中记录的存储区域的数据量未超出预设数据量阈值之后,重新获取目标IO操作。
另一种可能的实施方式中,处理器401还可以执行如下处理:
在将目标存储区域添加至互斥数据结构中之后,并在处理目标IO操作之前,对互斥锁解锁;
在删除互斥数据结构中记录的目标存储区域之前,对互斥锁加锁。
其中,关于处理器401在执行IO操作处理方法时所执行的具体处理流程可以参照上述方法实施例中的描述,这里不再展开说明。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中的IO操作处理方法的步骤。
本申请实施例所提供的IO操作处理方法的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行上述方法实施例中所述的方法的步骤,具体可参见上述方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种IO操作处理方法,其特征在于,包括:
获取待处理的目标输入输出IO操作并对互斥锁加锁,其中,所述互斥锁加锁期间,仅允许所述目标IO操作占用互斥数据结构,所述互斥数据结构中记录有正在执行的IO操作所指向的逻辑卷的存储区域;
若所述目标IO操作所指向的逻辑卷的目标存储区域与所述互斥数据结构中记录的存储区域不存在重叠,则将所述目标存储区域添加至所述互斥数据结构中,并处理所述目标IO操作;
在将所述目标IO操作处理完成之后,删除所述互斥数据结构中记录的所述目标存储区域,并对所述互斥锁解锁。
2.如权利要求1所述的方法,其特征在于,所述方法还包括:
若所述目标IO操作所指向的逻辑卷的目标存储区域与所述互斥数据结构中记录的存储区域存在重叠,则确定所述目标IO操作与正在执行的IO操作冲突,并对所述互斥锁解锁;
禁止处理所述目标IO操作,直至确定所述目标IO操作所指向的逻辑卷的目标存储区域与所述互斥数据结构中记录的存储区域不存在重叠之后,重新处理所述目标IO操作。
3.如权利要求1或2所述的方法,其特征在于,在对所述互斥锁加锁之后,在判断所述目标IO操作所指向的逻辑卷的目标存储区域与所述互斥数据结构中记录的存储区域是否存在重叠之前,还包括:
确定所述互斥数据结构中记录的存储区域的数据量未超出预设数据量阈值。
4.如权利要求3所述的方法,其特征在于,若确定所述互斥数据结构中记录的存储区域的数据量超出预设数据量阈值,则所述方法还包括:
禁止处理所述目标IO操作并对所述互斥锁解锁,直至确定所述互斥数据结构中记录的存储区域的数据量未超出预设数据量阈值之后,重新获取所述目标IO操作。
5.如权利要求1所述的方法,其特征在于,在将所述目标存储区域添加至所述互斥数据结构中之后,并在处理所述目标IO操作之前,还包括:
对所述互斥锁解锁;
在删除所述互斥数据结构中记录的所述目标存储区域之前,还包括:
对所述互斥锁加锁。
6.一种IO操作处理装置,其特征在于,包括:
获取模块,用于获取待处理的目标输入输出IO操作并对互斥锁加锁,其中,所述互斥锁加锁期间,仅允许所述目标IO操作占用互斥数据结构,所述互斥数据结构中记录有正在执行的IO操作所指向的逻辑卷的存储区域;
处理模块,用于若所述目标IO操作所指向的逻辑卷的目标存储区域与所述互斥数据结构中记录的存储区域不存在重叠,则将所述目标存储区域添加至所述互斥数据结构中,并处理所述目标IO操作;
删除模块,用于在将所述目标IO操作处理完成之后,删除所述互斥数据结构中记录的所述目标存储区域,并对所述互斥锁解锁。
7.如权利要求6所述的装置,其特征在于,所述处理模块,还用于:
若所述目标IO操作所指向的逻辑卷的目标存储区域与所述互斥数据结构中记录的存储区域存在重叠,则确定所述目标IO操作与正在执行的IO操作冲突,并对所述互斥锁解锁;
禁止处理所述目标IO操作,直至确定所述目标IO操作所指向的逻辑卷的目标存储区域与所述互斥数据结构中记录的存储区域不存在重叠之后,重新处理所述目标IO操作。
8.如权利要求6或7所述的装置,其特征在于,所述处理模块,还用于:
在判断所述目标IO操作所指向的逻辑卷的目标存储区域与所述互斥数据结构中记录的存储区域是否存在重叠之前,确定所述互斥数据结构中记录的存储区域的数据量未超出预设数据量阈值。
9.如权利要求8所述的装置,其特征在于,所述处理模块,还用于:
若确定所述互斥数据结构中记录的存储区域的数据量超出预设数据量阈值,则禁止处理所述目标IO操作并对所述互斥锁解锁,直至确定所述互斥数据结构中记录的存储区域的数据量未超出预设数据量阈值之后,重新获取所述目标IO操作。
10.如权利要求6所述的装置,其特征在于,所述处理模块,还用于:
在将所述目标存储区域添加至所述互斥数据结构中之后,并在处理所述目标IO操作之前,对所述互斥锁解锁;
所述删除模块,还用于:
在删除所述互斥数据结构中记录的所述目标存储区域之前,对所述互斥锁加锁。
CN201910179746.6A 2019-02-28 2019-02-28 一种io操作处理方法及装置 Pending CN109918208A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910179746.6A CN109918208A (zh) 2019-02-28 2019-02-28 一种io操作处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910179746.6A CN109918208A (zh) 2019-02-28 2019-02-28 一种io操作处理方法及装置

Publications (1)

Publication Number Publication Date
CN109918208A true CN109918208A (zh) 2019-06-21

Family

ID=66964207

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910179746.6A Pending CN109918208A (zh) 2019-02-28 2019-02-28 一种io操作处理方法及装置

Country Status (1)

Country Link
CN (1) CN109918208A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1624670A (zh) * 2003-12-03 2005-06-08 华为技术有限公司 一种本地数据迁移的方法
CN103823636A (zh) * 2012-11-19 2014-05-28 苏州捷泰科信息技术有限公司 Io调度方法及装置
US20150350318A1 (en) * 2014-05-29 2015-12-03 Fusion-Io, Inc. Synchronizing storage state information
WO2016045096A1 (zh) * 2014-09-26 2016-03-31 华为技术有限公司 一种文件迁移方法、装置和存储设备
US9542237B2 (en) * 2012-09-04 2017-01-10 Red Hat Israel, Ltd. Shared locking for storage centric exclusive locks
CN106843749A (zh) * 2016-12-14 2017-06-13 华为技术有限公司 写入请求处理方法、装置及设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1624670A (zh) * 2003-12-03 2005-06-08 华为技术有限公司 一种本地数据迁移的方法
US9542237B2 (en) * 2012-09-04 2017-01-10 Red Hat Israel, Ltd. Shared locking for storage centric exclusive locks
CN103823636A (zh) * 2012-11-19 2014-05-28 苏州捷泰科信息技术有限公司 Io调度方法及装置
US20150350318A1 (en) * 2014-05-29 2015-12-03 Fusion-Io, Inc. Synchronizing storage state information
WO2016045096A1 (zh) * 2014-09-26 2016-03-31 华为技术有限公司 一种文件迁移方法、装置和存储设备
CN106843749A (zh) * 2016-12-14 2017-06-13 华为技术有限公司 写入请求处理方法、装置及设备

Similar Documents

Publication Publication Date Title
EP2545435B1 (en) Systems and methods for garbage collection in deduplicated data systems
CN106201659B (zh) 一种虚拟机热迁移的方法及宿主机
CN101211289B (zh) 恢复操作管理系统和方法
US11048757B2 (en) Cuckoo tree with duplicate key support
US9495286B2 (en) Method and arrangement for completion or recovery of data transactions in a flash type memory device using a commit process
CN105144113A (zh) 从快照恢复应用
CN103198122B (zh) 重启内存数据库的方法和装置
CN109445861A (zh) 系统启动方法、装置、计算机装置及存储介质
CN107656834A (zh) 基于事务日志恢复主机访问
CN113568566A (zh) 利用索引物件来进行简易存储服务无缝迁移的方法、主装置以及存储服务器
CN103677674A (zh) 一种数据处理方法及装置
US8903804B2 (en) Data existence judging device and data existence judging method
CN113239098B (zh) 一种数据管理方法、计算机及可读存储介质
CN112463058A (zh) 一种碎片数据整理方法、装置及存储节点
CN109918208A (zh) 一种io操作处理方法及装置
CN109325005A (zh) 一种数据处理方法和电子设备
CN108446337A (zh) 一种锁资源控制权限迁移方法以及装置
CN108090128A (zh) 一种合并存储空间回收方法、装置及电子设备
CN109753222A (zh) 数据删除方法、服务器及计算机可读介质
CN103645967A (zh) 一种只读快照回滚方法及装置
CN107423165A (zh) 一种数据快照首写拷贝方法及装置
CN108959517B (zh) 文件管理方法、装置及电子设备
CN110007875B (zh) 一种有效数据的迁移方法、装置及设备
CN104079526A (zh) 支持实时策略加载的流量过滤防攻击方法与系统
CN106681866A (zh) 一种保证应用一致性的方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190621