CN114063884B - 扩展存储系统的分区方法、设备和计算机程序产品 - Google Patents
扩展存储系统的分区方法、设备和计算机程序产品 Download PDFInfo
- Publication number
- CN114063884B CN114063884B CN202010758934.7A CN202010758934A CN114063884B CN 114063884 B CN114063884 B CN 114063884B CN 202010758934 A CN202010758934 A CN 202010758934A CN 114063884 B CN114063884 B CN 114063884B
- Authority
- CN
- China
- Prior art keywords
- partition
- objects
- index
- partition index
- hash value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000004590 computer program Methods 0.000 title claims abstract description 18
- 238000000638 solvent extraction Methods 0.000 title claims abstract description 15
- 238000005192 partition Methods 0.000 claims abstract description 418
- 238000012545 processing Methods 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 23
- 230000004044 response Effects 0.000 claims description 13
- 230000009471 action Effects 0.000 claims description 7
- 238000011010 flushing procedure Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 27
- 238000007726 management method Methods 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 238000010420 art technique Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000009420 retrofitting Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Abstract
本公开涉及扩展存储系统的分区方法、设备和计算机程序产品。在一种方法中,将一组对象划分为第一组对象和第二组对象。基于第一组对象和第二组对象,创建第一分区和第二分区,第一分区包括第一组对象以及第二分区包括第二组对象。获取分区的分区索引,分区索引包括的一组节点分别表示一组对象的元数据。基于分区索引分别生成第一分区索引和第二分区索引,第一分区索引包括的第一组节点分别表示第一组对象的元数据,以及第二分区索引包括的第二组节点分别表示第一组对象的元数据。进一步,提供了相应的设备和计算机程序产品。利用上述示例性实现,可以以更为高效的方式扩展存储系统中的分区,进而提高存储系统的整体运行效率。
Description
技术领域
本公开的各实现方式涉及存储管理,更具体地,涉及用于扩展存储系统中的分区的方法、设备和计算机程序产品。
背景技术
随着数据存储技术的发展,各种数据存储设备已经能够向用户提供越来越高的数据存储能力。目前已经提出了分布式存储系统的概念,并且可以将用户数据分布在分布式存储系统中包括的各个存储设备上。进一步,在提高数据存储能力的同时,用户对于存储系统的响应时间也提出了越来越高的需求。目前,已经开发出了针对存储系统中存储的对象划分分区,并且通过分区索引来以加速数据访问速度的技术方案。
随着存储系统的使用,存储系统中的存储设备可能面临存储空间不足。此时,可以扩展存储系统中的存储空间。此时,不得不相应地扩展存储系统中的分区。如何扩展存储系统中的分区以便提高存储系统的响应速度,成为一个研究热点。
发明内容
因而,期望能够开发并实现一种以更为有效的方式来管理存储系统的分区的技术方案。期望该技术方案能够与现有的存储系统相兼容,并且通过改造现有存储系统的各种配置,来以更为有效的方式管理存储系统。
根据本公开的第一方面,提供了一种用于扩展存储系统的分区的方法,存储系统包括至少一个分区,至少一个分区中的分区包括一组对象。在该方法中,将一组对象划分为第一组对象和第二组对象。基于第一组对象和第二组对象,创建第一分区和第二分区,第一分区包括第一组对象以及第二分区包括第二组对象。获取分区的分区索引,分区索引包括的一组节点分别表示一组对象的元数据。基于分区索引分别生成第一分区索引和第二分区索引,第一分区索引包括的第一组节点分别表示第一组对象的元数据,以及第二分区索引包括的第二组节点分别表示第一组对象的元数据。
根据本公开的第二方面,提供了一种电子设备,包括:至少一个处理器;易失性存储器;以及与至少一个处理器耦合的存储器,存储器具有存储于其中的指令,指令在被至少一个处理器执行时使得设备执行一种用于扩展存储系统的分区的动作。存储系统包括至少一个分区,至少一个分区中的分区包括一组对象。该动作包括:将一组对象划分为第一组对象和第二组对象;基于第一组对象和第二组对象,创建第一分区和第二分区,第一分区包括第一组对象以及第二分区包括第二组对象;获取分区的分区索引,分区索引包括的一组节点分别表示一组对象的元数据;以及基于分区索引分别生成第一分区索引和第二分区索引,第一分区索引包括的第一组节点分别表示第一组对象的元数据,以及第二分区索引包括的第二组节点分别表示第一组对象的元数据。
根据本公开的第三方面,提供了一种计算机程序产品,计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括机器可执行指令,机器可执行指令用于执行根据本公开的第一方面的方法。
附图说明
结合附图并参考以下详细说明,本公开各实现方式的特征、优点及其他方面将变得更加明显,在此以示例性而非限制性的方式示出了本公开的若干实现方式。在附图中:
图1示意性示出了其中可以实现本公开的方法的存储系统的框图;
图2示意性示出了根据本公开的一个实现方式的用于扩展存储系统中的分区的过程的框图;
图3示意性示出了根据本公开的一个实现方式的用于扩展存储系统中的分区的方法的流程图;
图4示意性示出了根据本公开的一个实现方式的用于获取存储系统中的分区索引的过程的框图;
图5示意性示出了根据本公开的一个实现方式的树状索引的框图;
图6示意性示出了根据本公开的一个实现方式的第二分区索引的框图;
图7示意性示出了根据本公开的一个实现方式的第一分区索引的框图;
图8示意性示出了根据本公开一个实现方式的用于基于扩展的分区来处理访问请求的过程的框图;以及
图9示意性示出了根据本公开的示例性实现的用于扩展存储系统中的分区的设备的框图。
具体实施方式
下面将参照附图更详细地描述本公开的优选实现。虽然附图中显示了本公开的优选实现,然而应该理解,可以以各种形式实现本公开而不应被这里阐述的实现所限制。相反,提供这些实现是为了使本公开更加透彻和完整,并且能够将本公开的范围完整地传达给本领域的技术人员。
在本文中使用的术语“包括”及其变形表示开放性包括,即“包括但不限于”。除非特别申明,术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实现”和“一个实现”表示“至少一个示例实现”。术语“另一实现”表示“至少一个另外的实现”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
目前已经开发出了多种存储系统,例如,面向对象的存储系统可以以对象为单位来存储用户数据。在此的对象例如可以是图像、视频、音频或者其他格式的数据。可以将对象划分为一个或多个区块(chunk),并且基于区块进行存储。具体地,图1示意性示出了其中可以实现本公开的方法的存储系统的框图100。如图1所示,可以提供存储资源池110,并且该存储资源池110可以包括多个存储设备112、114、……、116。尽管在此示出了多个独立的物理存储设备112、114、……、116,根据本公开的示例性实现,存储设备还可以是虚拟存储设备。
在存储资源池110之上,可以建立区块层120。该区块层可以包括多个区块122和124等。对于不同的存储系统而言,区块可以被设置为不同的大小。在区块层120之上,可以建立对象层130,并且该对象层130对于存储系统100的用户是可见的。在此,基于对象中存储的内容,对象可以包括一个或多个区块,例如,对象132可以包括两个区块(诸如,区块122和124),又例如,对象134可以仅包括一个区块。
随着存储系统100的运行,该存储系统100中可以包括大量的对象。为了便于对存储系统100中的各个对象进行管理,可以基于分布式哈希表(Distributed Hash Table,DHT)来将对象层130中的多个对象划分至相应的分区(partition)。例如,分区层140可以包括分区142和144等分区。可以基于存储系统100的配置,来设置分区的数量。例如可以将分区的数量设置为128或者其他的数值。此时,一个分区可以包括一个或多个对象。
为了便于管理分区中的各个对象,可以建立分区索引150来存储与对象相关联的元数据,以便以快速和有效的方式来访问存储系统中的对象。将会理解,图1仅示意性示出了用于分区142的分区索引150。对于分区层140中的每个分区,可以建立相应的索引。进一步,可以由一个或多个节点设备来运行分区管理器,以便管理各个分区中的对象。将会理解,在此的节点设备例如可以是存储设备112、114、……、以及116。备选地和/或附加地,节点设备可以是存储系统100中的其他具有处理能力的设备。
随着存储系统的运行,存储系统中的存储空间可能会出现不足,此时可以向存储系统中加入新的存储设备以便扩展存储空间。在存储系统的后续运行期间,需要扩展分区以便更好地管理新增存储空间中的对象。目前已经提出了将存储系统中的对象重新划分分区的技术方案。然而,在此期间不得不停止存储系统的服务。存储系统的停机将导致用户不能访问存储系统中的对象,进而造成服务中断。因而,期望提供一种以更为有效的方式来扩展分区的技术方案。
为了解决上述缺陷,本公开的实现方式提供了一种用于扩展存储系统中的分区的方法、设备和计算机程序产品。首先参见图2描述根据本公开的示例性实现方式的概要。图2示意性示出了根据本公开的一个实现方式的用于扩展存储系统中的分区的过程的框图200。存储系统可以包括至少一个分区,并且至少一个分区中的分区包括一组对象。在下文中,将描述如何将一个已有分区扩展为两个分区的技术方案。根据本公开的示例性实现方式,可以以类似方式来处理每个分区。
根据本公开的示例性实现方式,可以将原有分区中的一组对象划分为第一组对象和第二组对象,并且分别为第一组对象和第二组对象创建第一分区和第二分区。进一步,可以基于原有分区的分区索引,分别创建第一分区索引210和第二分区索引220,以便用于管理各个分区中的对象。
根据本公开的示例性实现方式,可以将原有分区的索引作为第一分区索引210,并且可以通过复制的方式来创建第二分区索引220。在后续步骤中,可以更新第一分区索引210和第二分区索引220,以便形成最终的第一分区索引210和第二分区索引220。利用本公开的示例性实现方式,可以充分利用原有分区的分区索引来创建第一分区索引210和第二分区索引220。在已经创建两个分区索引之后,可以使用新创建的两个分区索引来服务于针对原有分区的访问请求。以此方式,可以以更加快速并且有效的方式来扩展存储系统中的分区并且生成相应的分区索引。
根据本公开的示例性实现方式,分区索引可以包括树状索引和存储器表。在此,树状索引可以被存储至存储系统中的物理存储区块,并且可以利用树状索引的根节点来访问该树状索引。树状索引可以包括根节点,用于标识分区索引。树状索引可以包括叶节点,用于存储对象的元数据。例如,叶节点可以以键-值(key-value)方式来存储对象的元数据,其中键表示对象的标识符,而值表示对象的元数据。在此元数据例如可以包括对象包括的各个区块的地址、对象的类型、对象的更新时间等。树状索引可以包括一个或多个层级,其中非叶节点用作索引节点,例如,可以基于二叉树、多叉树、以及B+树等方式指向叶节点。存储器表用于缓存树状索引中的已经被改变的部分(即,脏数据),可以在预定时间间隔和/或基于其他触发条件,将存储器表中的数据冲刷至用于存储树状索引的物理存储区块。
如图2所示,生成的第一分区索引210可以包括存储器表212和根节点214,根节点214表示树状索引的根节点,并且指向存储系统的存储区块层中的存储区块230,该存储区块230包括树状索引。类似地,生成的第二分区索引220可以包括存储器表222和根节点224,根节点224表示树状索引的根节点,并且指向存储系统的存储区块层中的存储区块232。
在下文中,将参见图3详细描述如何基于原有分区来生成第一分区索引210和第二分区索引220。图3示意性示出了根据本公开的一个实现方式的用于扩展存储系统中的分区的方法300的流程图。此时,存储系统可以包括一个或多个分区,并且可以针对每个分区来执行方法300。将会理解,可以利用分区管理器来执行有关管理分区的各种操作。此时,可以扩展原有分区管理器的功能,以便执行方法300。根据本公开的示例性实现方式,可以在专用的管理节点处部署分区管理器。备选地和/或附加地,可以在存储系统中的用于容纳存储设备存储节点中部署分区管理器。
根据本公开的示例性实现方式,可以将第二分区索引220存储在原有分区所在的管理节点中。以此方式,方法300的全部操作都在管理节点本地处执行,进而可以避免扩展操作导致的网络开销。
根据本公开的示例性实现方式,可以响应于存储系统的存储容量的扩展来执行方法300。更多的存储容量将会容纳更多的对象,可以执行方法300来获得更多的分区,以便并行地处理针对各个分区中的对象的访问。
根据本公开的示例性实现方式,可以响应于存储系统的并行访问能力的扩展来执行方法300。将会理解,各个分区的管理是并行的,因而扩展分区的数量有助于提高整个存储系统的并行访问能力。即使存储系统中的存储容量没有变化,提供更多的分区有助于以更高的并行度来处理针对存储系统的访问请求,进而提高存储系统的响应效率。根据本公开的示例性实现方式,可以基于存储系统的存储容量和并行访问能力两者的扩展,来执行方法300。
如图3所示,在框310处,将一组对象划分为第一组对象和第二组对象。在此的一组对象是一个原有分区中的对象。根据本公开的示例性实现方式,可以将原有分区中的对象划分为两部分,并且分别为两个部分来生成新的分区。根据本公开的示例性实现方式,可以基于多种方式来确定划分方式。假设存储系统中包括128(27)个分区,可以分别将每个分区扩展为2个分区,扩展后的存储系统中将包括256(28)个分区。此时,分区的标识符可以从7位扩展至8位。
假设原有分区的标识符以k位表示,则扩展之后分区的标识符以k+1位表示。针对一组对象中的对象,可以基于与分区相关联的哈希函数确定对象的扩展哈希值(即,k+1位的哈希值),并且将扩展哈希值与原有哈希值(即,k位的哈希值)进行比较,以便确定如何划分第一组对象和第二组对象。如以下公式1所示,如果确定扩展哈希值与对象的哈希值相同,可以将对象划分至第一组对象。如以下公式2所示,如果确定扩展哈希值与哈希值不同,将对象划分至第二组对象。将会理解,在此的哈希值的长度小于扩展哈希值。具体地,可以基于如下公式1和2来确定第一组对象和第二组对象。
Hash Function(Object key)&(2k-1)==Hash Function(Object key)&(2k+1-1)
公式1
Hash Function(Object key)&(2k-1)!=Hash Function(Object key)&(2k+1-1)
公式2
其中Hash Function表示与分区相关联的哈希函数,Object key表示分区中的对象的关键字,k表示扩展前的哈希值的位数,k+1表示扩展后的扩展哈希值的位数。根据本公开的示例性实现方式,哈希函数可以是独立于分区。以此方式可以消除将原有分区中的对象映射到另一分区的问题,进而提高各个分区的并行处理效率。利用本公开的示例性实现方式,可以基于上文描述的公式1和2来快速确定如何划分原有分区中的一组对象。将会理解,上文的公式1和2仅仅是示意性的,根据本公开的示例性实现方式,可以基于公式2来将对象划分至第一组对象,并且基于公式1来将对象划分至第二组对象。
在框320处,基于第一组对象和第二组对象,创建第一分区和第二分区,第一分区包括第一组对象以及第二分区包括第二组对象。在已经将原有的一组对象划分为两组对象的情况下,可以分别为每组对象创建相应的分区。在后续步骤中,可以分别为第一分区和第二分区创建第一分区索引210和第二分区索引220。可以基于共享原有分区的分区索引来创建第一分区索引210和第二分区索引220。在下文中,将首先参见图3中的框330来描述如何获得原有分区的分区索引。
在框330处,获取分区的分区索引,在此的分区索引包括的一组节点分别表示一组对象的元数据。如上文描述,分组索引可以包括存储器表和树状索引的根节点。此时,由于存储器表中缓存有尚未被冲刷至物理存储区块的脏数据,应当首先将分区的存储器表中的数据冲刷至存储系统的区块层中的对应于分区的存储区块。利用本公开的示例性实现方式,可以确保在区块层中的存储区块包括最新的树状索引。
图4示意性示出了根据本公开的一个实现方式的用于获取存储系统中的分区索引的过程的框图400。在图4中,如箭头410所示,可以将存储器表212中的脏数据冲刷至存储区块230,以确保此时存储区块230中包括最新的树状索引。继而,可以拷贝存储区块230中的数据,以便创建第二分区索引220。
在框340处,基于分区索引分别生成第一分区索引210和第二分区索引220。在此,第一分区索引210包括的第一组节点分别表示第一组对象的元数据,以及第二分区索引220包括的第二组节点分别表示第一组对象的元数据。首先介绍如何基于分区索引生成第二分区索引220。将会理解,第二分区中仅包括第二组对象,因而可以基于分区索引中的与第二组对象相对应的节点,确定第二分区索引。如箭头420所示,可以基于写时拷贝(copy onwrite)技术,来将存储区块230中的与第二组对象相关联的数据拷贝至第二分区索引220的存储器表222。
在下文中,将参见图5和图6来描述如何生成第二分区索引220。图5示意性示出了根据本公开的一个实现方式的树状索引的框图500。如图5所示,树状索引可以包括根节点510、索引节点520、522,以及多个叶节点530、532、534、536、…、以及538。将会理解,图5仅仅示意性示出了两个索引节点520和522,根据本公开的示例性实现方式,树状索引可以包括更多的层级并且包括更多的索引节点。可以基于上文描述的公式1和公式2来分别确定第一组对象(以空白区块表示)和第二组对象(以条带区块表示)。在此,第一组对象包括与叶节点530、532和536相对应的对象,并且第二组对象包括与叶节点534和538相对应的对象。
具体地,可以基于写时拷贝过程,从存储区块230中存储的树状索引中读取与第二组对象相对应的节点。如图5所示,可以从存储区块230中读取叶节点534和538。继而,可以基于第二组对象更新读取的节点,并将更新的节点写入第二分区索引的存储器表。假设树状索引中的叶节点534包括键值对(key1,value1),其中key1是以k位表示的对象的哈希值,value1表示相关的元数据。可以利用对象的扩展哈希值key2来更新key1,其中key2是以k+1位表示的扩展哈希值。在写时拷贝操作之后,存储器表222中的与该对象相对应的键值对将被更新至(key2,value1)。
可以针对第二组对象中的每个对象执行类似的操作,以便在存储器表222中包括有关每个对象的更新后的元数据。继而,可以将第二分区索引220的存储器表222冲刷至存储系统的区块层中的对应于第二分区的存储区块232,以生成第二分区索引220。图6示意性示出了根据本公开的一个实现方式的第二分区索的框图600。如图所示,此时存储器表222中的全部数据已经被刷新至存储区块222,并且根节点224可以指向存储区块232。存储区块232中包括树状索引,该树状索引可以包括根节点610,索引节点620和622等,以及更新后的叶节点630和632。
此时,叶节点630对应于原有的叶节点534,并且叶节点632对应于原有的叶节点538。叶节点630和632中的“key”字段已经被更新至k+1位,并且“value”字段保存与各个对象相关联的元数据。利用本公开的示例性实现方式,写时拷贝技术可以确保快速地生成第二分区索引220,以此方式,可以大大提高存储系统的运行效率并且降低扩展过程对于正常用户访问的干扰。
将会理解,为了确保扩展前后的数据一致性,在读取与第二组对象相对应的节点之前,可以停止处理针对分区的访问请求。换言之,在从存储区块230读取与第二组对象相关联的节点期间,应当暂停针对分区的访问请求,以避免因为对象被修改而导致的分区索引的变化。将会理解,由于此时第二组对象仅包括原有分区中最多一半的对象,因而读取操作并不会导致较长的时间开销。通常而言,读取操作仅持续数个毫秒,相对于需要长时间停机的已有技术而言,可以大大降低存储系统的停机时间,进而降低对于用户访问操作的影响。
根据本公开的示例性实现方式,可以在用于管理分区的分区管理结点处的管理进程中执行方法300。以此方式,管理进程可以直接执行写时拷贝过程,这将进一步降低拷贝过程所占用的时间。
上文已经参见图5和图6描述了如何生成第二分区索引220。在下文中,将参见图5和图7描述如何生成第一分区索引210。在存储区块230中的分区索引已经被读取之后,将分区索引中的表示第二组对象中的对象的元数据的节点设置为无效。以此方式,可以生成第一分区索引210。将会理解,在本公开的上下文中,分区索引可以是附加式索引。当某个对象已经被划分至另一分区后,并不能删除与该对象相关联的叶节点,而是可以将该叶节点标记为无效节点。
例如,与图5中的叶节点534和538相对应的对象已经被划分至第二分区,此时可以将叶节点534和538设置为无效节点。可以在第一分区索引210的存储器表212中执行上述操作,并且在已经将第二组对象中的全部对象的叶节点标记为无效之后,向存储区块230中冲刷存储器表212中的脏数据。在下文中,参见图7示出更多细节,该图7示意性示出了根据本公开的一个实现方式的第一分区索引的框图700。
如图7所示,存储区块230可以包括根节点510、索引节点520和522,以及多个叶节点。此时存在两种类型的叶节点:有效节点(例如,叶节点530、532和536),表示第一分区包括的第一组对象的元数据;以及无效节点(例如,节点710和720),表示第二组对象已经被从第一分区中删除。利用本公开的示例性实现方式,直接将与第二组对象相对应的叶节点标记为无效,可以快速地从第一分区索引210中删除有关已经被移除的对象的元数据。以此方式,可以大大提高扩展分区的效率。
上文已经描述了如何将原有分区扩展为第一分区和第二分区,并且生成相应的第一分区索引210和第二分区索引220。在已经成功生成第一分区索引210和第二分区索引220的情况下,可以基于第一分区索引210和第二分区索引220,恢复处理针对存储系统的访问请求。此时,可以利用扩展后的两个分区索引来服务于访问请求。图8示意性示出了根据本公开一个实现方式的用于基于扩展的分区来处理访问请求的过程的框图800。
如图8所示,可以接收访问请求810,并且可以从访问请求810中确定期望被访问的目标对象820的关键字。可以基于哈希函数确定访问请求涉及的目标对象的扩展哈希值。将会理解,由于原有分区已经被划分至第一分区和第二分区,此时需要基于扩展哈希值从第一分区和第二分区中确定目标对象所在的目标分区。假设目标对象在第一分区中,则如箭头840所示,可以基于第一分区索引210来处理访问请求810。假设目标对象在第二分区中,则如箭头842所示,可以基于第二分区索引220来处理访问请求810。
利用本公开的示例性实现方式,可以使用新创建的分区索引来服务于来自用户的访问请求。以此方式,随着存储系统中存储容量和/或并行访问能力的扩展,可以创建更多的分区和相应的分区索引。
将会理解,上文仅仅示意性示出了如何基于一个原有分区创建两个新的分区以及相应的分区索引的过程。根据本公开的示例性实现方式,可以针对多个已有分区中的每个分区执行方法300。假设存储系统包括128个分区,可以逐一处理每个分区,以便生成256个分区以及相应的分区索引。
将会理解,上文仅仅示意性示出了将一个原有分区扩展为两个新的分区的过程。根据本公开的示例性实现方式,还可以将一个原有分区扩展为更多的分区。例如,可以将一个原有分区扩展为4个分区,此时扩展后的分区标识符可以包括k+2位;可以将一个原有分区扩展为8个分区,此时扩展后的分区标识符可以包括k+3位,以此类推。本领域技术人员可以基于上文描述的公式1和公式2来确定有关更多分区的公式,在下文中将不再赘述。
在上文中已经参见图2至图8详细描述了根据本公开的方法的示例,在下文中将描述相应的装置的实现。根据本公开的示例性实现,提供了一种用于扩展存储系统的分区的装置,存储系统包括至少一个分区,至少一个分区中的分区包括一组对象。该装置包括:划分模块,配置用于将一组对象划分为第一组对象和第二组对象;创建模块,配置用于基于第一组对象和第二组对象,创建第一分区和第二分区,第一分区包括第一组对象以及第二分区包括第二组对象;获取模块,配置用于获取分区的分区索引,分区索引包括的一组节点分别表示一组对象的元数据;以及生成模块,配置用于基于分区索引分别生成第一分区索引和第二分区索引,第一分区索引包括的第一组节点分别表示第一组对象的元数据,以及第二分区索引包括的第二组节点分别表示第一组对象的元数据。根据本公开的示例性实现方式,进一步提供了用于执行方法300中的其他步骤的模块。
图9示意性示出了根据本公开的示例性实现的用于扩展存储系统中的分区的设备900的框图。如图所示,设备900包括中央处理单元(CPU)901,其可以根据存储在只读存储器(ROM)902中的计算机程序指令或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序指令,来执行各种适当的动作和处理。在RAM 903中,还可存储设备900操作所需的各种程序和数据。CPU 901、ROM902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
设备900中的多个部件连接至I/O接口905,包括:输入单元906,例如键盘、鼠标等;输出单元907,例如各种类型的显示器、扬声器等;存储单元908,例如磁盘、光盘等;以及通信单元909,例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
上文所描述的各个过程和处理,例如方法300,可由处理单元901执行。例如,在一些实现中,方法300可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元908。在一些实现中,计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序被加载到RAM 903并由CPU 901执行时,可以执行上文描述的方法300的一个或多个步骤。备选地,在其他实现中,CPU 901也可以以其他任何适当的方式被配置以实现上述过程/方法。
根据本公开的示例性实现,提供了一种电子设备,包括:至少一个处理器;易失性存储器;以及与至少一个处理器耦合的存储器,存储器具有存储于其中的指令,指令在被至少一个处理器执行时使得设备执行一种用于扩展存储系统的分区的动作。存储系统包括至少一个分区,至少一个分区中的分区包括一组对象。该动作包括:将一组对象划分为第一组对象和第二组对象;基于第一组对象和第二组对象,创建第一分区和第二分区,第一分区包括第一组对象以及第二分区包括第二组对象;获取分区的分区索引,分区索引包括的一组节点分别表示一组对象的元数据;以及基于分区索引分别生成第一分区索引和第二分区索引,第一分区索引包括的第一组节点分别表示第一组对象的元数据,以及第二分区索引包括的第二组节点分别表示第一组对象的元数据。
根据本公开的示例性实现方式,获取分区的分区索引包括:将分区的存储器表中的数据冲刷至存储系统的存储区块层中的对应于分区的存储区块;以及从存储区块中读取分区索引。
根据本公开的示例性实现方式,基于分区索引生成第二分区索引包括:基于分区索引中的与第二组对象相对应的节点,确定第二分区索引。
根据本公开的示例性实现方式,确定第二分区索引包括:基于写时拷贝过程,从分区索引中读取与第二组对象相对应的节点;基于第二组对象更新读取的节点以将更新的节点写入第二分区索引的存储器表;以及将第二分区索引的存储器表冲刷至存储系统的存储区块层中的对应于第二分区的存储区块,以生成第二分区索引。
根据本公开的示例性实现方式,确定第二分区索引进一步包括:在读取与第二组对象相对应的节点之前,停止处理针对分区的访问请求。
根据本公开的示例性实现方式,分区索引是附加式索引,以及其中基于分区索引生成第一分区索引包括:在分区索引已经被读取之后,将分区索引中的表示第二组对象中的对象的元数据的节点设置为无效,以生成第一分区索引。
根据本公开的示例性实现方式,进一步包括:基于第一分区索引和第二分区索引,恢复处理针对存储系统的访问请求。
根据本公开的示例性实现方式,恢复处理针对分区的访问请求包括:基于与分区相关联的哈希函数确定访问请求涉及的目标对象的扩展哈希值;基于扩展哈希值,从第一分区和第二分区中确定目标对象所在的目标分区;以及基于目标分区的索引来处理访问请求。
根据本公开的示例性实现方式,将一组对象划分至第一组对象和第二组对象包括:针对一组对象中的对象,基于与分区相关联的哈希函数确定对象的扩展哈希值;响应于确定扩展哈希值与对象的哈希值相同,将对象划分至第一组对象,哈希值的长度小于扩展哈希值;以及响应于确定扩展哈希值与哈希值不同,将对象划分至第二组对象。
根据本公开的示例性实现方式,该设备在用于管理分区的分区管理结点处的管理进程中被实现,以及其中设备响应于以下中的至少任一项而被调用:存储系统的存储容量的扩展:以及存储系统的并行访问能力的扩展。
根据本公开的示例性实现,提供了一种计算机程序产品,计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括机器可执行指令,机器可执行指令用于执行根据本公开的方法。
根据本公开的示例性实现,提供了一种计算机可读介质。计算机可读介质上存储有机器可执行指令,当机器可执行指令在被至少一个处理器执行时,使得至少一个处理器实现根据本公开方法。
本公开可以是方法、设备、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于执行本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实现中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本公开的各个方面。
这里参照根据本公开实现的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理单元,从而生产出一种机器,使得这些指令在通过计算机或其他可编程数据处理装置的处理单元执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上,使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实现的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实现,上述说明是示例性的,并非穷尽性的,并且也不限于所公开的各实现。在不偏离所说明的各实现的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实现的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其他普通技术人员能理解本文公开的各实现。
Claims (20)
1.一种用于扩展存储系统的分区的方法,所述存储系统包括至少一个分区,所述至少一个分区中的分区包括一组对象,所述方法包括:
由包括处理器的系统将所述一组对象划分为第一组对象和第二组对象,其中划分所述一组对象包括应用标识一定数目的位的哈希值的哈希函数,其中所述数目的位的所述哈希值确定如何根据用于划分所述一组对象的不同过程来划分所述一组对象;
基于所述第一组对象和所述第二组对象,创建第一分区和第二分区,所述第一分区包括所述第一组对象以及所述第二分区包括所述第二组对象;
获取所述分区的分区索引,所述分区索引包括的一组节点分别表示所述一组对象的元数据;以及
基于所述分区索引分别生成第一分区索引和第二分区索引,所述第一分区索引包括的第一组节点分别表示所述第一组对象的元数据,以及所述第二分区索引包括的第二组节点分别表示所述第一组对象的元数据。
2.根据权利要求1所述的方法,其中获取所述分区的分区索引包括:
将所述分区的存储器表中的数据冲刷至所述存储系统的存储区块层中的对应于所述分区的存储区块;以及
从所述存储区块中读取所述分区索引。
3.根据权利要求1所述的方法,其中基于所述分区索引生成第二分区索引包括:基于所述分区索引中的与所述第二组对象相对应的节点,确定所述第二分区索引。
4.根据权利要求3所述的方法,其中确定所述第二分区索引包括:
基于写时拷贝过程,从所述分区索引中读取与所述第二组对象相对应的节点;
基于所述第二组对象更新读取的所述节点以将更新的所述节点写入所述第二分区索引的所述存储器表;以及
将所述第二分区索引的所述存储器表冲刷至所述存储系统的所述存储区块层中的对应于所述第二分区的存储区块,以生成所述第二分区索引。
5.根据权利要求4所述的方法,其中确定所述第二分区索引进一步包括:
在读取与所述第二组对象相对应的节点之前,停止处理针对所述分区的访问请求。
6.根据权利要求5所述的方法,其中所述分区索引是附加式索引,以及其中基于所述分区索引生成第一分区索引包括:
在所述分区索引已经被读取之后,将所述分区索引中的表示所述第二组对象中的对象的元数据的节点设置为无效,以生成所述第一分区索引。
7.根据权利要求6所述的方法,进一步包括:基于所述第一分区索引和所述第二分区索引,恢复处理针对所述存储系统的访问请求。
8.根据权利要求7所述的方法,其中恢复处理针对所述分区的所述访问请求包括:
基于与所述分区相关联的所述哈希函数确定所述访问请求涉及的目标对象的扩展哈希值;
基于所述扩展哈希值,从所述第一分区和所述第二分区中确定所述目标对象所在的目标分区;以及
基于所述目标分区的索引来处理所述访问请求。
9.根据权利要求1所述的方法,其中将所述一组对象划分至所述第一组对象和所述第二组对象包括:针对所述一组对象中的对象,
基于与所述分区相关联的所述哈希函数确定所述对象的扩展哈希值;
响应于确定所述扩展哈希值与所述对象的所述哈希值相同,将所述对象划分至所述第一组对象,所述哈希值的长度小于所述扩展哈希值;以及
响应于确定所述扩展哈希值与所述哈希值不同,将所述对象划分至所述第二组对象。
10.根据权利要求1所述的方法,其中所述方法在用于管理所述分区的分区管理结点处的管理进程中被执行,以及其中所述方法响应于以下中的至少任一项而被执行:
所述存储系统的存储容量的扩展:以及
所述存储系统的并行访问能力的扩展。
11.一种电子设备,包括:
至少一个处理器;
易失性存储器;以及
与所述至少一个处理器耦合的存储器,所述存储器具有存储于其中的指令,所述指令在被所述至少一个处理器执行时使得所述设备执行一种用于扩展存储系统的分区的动作,所述存储系统包括至少一个分区,所述至少一个分区中的分区包括一组对象,所述动作包括:
将所述一组对象划分为第一组对象和第二组对象,其中划分所述一组对象包括应用标识一定数目的位的哈希值的哈希函数,其中所述数目的位的所述哈希值确定如何根据用于划分所述一组对象的不同过程来划分所述一组对象;
基于所述第一组对象和所述第二组对象,创建第一分区和第二分区,所述第一分区包括所述第一组对象以及所述第二分区包括所述第二组对象;
获取所述分区的分区索引,所述分区索引包括的一组节点分别表示所述一组对象的元数据;以及
基于所述分区索引分别生成第一分区索引和第二分区索引,所述第一分区索引包括的第一组节点分别表示所述第一组对象的元数据,以及所述第二分区索引包括的第二组节点分别表示所述第一组对象的元数据。
12.根据权利要求11所述的设备,其中获取所述分区的分区索引包括:
将所述分区的存储器表中的数据冲刷至所述存储系统的存储区块层中的对应于所述分区的存储区块;以及
从所述存储区块中读取所述分区索引。
13.根据权利要求11所述的设备,其中基于所述分区索引生成第二分区索引包括:基于所述分区索引中的与所述第二组对象相对应的节点,确定所述第二分区索引。
14.根据权利要求13所述的设备,其中确定所述第二分区索引包括:
基于写时拷贝过程,从所述分区索引中读取与所述第二组对象相对应的节点;
基于所述第二组对象更新读取的所述节点以将更新的所述节点写入所述第二分区索引的所述存储器表;以及
将所述第二分区索引的所述存储器表冲刷至所述存储系统的所述存储区块层中的对应于所述第二分区的存储区块,以生成所述第二分区索引。
15.根据权利要求14所述的设备,其中确定所述第二分区索引进一步包括:
在读取与所述第二组对象相对应的节点之前,停止处理针对所述分区的访问请求。
16.根据权利要求15所述的设备,其中所述分区索引是附加式索引,以及其中基于所述分区索引生成第一分区索引包括:
在所述分区索引已经被读取之后,将所述分区索引中的表示所述第二组对象中的对象的元数据的节点设置为无效,以生成所述第一分区索引。
17.根据权利要求16所述的设备,进一步包括:基于所述第一分区索引和所述第二分区索引,恢复处理针对所述存储系统的访问请求。
18.根据权利要求17所述的设备,其中恢复处理针对所述分区的所述访问请求包括:
基于与所述分区相关联的所述哈希函数确定所述访问请求涉及的目标对象的扩展哈希值;
基于所述扩展哈希值,从所述第一分区和所述第二分区中确定所述目标对象所在的目标分区;以及
基于所述目标分区的索引来处理所述访问请求。
19.根据权利要求11所述的设备,其中将所述一组对象划分至所述第一组对象和所述第二组对象包括:针对所述一组对象中的对象,
基于与所述分区相关联的所述哈希函数确定所述对象的扩展哈希值;
响应于确定所述扩展哈希值与所述对象的所述哈希值相同,将所述对象划分至所述第一组对象,所述哈希值的长度小于所述扩展哈希值;以及
响应于确定所述扩展哈希值与所述哈希值不同,将所述对象划分至所述第二组对象。
20.一种计算机程序产品,所述计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括机器可执行指令,所述机器可执行指令用于执行根据权利要求1-10中的任一项所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010758934.7A CN114063884B (zh) | 2020-07-31 | 扩展存储系统的分区方法、设备和计算机程序产品 | |
US17/038,628 US11347399B2 (en) | 2020-07-31 | 2020-09-30 | Method, device, and computer program product for extending partition of storage system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010758934.7A CN114063884B (zh) | 2020-07-31 | 扩展存储系统的分区方法、设备和计算机程序产品 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114063884A CN114063884A (zh) | 2022-02-18 |
CN114063884B true CN114063884B (zh) | 2024-07-12 |
Family
ID=
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102779180A (zh) * | 2012-06-29 | 2012-11-14 | 华为技术有限公司 | 数据存储系统的操作处理方法,数据存储系统 |
CN109840051A (zh) * | 2018-12-27 | 2019-06-04 | 华为技术有限公司 | 一种存储系统的数据存储方法及装置 |
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102779180A (zh) * | 2012-06-29 | 2012-11-14 | 华为技术有限公司 | 数据存储系统的操作处理方法,数据存储系统 |
CN109840051A (zh) * | 2018-12-27 | 2019-06-04 | 华为技术有限公司 | 一种存储系统的数据存储方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109254733B (zh) | 用于存储数据的方法、装置和系统 | |
US11741046B2 (en) | Method and apparatus for creating system disk snapshot of virtual machine | |
US20190272105A1 (en) | High-performance writable snapshots in data storage systems | |
US11226905B2 (en) | System and method for mapping objects to regions | |
US8386717B1 (en) | Method and apparatus to free up cache memory space with a pseudo least recently used scheme | |
US20200195743A1 (en) | Systems and methods for accelerating object stores with distributed caching | |
US11755556B2 (en) | Method, device, and computer program product for managing storage system | |
CN111858577B (zh) | 存储管理的方法、设备和计算机程序产品 | |
US10795579B2 (en) | Methods, apparatuses, system and computer program products for reclaiming storage units | |
CN111143113B (zh) | 复制元数据的方法、电子设备和计算机程序产品 | |
US11093389B2 (en) | Method, apparatus, and computer program product for managing storage system | |
CN111143231B (zh) | 用于数据处理的方法、设备和计算机程序产品 | |
US10031668B2 (en) | Determining status of a host operation without accessing the host in a shared storage environment | |
EP4087212A1 (en) | Method and apparatus for cloning file system | |
CN114063884B (zh) | 扩展存储系统的分区方法、设备和计算机程序产品 | |
US11347399B2 (en) | Method, device, and computer program product for extending partition of storage system | |
US10846116B2 (en) | Correcting a volume chain after a volume creation failure is detected | |
US11243932B2 (en) | Method, device, and computer program product for managing index in storage system | |
CN113986878A (zh) | 一种数据写入方法、数据迁移方法、装置及电子设备 | |
US10712959B2 (en) | Method, device and computer program product for storing data | |
US11886889B2 (en) | Managing configurations of system services running in a cluster of hosts by managing lifecycle of virtualization software | |
US11347406B2 (en) | Method, electronic device and computer program product for updating information | |
CN112068986B (zh) | 用于管理备份任务的方法、设备和计算机程序产品 | |
US11435926B2 (en) | Method, device, and computer program product for managing storage system | |
CN117056294A (zh) | 一种wal处理方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |