CN109725822A - 用于管理存储系统的方法、设备和计算机程序产品 - Google Patents

用于管理存储系统的方法、设备和计算机程序产品 Download PDF

Info

Publication number
CN109725822A
CN109725822A CN201711022156.XA CN201711022156A CN109725822A CN 109725822 A CN109725822 A CN 109725822A CN 201711022156 A CN201711022156 A CN 201711022156A CN 109725822 A CN109725822 A CN 109725822A
Authority
CN
China
Prior art keywords
disk
data
spare
array
data volume
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711022156.XA
Other languages
English (en)
Other versions
CN109725822B (zh
Inventor
卓保特
康剑斌
李雄成
奉昌玉
高宏坡
孙蕾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
EMC Corp
Original Assignee
EMC IP Holding Co LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EMC IP Holding Co LLC filed Critical EMC IP Holding Co LLC
Priority to CN201711022156.XA priority Critical patent/CN109725822B/zh
Priority to US16/167,716 priority patent/US10705932B2/en
Publication of CN109725822A publication Critical patent/CN109725822A/zh
Application granted granted Critical
Publication of CN109725822B publication Critical patent/CN109725822B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1076Parity data used in redundant arrays of independent storages, e.g. in RAID systems
    • G06F11/1088Reconstruction on already foreseen single or plurality of spare disks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/1666Error detection or correction of the data by redundancy in hardware where the redundant component is memory or memory area
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2094Redundant storage or storage space
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/85Active fault masking without idle spares

Abstract

本公开的实施例涉及用于管理存储系统的方法、设备和计算机程序产品。根据本公开的实施例,该方法包括在存储系统的盘阵列的某个存储盘从故障状态返回到正常状态的情况下,确定用于恢复该存储盘上数据的备用盘的信息。该方法还包括至少部分基于所确定的备用盘的信息,从备用盘和第一盘中确定一个盘以用于重建盘阵列。根据本公开的实施例,在第一盘从故障状态恢复的情况下,该方法将基于备用盘中尚未恢复的数据量以及与第一盘相关联的数据量,来选择备用盘或者第一盘来进行数据重建。通过本公开的实施例的方法,将有效减少盘阵列的重建时间。

Description

用于管理存储系统的方法、设备和计算机程序产品
技术领域
本公开的实施例总体涉及数据存储领域,具体涉及用于管理存储系统的方法、设备和计算机程序产品。
背景技术
存储系统通常具有多个存储盘,并且这些存储盘可以被组织在盘阵列中。例如,独立磁盘冗余阵列(RAID)是一种数据存储虚拟化技术,其出于数据冗余备份和/或性能改进的目的将多个存储盘组织成单个逻辑单元。以传统RAID 5为例,一个盘阵列可以对应于一组存储盘,并且该RAID 5将利用这组存储盘的空间来存储数据和校验信息。此外,通常还存在用于盘阵列的一个备用盘。出于输入/输出(I/O)一致性的考虑,该备用盘的类型通常与该盘阵列中的存储盘类型相同(例如,磁盘)。当该盘阵列中的某个存储盘发生故障时,可以使用备用盘来临时替代故障盘。在此情况下,故障盘上的数据将被恢复到备用盘上,以便进行盘阵列的重建。
在故障盘是大容量盘的情况下,利用备用盘对盘阵列进行重建的过程需要耗费相当多的时间。另外,在存储盘发生故障时,盘阵列的操作性能将会下降。以上这些情况对盘阵列的数据安全性和一致性都带来不良影响。
发明内容
本公开的实施例提供了用于管理存储系统的方法、设备和计算机程序产品。
在本公开的第一方面,提供了一种用于管理存储系统的方法。该方法包括响应于该存储系统的盘阵列的第一盘从故障状态返回到正常状态,确定用于恢复第一数据的备用盘的信息,该第一数据是存储在该第一盘上的数据;以及至少部分基于该备用盘的信息,从该备用盘和该第一盘中确定用于重建该盘阵列的盘。
在本公开的第二方面,提供了一种用于管理存储系统的设备。该设备包括至少一个处理单元和至少一个存储器。至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令。该指令当由至少一个处理单元执行时使得该设备执行动作,该动作包括:响应于该存储系统的盘阵列的第一盘从故障状态返回到正常状态,确定用于恢复第一数据的备用盘的信息,该第一数据是存储在该第一盘上的数据;以及至少部分基于该备用盘的信息,从该备用盘和该第一盘中确定用于重建该盘阵列的盘。
在本公开的第三方面,提供了一种计算机程序产品。该计算机程序产品被有形地存储在非瞬态计算机存储介质中并且包括机器可执行指令。该机器可执行指令在由设备执行时使该设备执行根据本公开的第一方面所描述的方法的任意步骤。
提供发明内容部分是为了以简化的形式来介绍对概念的选择,它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开的关键特征或必要特征,也无意限制本公开的范围。
附图说明
通过结合附图对本公开示例性实施例进行更详细的描述,本公开的上述以及其它目的、特征和优势将变得更加明显,其中,在本公开示例性实施例中,相同的参考标号通常代表相同部件。
图1示出了可用于实施根据本公开的实施例的存储系统的示意图;
图2示出了根据本公开的实施例的用于管理存储系统的方法的流程图;
图3示出了根据本公开的实施例的用于管理存储系统的示例方法的流程图;
图4A-4D分别示出了根据本公开的实施例的盘阵列的重建过程的示意图;
图5示出了一种根据本公开的实施例的标识盘阵列状态的示例元数据的示意图;以及
图6示出了可以用来实施本公开的实施例的示例设备的示意图。
在各个附图中,相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参照附图更详细地描述本公开的优选实施例。虽然附图中显示了本公开的优选实施例,然而应该理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了使本公开更加透彻和完整,并且能够将本公开的范围完整地传达给本领域的技术人员。
在本文中使用的术语“包括”及其变形表示开放性包括,即“包括但不限于”。除非特别申明,术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
图1示出了一种包括盘阵列的存储系统100的架构图。如图1所示,存储系统100可以包括存储处理器110、盘阵列120以及备用盘130。应当理解,如图1所示的存储系统100的结构和功能仅用于示例的目的,而不暗示对于本公开的范围的任何限制。本公开的实施例可以被体现在不同的结构和/或功能中。
存储处理器110可以用于管理一个或多个存储盘。在此所述的“存储盘”可以指代任何目前已知或者将来被开发的非易失性存储介质,例如磁盘、光盘或固态盘(SSD)等等。仅出于便于描述的目的,在本文的描述中,将以磁盘作为存储盘的示例。然而,应当理解,这仅仅是出于便于描述的目的,而不暗示对本公开的范围的任何限制。
存储处理器110例如可以将一个或多个存储盘组织成盘阵列120。盘阵列120可以包括一个或多个盘阵列组。如图1所示,例如,盘阵列120可以包括存储盘125-1、125-2……125-N(统称为存储盘125)。
盘阵列120例如可以是独立磁盘冗余阵列(RAID),其为了数据冗余备份和/或性能改进的目的而将多个存储盘组合成逻辑存储单元。根据所要求的冗余度和性能的级别,RAID可以具有不同的级别,诸如RAID 0、RAID 1……RAID 5等。盘阵列120可以由多个RAID条带组成,并且每个RAID条带可以包括用于存储数据的数据区段和用于存储校验信息的校验区段。以具有4D+1P结构的RAID 5为例,其中每个RAID条带可以包括4个数据区段和1个校验区段。在本文的描述中,将具有4D+1P结构的RAID 5作为盘阵列120的示例。然而,应当理解,这仅仅是出于便于描述的目的,而不暗示对本公开的范围的任何限制。
存储系统100可以包括用于盘阵列120的一个或多个备用盘。存储处理器110可以将这些备用盘组织成备用盘阵列,以用于盘阵列120中的故障盘的重建。为了便于描述,在图1的实施例中,仅示出了一个备用盘130,应当理解这仅仅是示例性的,而不是限制性的。在根据本公开的其他实施例中,存储系统可以包括任意适当数目的备用盘。
在一些实施例中,当盘阵列120中的存储盘发生故障时,存储处理器110可以在备用盘130上分配相应的备用逻辑存储单元,以用于针对该故障存储盘的重建。当用户向存储系统100添加用于替换该故障盘的存储盘时,存储处理器110可以将备用逻辑存储单元中的数据拷贝到替换盘上,并且释放该备用逻辑存储单元以用于后续可能的数据重建。
如上所述,在传统的盘阵列中,当盘阵列组中的某个存储盘发生故障时,备用盘会被用以替代故障盘。故障盘上的所有数据将被重建并被写入到备用盘上,以完成盘阵列的数据重建。特别地,在传统方案中,即使发生故障的存储盘随后返回到正常状态,存储处理器也不会将该存储盘用于重建盘阵列。需要注意,对于大容量磁盘阵列的情况,利用该备份盘来对磁盘阵列进行数据重建将相当耗时。另外,在利用备用盘进行数据重建的过程中,盘阵列的性能将显著下降,这对盘阵列的数据安全造成隐患。因此,如何安全和高效地对盘阵列进行重建,是需要解决的问题。
为了解决上述问题以及其他潜在问题中的一个或者多个,本公开的示例实施例提出了一种用于管理存储系统的方法。在本公开的实施例中,在存储系统的盘阵列120的一个存储盘从故障状态返回到正常状态的情况下,确定用于恢复存储盘上的数据的备用盘的相关信息。基于这一信息,从该备用盘130和该存储盘中选择一个盘,来重建该盘阵列120。以此方式,可以安全和高效的方式来对盘阵列进行重建,有效提高了存储系统的性能。
下面将参考图2来描述本公开的实施例。一般地,图2示出了根据本公开的实施例的用于管理存储系统的方法200的流程图。典型地,该方法可以在如图1所示的存储系统100的存储处理器110上执行,以用于管理盘阵列120的数据存储和数据重建过程。特别地,该方法200也可以在其他部件或者设备处实现。方法200还可以包括未示出的附加动作和/或可以省略所示出的动作,并且本公开的范围在此方面不受限制。不失一般性地,假设存储系统100的盘阵列120中的某个存储盘,例如磁盘125-1(称之为“第一盘”)发生故障,即第一盘125-1处于故障状态。在这种情况下,存储处理器110可以利用备用盘130来对盘阵列120进行数据重建。在利用该备用盘130对盘阵列120进行数据重建期间,该第一盘125-1可以从故障状态中返回到正常状态。
在框210,响应于存储系统100的盘阵列120的第一盘125-1从故障状态返回到正常状态,存储处理器110确定用于恢复数据(称之为“第一数据”)的备用盘130的信息。该第一数据是存储在该第一盘125-1上的数据,即利用该备份盘对盘阵列120进行数据重建所要恢复的数据。
在本公开的一些实施例中,该备用盘130的信息指示利用该备用盘130对盘阵列120进行数据重建的状态信息。在某些示例中,该信息可以包括第一数据中已被备用盘130恢复的数据量。此外,该信息还可以包括第一数据中未被备用盘130恢复的数据量。此外,该信息还可以包括第一数据中已被备用盘130恢复的数据的比例,该比例可以指示已被备用盘130恢复的数据占第一盘125-1上全部待恢复的数据量的百分比。此外,该信息还可以包括第一数据中未被备用盘130恢复的数据的比例,该比例可以是未被备用盘130恢复的数据占第一盘125-1上待恢复的所有数据量的百分比。在某些示例中,该信息还可以包括备用盘130的磁盘类型,该磁盘类型包括但不限于固态硬盘(SSD)、串行连接小型计算机系统接口(SAS)以及近线SAS(NL-SAS)等。
在框220,存储处理器110至少部分基于上述备用盘130的信息,从备用盘130和第一盘125-1中确定用于重建该盘阵列120的一个盘。在本公开的一些实施例中,用于重建盘阵列120的盘可以通过上述第一数据中未被该备用盘130恢复的数据量与一个阈值(称之为“第一阈值数据量”)进行比较来被确定。
在某些实施例中,在第一数据中未被备用盘130恢复的数据量超过第一阈值数据量的情况下,存储处理器110可以利用该第一盘125-1来重建盘阵列120。例如,这种情况可能对应于利用备用盘130进行盘阵列120重建的早期阶段。在这个阶段,当第一盘125-1恢复到正常状态的情况下,存储处理器110可以直接利用该第一盘125-1来对盘阵列120进行数据重建,以便节省盘阵列的重建时间。
附加地或替代地,在某些实施例中,在第一数据中未被备用盘130恢复的数据量小于第一阈值数据量的情况下,存储处理器110利用备用盘130来重建盘阵列120。例如,这种情况可以对应于利用备用盘130进行盘阵列120重建即将被完成的情形。因此,在这种情况下,即使第一盘125-1从故障状态恢复到正常状态,存储处理器110也不利用第一盘125-1进行数据重建,而是继续利用备用盘130来完成对盘阵列120的数据重建。需要注意的是,在这种情况下,相比于利用第一盘125-1,利用备用盘130进行数据重建将节省盘阵列的重建时间。
在本公开的一些实施例中,存储处理器110也可以利用该第一数据中未被备用盘130恢复的数据的比例,来判断利用备用盘130还是第一盘125-1来对盘阵列120进行数据重建。例如,在第一数据中未被备用盘130恢复的数据的比例高于一定阈值比例的情况下,则存储处理器110利用第一盘125-1来进行数据重建。例如,在第一数据中未被备用盘130恢复的数据的比例低于一定阈值比例的情况下,则继续利用该备份盘来进行数据重建。作为示例,该阈值比例可以通过存储系统的历史经验而被预先确定。作为又一示例,该阈值比例可以根据备用盘130的类型或者具体的存储应用场景而被确定。
在本公开的一些实施例中,可以通过通过判断用于重建盘阵列120的备用盘130的磁盘类型,来确定用于重建盘阵列120的一个盘。在某些示例中,在该备用盘130的磁盘类型属于某些预定的磁盘类型的情况下,则存储处理器110确定继续利用该备用盘130来进行数据重建。在某些示例中,上述磁盘类型至少可以包括备用盘130的存储容量以及读写速度。例如,对于某些预定类型的读写速度很快的备用盘,选择并利用该类备用盘对盘阵列120进行数据重建将简化数据重建的过程,并节省数据重建的时间。
在本公开的一些实施例中,存储处理器110也可以获取在第一盘125-1进入故障状态到返回正常状态的时段期间与第一盘125-1相关联的数据量,并且将该与第一盘125-1相关联的数据量和未被备用盘130恢复的数据量进行比较,以便从该备用盘130和该第一盘125-1中选择一个盘来对盘阵列120进行数据重建。在某些示例中,存储处理器110记录在第一盘125-1进入故障状态到返回正常状态的时段期间被写入到盘阵列120的数据(称之为“第二数据”)的信息。作为示例,该信息至少可以包括以下至少一项:该第二数据中与第一盘125-1相关联的数据在盘阵列120中被写入的存储地址、第二数据的数据量以及其中与第一盘125-1相关联的数据量等。在某些示例中,根据与第二数据相关联的信息,存储处理器110可以确定与第一盘125-1相关联的数据量。
根据本公开的实施例,在第一数据中未被备用盘130恢复的数据量和与第一盘125-1相关联的数据量的差值超过某个阈值(称之为“第二阈值”)数据量的情况下,存储处理器110可以利用第一盘125-1进行数据重建。
替代地或者附加地,在第一数据中未被备用盘130恢复的数据量和与第一盘125-1相关联的数据量的差值小于第二阈值数据量的情况下,这意味着备用盘130可能将在短时间内完成数据重建,因此存储处理器110可以利用备用盘130进行数据重建。在这种情况下,即使第一盘125-1从故障状态中返回到正常状态,存储处理器110也不会利用该第一盘125-1来对盘阵列120进行数据重建。因此,附加地,存储处理器110还可以停止记录与第二数据有关的信息,以减少处理和存储资源的占用。在某些示例中,由于不同类型备用盘130的重建速度不同,因此上述第二阈值可以根据不同备用盘130的类型而被确定,以使得判断利用备用盘130还是第一盘125-1进行数据重建的过程更加合理。
下面将描述一个具体的示例,其中存储处理器110可以根据如下公式来确定备用盘130和第一盘125-1中一个盘,以便对盘阵列120进行数据重建:
其中,R表示第一数据中未被备用盘130恢复的数据量(例如,以MB为单位),W表示与第一盘125-1相关联的数据量(例如,以MB为单位),并且N(例如,以GB为单位)是与第二阈值数据量相关联。在某些示例中,参数N可以基于不同的磁盘类型而被确定。例如,对于SSD类型的磁盘,N可以设置为1024;对于SAS类型的磁盘,N可以被设置为512;以及对于NL-SAS的磁盘,N可以被设置为128。
在一个实施例中,在上述公式(1)成立的情况下,存储处理器110可以确定将备用盘130用于对盘阵列进行数据重建。在另一个示例中,如果上述公式(1)成立,存储处理器110可以停止记录与第二数据有关的信息。在又另一个示例中,如果上述公式(1)不成立,存储处理器110可以确定利用第一盘125-1对盘阵列120进行数据重建。
通过图2所示出的本公开的实施例,在某个存储盘从故障状态返回到正常状态的情况下,存储处理器110将根据该存储盘以及用于恢复盘阵列120的备用盘130相关联的信息,从存储盘和备用盘130中选择一个盘来对盘阵列120进行数据重建。在根据本公开的某些实施例中,存储处理器110可以利用恢复正常状态的存储盘进行数据重建,以避免利用备份盘进行数据重建所导致的盘阵列的降级操作状态。在某些示例中,在未被备用盘130恢复的数据量和与该存储盘相关联的数据量差值超过某个阈值数据量的情况下,存储处理器110可以利用该存储盘进行数据重建,以减少盘阵列120的重建时间。
图3示出了根据本公开的实施例的用于管理存储系统的示例方法300的流程图。该方法300可以被实现在如图1所示的存储系统100的存储处理器110上执行,并且该方法300也可以在其他部件或者设备处实现。方法300仅仅实现本公开的实施例的示例方法,不是一般性地,方法300还可以包括未示出的附加动作和/或可以省略所示出的动作,并且本公开的范围在此方面不受限制。
在框310,存储处理器110判断盘阵列120中的第一盘125-1处于故障状态。例如,该第一盘125-1可能由于临时断电或者操作人员的误操作而进入故障状态。附加地,在框315,存储处理器110判断该第一盘125-1是否在预定时段间内返回正常状态。例如,该预定时间段可以是5分钟。需要注意的是,在本公开中使用的数值仅仅是示例的目的,而不暗示对本公开保护范围的任何限制。不失一般性地,也可以利用其它数值的预定时间段。如果该第一盘125-1在预定时间段返回正常状态,则存储处理器110在框320,利用该第一盘125-1对盘阵列120进行数据重建。如果该第一盘125-1未在预定时间段内返回正常状态,在框325,存储处理器110利用备用盘130对盘阵列120进行数据重建。
根据本公开的实施例,由于在第一盘125-1从故障状态恢复到正常状态的情况下,存储处理器110可能会利用第一盘125-1进行数据重建。因此,在框330,存储处理器110可以记录在第一盘125-1从故障状态返回到正常状态时间段内被新写入盘阵列120的数据相关联的信息,该信息例如可以指示用户或者其他应用程序在该时间段内向第一盘125-1的逻辑地址以及向盘阵列120中的其他盘所写入的新数据I/O。在框335处,存储处理器110判断利用备用盘130对盘阵列120进行的重建过程是否完成。如果该数据重建过程未完成,存储处理器110在框340判断该第一盘125-1是否返回到正常状态。如果第一盘125-1从故障状态返回到正常状态,则在框345,存储处理器110判断是否可以利用第一盘125-1重建盘阵列。具体判断方法可以参考上文所述的实施例,在此处不再赘述。
如果存储处理器110判断可以利用第一盘125-1进行重建,则在框350,存储处理器110利用第一盘125-1进行数据重建。否则,在框355,存储处理器110停止记录与新写入的数据相关的信息,并且存储处理器110继续利用该备用盘130进行重建。在框360,对盘阵列的重建完成。
图4A-4D分别示出了盘阵列的重建过程的示意图。在本文的描述中,以RAID 5作为盘阵列120的示例。然而,应当理解,这仅仅是出于便于描述的目的,而不暗示对本公开的范围的任何限制。
图4A示出了RAID 5的盘阵列120。该盘阵列120包括5个磁盘,即磁盘410-1、磁盘410-2……磁盘410-5。RG 110中的每个条带(也即,盘阵列120中的每一行)例如可以包括4个数据区段和1个校验区段(以下也被称为“4D+1P”的RAID 5)。在此所述的“数据区段”指代存储用户数据D00、D01……DN3的区段,并且“校验区段”指代存储校验信息P0、P1……PN的区段。此外,还存在盘阵列120的备用盘420,其服务于该盘阵列120中故障盘的重建。
在图4A中,盘阵列120中的一个盘,例如磁盘410-2处于故障状态。如图4B所示,存储处理器110将备用盘420作为盘阵列120的新的磁盘,即磁盘410-6以用于恢复处于故障状态的磁盘410-2上的数据。如图4C所示,存储处理器110在新的磁盘410-6上重建故障磁盘410-2的数据。在利用新磁盘410-6对盘阵列120进行数据重建的期间,假设磁盘410-2从故障状态中返回到正常状态。如上所述,在这种情况下,存储处理器110将从磁盘410-2和磁盘410-6中确定一个磁盘,来对盘阵列120进行数据重建。具体的确定过程,可以参考上文所述的实施例,在此处不再赘述。不失一般性地,图4D图示了确定利用原磁盘410-2进行数据重建的情形。如图4所示,存储处理器110将释放磁盘410-6上用于存储已恢复数据的存储空间,并且将磁盘410-6重新标记为备用盘420。在利用磁盘410-2进行数据重建的过程中,存储处理器110将在磁盘410-2上重建在磁盘410-2从故障状态返回到正常状态期间与该磁盘410-2相关联的数据,例如新写入到磁盘410-2的逻辑地址中的新数据I/O(例如,如图4D所示的区段D11和区段D21),以保持盘阵列120的数据一致性。
图5示出了一种根据本公开的实施例的标识盘阵列状态的示例元数据的示意图。根据本公开的实施例,实现上述方法中的各种信息和元素可以被表示为元数据的形式,例如图5中所示出的元数据形式。如图5所示,元数据520指示了与实现本公开的实施例所描述的重建盘阵列510的方法相关的信息。作为示例,盘阵列510可以包括磁盘1、磁盘2…,磁盘N。该元数据520例如可以包括盘阵列510的存储配置信息以及磁盘状态信息等。作为又一示例,元数据可以为非分页的(non-paged)元数据。
作为示例,元数据520中的指针指示与该盘阵列510相关联的数据表530。该数据表530例如可以至少包括数据块(chunk)计数、位图1以及位图2等信息。作为又一示例,该数据块计数可以指示在存储盘从故障状态返回到正常状态时段期间写入到盘阵列的与该存储盘相关联的数据的计数,以便于实现本公开的实施例所描述判断第一数据中未被所述备用盘恢复的数据量和与第一盘125-1相关联的数据量的差值。例如,一个典型的数据块可以以1M为存储单位。作为又一示例,位图1指示盘阵列510中的磁盘1、磁盘2…,磁盘N中某个磁盘处于故障状态。作为又一示例,位图2中的一位指示盘阵列510中的磁盘1、磁盘2…,磁盘N中某个磁盘所对应的逻辑存储位置不能被写入新的数据I/O。根据上述位图1和位图2,可以方便确定发生故障的磁盘的信息以及备用盘的使用情况,进而便于实现本公开的实施例中所描述的方法。
需要指出,图5所示的元数据仅仅是实现本公开的示例性方法的示例元数据信息。在本领域普通技术人员实现本公开的示例性方法的过程中,可以根据实际需要来定义和使用更多不同类型的元数据。特别地,本公开的范围在此方面不作任何限制。
图6示出了可以用来实施本公开内容的实施例的示例设备600的示意性框图。例如,如图3所示的存储处理器310可以由设备600实施。如图所示,设备600包括中央处理单元(CPU)601,其可以根据存储在只读存储器(ROM)602中的计算机程序指令或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序指令,来执行各种适当的动作和处理。在RAM 603中,还可存储设备600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM603通过总线604彼此相连。输入/输出接口605也连接至总线604。
设备600中的多个部件连接至I/O接口605,包括:输入单元606,例如键盘、鼠标等;输出单元607,例如各种类型的显示器、扬声器等;存储单元608,例如磁盘、光盘等;以及通信单元609,例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
上文所描述的各个过程和处理,例如方法200和/或300,可由处理单元601执行。例如,在一些实施例中,方法200和/或300可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元608。在一些实施例中,计算机程序的部分或者全部可以经由ROM602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序被加载到RAM603并由CPU 601执行时,可以执行上文描述的方法200和/或300的一个或多个动作。
本公开可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于执行本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是——但不限于——电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。本文所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算设备/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算设备/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算设备/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (15)

1.一种用于管理存储系统的方法,包括:
响应于所述存储系统的盘阵列的第一盘从故障状态返回到正常状态,确定用于恢复第一数据的备用盘的信息,所述第一数据是存储在所述第一盘上的数据;以及
至少部分基于所述备用盘的信息,从所述备用盘和所述第一盘中确定用于重建所述盘阵列的盘。
2.根据权利要求1的所述方法,其中确定用于恢复与所述第一盘相关联的数据的备用盘的信息包括:确定以下至少一项:
所述第一数据中已被所述备用盘恢复的数据量,
所述第一数据中未被所述备用盘恢复的数据量,
所述第一数据中已被所述备用盘恢复的数据的比例,
所述第一数据中未被所述备用盘恢复的数据的比例,以及
所述备用盘的磁盘类型。
3.根据权利要求1的所述方法,其中所述至少部分基于所述备用盘的信息,确定所述备用盘和所述第一盘中一个来重建所述盘阵列包括:
响应于所述第一数据中未被所述备用盘恢复的数据量超过第一阈值数据量,利用所述第一盘来重建所述盘阵列;以及
响应于所述第一数据中未被所述备用盘恢复的数据量小于所述第一阈值数据量,利用所述备用盘来重建所述盘阵列。
4.根据权利要求1的所述方法,还包括:
记录与第二数据有关的信息,所述第二数据是在所述第一盘进入所述故障状态到返回所述正常状态的时段期间所述盘阵列被写入的数据。
5.根据权利要求4的所述方法,其中至少部分基于所述备用盘的信息,确定所述备用盘和所述第一盘中一个来重建所述盘阵列包括:
从所述与第二数据有关的信息确定与所述第一盘相关联的数据量;
确定所述第一数据中未被所述备用盘恢复的数据量和与所述第一盘相关联的数据量的差值;
响应于所述差值大于第二阈值数据量,利用所述第一盘重建所述盘阵列;以及
响应于所述差值小于所述第二阈值数据量,利用所述备用盘重建所述盘阵列。
6.根据权利要求5的所述方法,其中响应于所述差值大于第二阈值数据量,利用所述备用盘重建所述盘阵列还包括:
停止记录与第二数据有关的信息。
7.根据权利要求5的所述方法,其中所述第二阈值数据量是至少部分基于所述盘阵列的磁盘类型而被确定。
8.一种用于管理存储系统的设备,所述设备包括:
至少一个处理单元;
至少一个存储器,所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令,所述指令当由所述至少一个处理单元执行时,使得所述设备执行动作,所述动作包括:
响应于所述存储系统的盘阵列的第一盘从故障状态返回到正常状态,确定用于恢复第一数据的备用盘的信息,所述第一数据是存储在所述第一盘上的数据;以及
至少部分基于所述备用盘的信息,从所述备用盘和所述第一盘中确定用于重建所述盘阵列的盘。
9.根据权利要求8的所述设备,其中确定用于恢复与所述第一盘相关联的数据的备用盘的信息包括:确定以下至少一项:
所述第一数据中已被所述备用盘恢复的数据量,
所述第一数据中未被所述备用盘恢复的数据量,
所述第一数据中已被所述备用盘恢复的数据的比例,
所述第一数据中未被所述备用盘恢复的数据的比例,以及
所述备用盘的磁盘类型。
10.根据权利要求8的所述设备,其中所述至少部分基于所述备用盘的信息,确定所述备用盘和所述第一盘中一个来重建所述盘阵列包括:
响应于所述第一数据中未被所述备用盘恢复的数据量超过第一阈值数据量,利用所述第一盘来重建所述盘阵列;以及
响应于所述第一数据中未被所述备用盘恢复的数据量小于所述第一阈值数据量,利用所述备用盘来重建所述盘阵列。
11.根据权利要求8的所述设备,所述动作还包括:
记录与第二数据有关的信息,所述第二数据是在所述第一盘进入所述故障状态到返回所述正常状态的时段期间所述盘阵列被写入的数据。
12.根据权利要求11的所述设备,其中至少部分基于所述备用盘的信息,确定所述备用盘和所述第一盘中一个来重建所述盘阵列包括:
从所述与第二数据有关的信息确定与所述第一盘相关联的数据量;
确定所述第一数据中未被所述备用盘恢复的数据量和与所述第一盘相关联的数据量的差值;
响应于所述差值大于第二阈值数据量,利用所述第一盘重建所述盘阵列;以及
响应于所述差值小于所述第二阈值数据量,利用所述备用盘重建所述盘阵列。
13.根据权利要求12的所述设备,其中响应于所述差值大于第二阈值数据量,利用所述备用盘重建所述盘阵列还包括:
停止记录与第二数据有关的信息。
14.根据权利要求12的所述设备,其中所述第二阈值数据量是至少部分基于所述盘阵列的磁盘类型而被确定。
15.一种计算机程序产品,所述计算机程序产品被有形地存储在非瞬态计算机存储介质中并且包括机器可执行指令,所述机器可执行指令在由设备执行时使所述设备执行根据权利要求1-7中的任一项所述的方法。
CN201711022156.XA 2017-10-27 2017-10-27 用于管理存储系统的方法、设备和计算机程序产品 Active CN109725822B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201711022156.XA CN109725822B (zh) 2017-10-27 2017-10-27 用于管理存储系统的方法、设备和计算机程序产品
US16/167,716 US10705932B2 (en) 2017-10-27 2018-10-23 Method, device and computer program product for managing a storage system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711022156.XA CN109725822B (zh) 2017-10-27 2017-10-27 用于管理存储系统的方法、设备和计算机程序产品

Publications (2)

Publication Number Publication Date
CN109725822A true CN109725822A (zh) 2019-05-07
CN109725822B CN109725822B (zh) 2022-03-11

Family

ID=66243957

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711022156.XA Active CN109725822B (zh) 2017-10-27 2017-10-27 用于管理存储系统的方法、设备和计算机程序产品

Country Status (2)

Country Link
US (1) US10705932B2 (zh)
CN (1) CN109725822B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112748856A (zh) * 2019-10-30 2021-05-04 伊姆西Ip控股有限责任公司 管理盘的方法、电子设备和计算机程序产品
CN115657965A (zh) * 2022-11-16 2023-01-31 苏州浪潮智能科技有限公司 一种元数据的配置方法、装置及介质

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW202404049A (zh) 2016-12-14 2024-01-16 成真股份有限公司 標準大宗商品化現場可編程邏輯閘陣列(fpga)積體電路晶片組成之邏輯驅動器
US11625523B2 (en) 2016-12-14 2023-04-11 iCometrue Company Ltd. Logic drive based on standard commodity FPGA IC chips
US10957679B2 (en) 2017-08-08 2021-03-23 iCometrue Company Ltd. Logic drive based on standardized commodity programmable logic semiconductor IC chips
US10630296B2 (en) 2017-09-12 2020-04-21 iCometrue Company Ltd. Logic drive with brain-like elasticity and integrality based on standard commodity FPGA IC chips using non-volatile memory cells
US10608642B2 (en) 2018-02-01 2020-03-31 iCometrue Company Ltd. Logic drive using standard commodity programmable logic IC chips comprising non-volatile radom access memory cells
US10623000B2 (en) * 2018-02-14 2020-04-14 iCometrue Company Ltd. Logic drive using standard commodity programmable logic IC chips
US10608638B2 (en) 2018-05-24 2020-03-31 iCometrue Company Ltd. Logic drive using standard commodity programmable logic IC chips
US11309334B2 (en) 2018-09-11 2022-04-19 iCometrue Company Ltd. Logic drive using standard commodity programmable logic IC chips comprising non-volatile random access memory cells
US11616046B2 (en) 2018-11-02 2023-03-28 iCometrue Company Ltd. Logic drive based on chip scale package comprising standardized commodity programmable logic IC chip and memory IC chip
US11211334B2 (en) 2018-11-18 2021-12-28 iCometrue Company Ltd. Logic drive based on chip scale package comprising standardized commodity programmable logic IC chip and memory IC chip
US11227838B2 (en) 2019-07-02 2022-01-18 iCometrue Company Ltd. Logic drive based on multichip package comprising standard commodity FPGA IC chip with cooperating or supporting circuits
US11887930B2 (en) 2019-08-05 2024-01-30 iCometrue Company Ltd. Vertical interconnect elevator based on through silicon vias
US11637056B2 (en) 2019-09-20 2023-04-25 iCometrue Company Ltd. 3D chip package based on through-silicon-via interconnection elevator
US11600526B2 (en) 2020-01-22 2023-03-07 iCometrue Company Ltd. Chip package based on through-silicon-via connector and silicon interconnection bridge
CN113590016A (zh) * 2020-04-30 2021-11-02 伊姆西Ip控股有限责任公司 用于管理存储盘的方法、电子设备和计算机程序产品
CN112328182B (zh) * 2020-11-27 2022-04-22 长沙景嘉微电子股份有限公司 一种raid数据管理方法、装置和计算机可读存储介质
CN117149094B (zh) * 2023-10-30 2024-02-09 苏州元脑智能科技有限公司 确定数据区状态的方法、装置、磁盘阵列及存储系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1955940A (zh) * 2005-10-28 2007-05-02 富士通株式会社 Raid系统、raid控制器及其重建/拷回处理方法
CN101006431A (zh) * 2004-08-04 2007-07-25 达西系统股份有限公司 执行容错磁盘阵列的预先重建
US7647526B1 (en) * 2006-12-06 2010-01-12 Netapp, Inc. Reducing reconstruct input/output operations in storage systems
US20130047029A1 (en) * 2011-08-17 2013-02-21 Fujitsu Limited Storage system, storage control apparatus, and storage control method
CN103699336A (zh) * 2013-12-03 2014-04-02 中国科学院计算技术研究所 一种磁盘阵列数据分布与重建方法及系统
CN103970481A (zh) * 2013-01-29 2014-08-06 国际商业机器公司 重建存储器阵列的方法和装置
CN104123100A (zh) * 2013-04-25 2014-10-29 国际商业机器公司 控制存储设备阵列中的数据存储
CN106933700A (zh) * 2015-12-31 2017-07-07 伊姆西公司 用于恢复存储器之间的数据备份的方法及设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6912629B1 (en) * 1999-07-28 2005-06-28 Storage Technology Corporation System and method for restoring data from secondary volume to primary volume in a data storage system
US7516348B1 (en) 2006-02-24 2009-04-07 Emc Corporation Selective power management of disk drives during semi-idle time in order to save power and increase drive life span
US7865761B1 (en) 2007-06-28 2011-01-04 Emc Corporation Accessing multiple non-volatile semiconductor memory modules in an uneven manner
US7984324B2 (en) 2008-03-27 2011-07-19 Emc Corporation Systems and methods for managing stalled storage devices
US7870345B2 (en) 2008-03-27 2011-01-11 Isilon Systems, Inc. Systems and methods for managing stalled storage devices
WO2013024485A2 (en) * 2011-08-17 2013-02-21 Scaleio Inc. Methods and systems of managing a distributed replica based storage
US8782465B1 (en) 2011-12-22 2014-07-15 Emc Corporation Managing drive problems in data storage systems by tracking overall retry time
US10013321B1 (en) 2016-06-22 2018-07-03 EMC IP Holding Company LLC Early raid rebuild to improve reliability
US10498821B1 (en) 2017-07-31 2019-12-03 EMC IP Holding Company LLC Managing NAS server cloning in network attached storage (NAS) cluster
US10552072B1 (en) 2017-07-31 2020-02-04 EMC IP Holding Company LLC Managing file system namespace in network attached storage (NAS) cluster

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101006431A (zh) * 2004-08-04 2007-07-25 达西系统股份有限公司 执行容错磁盘阵列的预先重建
CN1955940A (zh) * 2005-10-28 2007-05-02 富士通株式会社 Raid系统、raid控制器及其重建/拷回处理方法
US7647526B1 (en) * 2006-12-06 2010-01-12 Netapp, Inc. Reducing reconstruct input/output operations in storage systems
US20130047029A1 (en) * 2011-08-17 2013-02-21 Fujitsu Limited Storage system, storage control apparatus, and storage control method
CN103970481A (zh) * 2013-01-29 2014-08-06 国际商业机器公司 重建存储器阵列的方法和装置
CN104123100A (zh) * 2013-04-25 2014-10-29 国际商业机器公司 控制存储设备阵列中的数据存储
CN103699336A (zh) * 2013-12-03 2014-04-02 中国科学院计算技术研究所 一种磁盘阵列数据分布与重建方法及系统
CN106933700A (zh) * 2015-12-31 2017-07-07 伊姆西公司 用于恢复存储器之间的数据备份的方法及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李琼 等: "高可靠磁盘阵列的设计", 《计算机应用研究》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112748856A (zh) * 2019-10-30 2021-05-04 伊姆西Ip控股有限责任公司 管理盘的方法、电子设备和计算机程序产品
CN115657965A (zh) * 2022-11-16 2023-01-31 苏州浪潮智能科技有限公司 一种元数据的配置方法、装置及介质
CN115657965B (zh) * 2022-11-16 2023-04-07 苏州浪潮智能科技有限公司 一种元数据的配置方法、装置及介质

Also Published As

Publication number Publication date
CN109725822B (zh) 2022-03-11
US10705932B2 (en) 2020-07-07
US20190129817A1 (en) 2019-05-02

Similar Documents

Publication Publication Date Title
CN109725822A (zh) 用于管理存储系统的方法、设备和计算机程序产品
CN109213618A (zh) 用于管理存储系统的方法、设备和计算机程序产品
CN108733314B (zh) 用于独立冗余阵列(raid)重建的方法、设备和计算机可读存储介质
CN109725824A (zh) 用于向存储系统中的盘阵列写入数据的方法和设备
CN107220148A (zh) 针对独立磁盘冗余阵列的重建方法和设备
CN103946846A (zh) 使用虚拟驱动作为用于raid组的热备用
CN108733518A (zh) 用于管理存储系统的方法、设备和计算机可读介质
CN107870730A (zh) 用于管理存储系统的方法和系统
CN104123198A (zh) 管理数据复制模式的方法和装置
CN110389858A (zh) 存储设备的故障恢复方法和设备
CN109725826A (zh) 管理存储系统的方法、设备和计算机可读介质
CN107436733A (zh) 分片管理方法和分片管理装置
CN102981927A (zh) 分布式独立冗余磁盘阵列存储方法及分布式集群存储系统
CN110413208B (zh) 用于管理存储系统的方法、设备和计算机程序产品
CN109213619A (zh) 用于管理存储系统的方法、设备和计算机程序产品
CN109582213A (zh) 数据重构方法及装置、数据存储系统
CN110413203A (zh) 用于管理存储系统的方法、设备和计算机程序产品
CN110413198A (zh) 用于管理存储系统的方法、设备和计算机程序产品
CN108733311A (zh) 用于管理存储系统的方法和设备
CN103761059A (zh) 一种用于海量数据管理的多盘位存储方法及系统
CN104462612A (zh) 一种监控数据库信息的方法和设备
CN109725823A (zh) 用于管理混合存储盘阵列的方法和设备
CN102789370B (zh) 一种raid阵列同步方法及装置
CN105487609A (zh) 一种服务器
CN104484135A (zh) 一种快速数据读取方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant