CN111125041A - 数据读取方法、电子设备和计算机程序产品 - Google Patents
数据读取方法、电子设备和计算机程序产品 Download PDFInfo
- Publication number
- CN111125041A CN111125041A CN201811286569.3A CN201811286569A CN111125041A CN 111125041 A CN111125041 A CN 111125041A CN 201811286569 A CN201811286569 A CN 201811286569A CN 111125041 A CN111125041 A CN 111125041A
- Authority
- CN
- China
- Prior art keywords
- data
- block
- sub
- physical
- blocks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/064—Management of blocks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
- G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0662—Virtualisation aspects
- G06F3/0665—Virtualisation aspects at area level, e.g. provisioning of virtual or logical volumes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0673—Single storage device
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开的实施例涉及一种数据读取方法、电子设备和相应的计算机程序产品。可以包括:响应于接收到来自用户的针对物理数据块上的数据的读取请求,确定是否存在与物理数据块相对应的数据状态信息。该数据状态信息可以包括多个单元,用于分别指示物理数据块的多个子块中所存储的数据的可用性。该方法还可以包括:响应于确定存在数据状态信息,基于数据状态信息从物理存储块的多个子块中选择目标子块。该方法又可以包括:向用户提供存储在目标子块中的数据。本公开的实施例能够在更细粒度下判定数据的可用性。
Description
技术领域
本公开总体上涉及数据读写领域,更具体地,涉及数据读取方法、电子设备和计算机程序产品。
背景技术
日志结构(Log-structured)存储系统通常将请求作为对磁盘的修改按顺序写入类似日志的结构。在该存储系统中,日志是磁盘上唯一的结构,其包含用于读取数据的元数据。日志结构存储系统遵循“ACID”原则,即,原子性、一致性、隔离性和持久性。
应理解,数据损坏而导致的不可用是存储系统中不可避免的问题。数据不可用的原因有很多,例如,位翻转、介质错误、奇偶校验和不匹配、甚至是意外的系统重启等。由于日志结构存储系统进行读写操作的块尺寸较大(例如4K字节),而数据错误可能只有较小的大小(例如1个字节),当需要读取该块时,存储系统仍然会返回数据不可用的信息。因此,数据损坏的范围会被放大,这是日志结构存储系统的固有问题。
发明内容
本公开的实施例提供了数据读取方法、设备和相应的计算机程序产品。
在本公开的第一方面,提供了一种数据读取方法。该方法可以包括:响应于接收到来自用户的针对物理数据块上的数据的读取请求,确定是否存在与物理数据块相对应的数据状态信息。该数据状态信息可以包括多个单元,用于分别指示物理数据块的多个子块中所存储的数据的可用性。该方法还可以包括:响应于确定存在数据状态信息,基于数据状态信息从物理存储块的多个子块中选择目标子块。该方法又可以包括:向用户提供存储在目标子块中的数据。
在某些实施例中,该方法还可以包括:响应于确定不存在数据状态信息,返回数据读取失败信息。
在某些实施例中,确定是否存在与物理数据块相对应的数据状态信息包括:根据读取请求,确定用于存储物理数据块的位置信息的虚拟条目;以及从虚拟条目中检测数据状态信息。
在某些实施例中,基于数据状态信息从物理存储块的多个子块中选择目标子块包括:从数据状态信息的多个单元中确定被标记为可用的单元;以及将与所确定的单元对应的子块确定为目标子块。
在某些实施例中,该方法还可以包括:在向用户提供数据后,删除数据状态信息。
在某些实施例中,该方法还可以包括:响应于接收到向物理数据块写入数据的写入请求,确定物理数据块中将被写入数据的子块;将数据状态信息中的、与所确定的子块对应的单元标记为可用。
在某些实施例中,将与所确定的子块对应的单元标记为可用包括:从数据状态信息中确定与所确定的子块对应的单元;以及将所确定的单元设置为预定值。
在本公开的第二方面,提供了一种电子设备。该设备可以包括:至少一个处理单元;以及至少一个存储器,其耦合至至少一个处理单元并且存储有机器可执行指令,当指令由至少一个处理单元执行时,使得设备执行动作,该动作可以包括:响应于接收到来自用户的针对物理数据块上的数据的读取请求,确定是否存在与物理数据块相对应的数据状态信息,数据状态信息包括多个单元,用于分别指示物理数据块的多个子块中所存储的数据的可用性;响应于确定存在数据状态信息,基于数据状态信息从物理存储块的多个子块中选择目标子块;以及向用户提供存储在目标子块中的数据。
在本公开的第三方面,提供了一种计算机程序产品。该计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括机器可执行指令,机器可执行指令在被执行时使机器执行根据第一方面的方法的步骤。
提供发明内容部分是为了以简化的形式来介绍对概念的选择,它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开的关键特征或主要特征,也无意限制本公开的范围。
附图说明
通过结合附图对本公开示例性实施例进行更详细的描述,本公开的上述以及其它目标、特征和优势将变得更加明显,其中,在本公开示例性实施例中,相同的参考标号通常代表相同部件。
图1示出了传统的日志结构存储系统中虚拟存储块与物理数据块的映射关系的示意图;
图2示出了根据本公开的实施例的日志结构存储系统中数据状态信息与物理数据块的映射关系的示意图;
图3示出了根据本公开的实施例的日志结构存储系统中数据状态信息与物理数据块的映射关系的示意图;
图4示出了根据本公开的实施例的用于数据读取的过程或方法的流程图;
图5示出了根据本公开的实施例的用于数据读取的过程或方法的流程图;
图6示出了根据本公开的实施例的用于数据读取的过程或方法的流程图;以及
图7示出了根据本公开的实施例的用于数据读取的设备的示意性框图。
具体实施方式
下面将参照附图更详细地描述本公开的优选实施例。虽然附图中显示了本公开的优选实施例,然而应该理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了使本公开更加透彻和完整,并且能够将本公开的范围完整地传达给本领域的技术人员。
在本文中使用的术语“包括”及其变形表示开放性包括,即“包括但不限于”。除非特别申明,术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其它明确的和隐含的定义。
日志结构存储系统通常使用B树作为数据映射磁盘结构。数据的位置信息(元数据)通常都存储在虚拟存储块以及B树的间接块内。该位置信息描述了用于存储该数据的物理数据块的起始位置以及该数据的尺寸(或压缩尺寸)。为了定位用于存储该数据的物理数据块,通常需要基于用户的读取请求从超级快中获取B树中的间接块(例如,在三层B树中包含顶部间接块、中部间接块以及叶部间接块)的位置信息。在找到相应的间接块之后,基于该间接块内的信息获取虚拟存储块的位置信息。利用存储在虚拟存储块中的位置信息就能够定位到用于存储该数据的物理数据块。
由此可见,在日志结构存储系统中,用于存储数据的最小空间是一个物理数据块,并且相应的校验机制也均是基于物理数据块实现的。由于存储系统中不可避免地会出现数据不可用的问题,故即便该物理数据块中仅一部分被损坏,整个物理数据块均会被校验为不可用。例如,在4K范围内存在1比特数据不可用,当用户读取该4K范围内的其他数据时,均会报告该4K范围内的数据不可用。因此,数据损坏的范围会被放大。
图1示出了传统的日志结构存储系统100中虚拟存储块110与物理数据块130的映射关系的示意图。
如图1所示,在虚拟地址空间中存在虚拟存储块110。显然地,虚拟地址空间中还存在其他多个虚拟存储块(未示出)。虚拟存储块110包含多个虚拟条目,例如,虚拟条目E。每个虚拟条目均存储有与其对应的物理数据块的位置信息(元数据),例如,该物理数据块的起始位置和尺寸。如图1所示,虚拟条目E对应于物理数据块130,从而可以在物理地址空间120中找到物理数据块130。应理解,为了更为简洁地示出,图1仅示出了虚拟存储块110和物理数据块130,而用于存储虚拟存储块110的位置信息的B树结构中的多层间接块均与传统的日志结构存储系统相同,故未在图1中示出。另外需要说明的是,虚拟条目E仅占用很小的空间,通常一个虚拟存储块110中可以包含至少200个虚拟条目。
如上文所述,由于日志结构存储系统进行读写操作的物理数据块130的尺寸较大,当该物理数据块130中仅一部分数据不可用时,物理数据块130中的其他可用数据同样不能被读取。因此,数据损坏的范围被放大。
为了至少部分地解决上述以及其他潜在的问题和缺陷,本公开的实施例提供了一种用于数据读取的方案。针对上述问题,本公开的用于数据读取的方案作出如下改进:在虚拟地址空间中创建数据状态信息,用于指示物理数据块130中的多个子块中所存储的数据的可用性。
图2示出了根据本公开的实施例的日志结构存储系统200中数据状态信息210与物理数据块130的映射关系的示意图。如图2所示,数据状态信息210是在虚拟地址空间220中创建的,对应于物理地址空间120中的物理数据块130,被配置为指示物理数据块130中的多个子块中所存储的数据的可用性。作为示例,数据状态信息210可以是比特表,该比特表中的多个比特分别对应于物理数据块130的多个子块。通过这种方式,物理数据块130的各子块的可用性信息将可以被检测到。备选地或附加地,数据状态信息210还可以是状态值矩阵,该状态值矩阵中的多个元素分别对应于物理数据块130的多个子块,且该多个子块的维度与该状态值矩阵的维度相同。下文将结合图3详细描述数据状态信息210作为比特表的实施例。
图3示出了根据本公开的实施例的日志结构存储系统300中比特表310与物理数据块130的映射关系的示意图。如图3所示,比特表310是在虚拟地址空间中创建的,包含多个单元311、312、313、314、315、316、317、318。如图3所示,该多个单元311、312、313、314、315、316、317、318分别对应于物理地址空间中的物理数据块130的多个子块131、132、133、134、135、136、137、138,用于指示物理数据块130中的多个子块131、132、133、134、135、136、137、138中所存储的数据的可用性。应理解,比特表310中的单元的个数是可选择的,不限于如图3所示的8个。通过这种方式,物理数据块130的各子块的可用性信息将可以被检测到。也就是说,本公开的实施例能够在更细粒度下判定数据的可用性,避免了可用数据的丢失。下文将详细描述从物理数据块中读取数据的详细操作。
图4示出了根据本公开的实施例的用于数据读取的过程或方法400的流程图。在某些实施例中,方法400可以在图7示出的设备中实现。作为示例,方法400可以在图2所示的日志结构存储系统200或图3所示的日志结构存储系统300中实现。现参照图2-图3,描述图4示出的根据本公开实施例的用于数据读取的过程或方法400。为了便于理解,在下文描述中提及的具体数据均是示例性的,并不用于限定本公开的保护范围。
在401,判定是否接收到来自用户的针对物理数据块130上的数据的读取请求。在某些实施例中,该读取请求包含物理数据块130的位置信息。在某些实施例中,该读取请求包含虚拟存储块110中的虚拟条目E的位置信息,该虚拟条目E包含物理数据块130的位置信息。在某些实施例中,当日志结构存储系统300使用B树作为数据映射磁盘结构时,该读取请求包含B树的间接块(例如,在三层B树中包含顶部间接块、中部间接块以及叶部间接块)的位置信息,该间接块包含虚拟存储块110中的虚拟条目E的位置信息,该虚拟条目E包含物理数据块130的位置信息。如图4所示,当判定已经接收到来自用户的针对物理数据块130上的数据的读取请求时,行进至403。
在403,判定是否存在与物理数据块相对应的数据状态信息210。如图1-图3所示并且如上文所述,当判定已经接收到来自用户的针对物理数据块130上的数据的读取请求时,从该读取请求中获取虚拟存储块110中的虚拟条目E的位置信息,进而在虚拟条目E中检测是否存在与物理数据块相对应的数据状态信息210。作为示例,虚拟条目E中存储有作为数据状态信息的比特表310。备选地或附加地,虚拟条目E中存储有比特表310在虚拟地址空间中的位置信息。由于在虚拟条目E中仅存储比特表310的位置信息,故可以节省虚拟条目的空间,从而可以使虚拟存储块110包含更多的虚拟条目。如图4所示,当判定存在与物理数据块相对应的数据状态信息210时,行进至405。
在405,基于数据状态信息210从物理存储块130的多个子块中选择目标子块。如图3所示,当数据状态信息210是比特表310时,比特表310的左数第三位为“0”,则与该“0”位对应的子块T(即,图3中的子块133)为目标子块。备选地或附加地,当数据状态信息210是状态值矩阵时,获取该状态值矩阵中被标记为特定值的元素,则物理存储块130中的与该元素对应的子块T为目标子块。
在407,向用户提供存储在目标子块T中的数据。通过实施上述过程,当一个物理数据块被校验为不可用时,仍可以对该物理数据块中的可用部分的数据进行读取,从而避免了数据损坏的范围被放大。
在某些实施例中,方法400还可以包括:当确定不存在数据状态信息210时,返回数据读取失败信息。作为示例,可以先查看物理数据块130的校验结果,当显示该物理数据块130不可用时,进一步判定虚拟地址空间中是否存在与该物理数据块130对应的数据状态信息210。也就是说,仅当确定物理数据块130不可用,且不存在数据状态信息210时返回数据读取失败信息。当确定物理数据块130可用以及确定物理数据块130不可用、但存在数据状态信息210时,均可以继续进行读取操作。
在某些实施例中,该方法400还可以包括:响应于接收到向物理数据块130写入数据的写入请求,确定物理数据块130中将被写入数据的子块,并且将数据状态信息210中的、与所确定的子块对应的单元标记为可用。作为示例,如图3所示,当物理数据块130经校验被标记为不可用后,可以创建一个每比特均为“1”的比特表,即,可以将物理数据块130中的每个子块均标记为不可用。当再次覆写该物理数据块130时,即可以判定,物理数据块130中的经覆写的子块均为可用的子块,故可以将比特表130中与经覆写的子块对应的比特标记为可用。在某些实施例中,覆写操作的起始位置与物理数据块130中的各子块的起始位置不对准,此时仅将比特表130中的与位于覆写操作的位置范围内的子块对应的比特标记为可用。
在某些实施例中,将与所确定的子块对应的单元标记为可用包括:从数据状态信息210中确定与所确定的子块对应的单元,并且将所确定的单元设置为预定值。作为示例,可以从作为数据状态信息210的比特表310中确定与所确定的子块对应的比特,并将该比特设置为“0”。
在某些实施例中,该方法400还可以包括:在向用户提供数据后,删除数据状态信息210。
通过实施上述过程,能够在更细粒度下判定数据的可用性,从而缓解或消除了日志结构存储系统所固有的数据块粒度大所带来的负面影响。
此外,下文还将参照图2至图3来详细描述确定是否存在与物理数据块相对应的数据状态信息的过程。
图5示出了根据本公开的实施例的用于数据读取的过程或方法500的流程图,用于描述403中的确定是否存在与物理数据块相对应的数据状态信息的过程。在某些实施例中,方法500可以在图7示出的设备中实现。作为示例,方法500可以在图2所示的日志结构存储系统200或图3所示的日志结构存储系统300中实现。为了便于理解,在下文描述中提及的具体数据均是示例性的,并不用于限定本公开的保护范围。
在501,根据读取请求,确定用于存储物理数据块130的位置信息的虚拟条目E。在某些实施例中,该读取请求可以包含虚拟存储块110中的虚拟条目E的位置信息,该虚拟条目E可以包含物理数据块130的位置信息。在某些实施例中,当日志结构存储系统300使用B树作为数据映射磁盘结构时,该读取请求可以包含B树的间接块(例如,在三层B树中包含顶部间接块、中部间接块以及叶部间接块)的位置信息,该间接块可以包含虚拟存储块110中的虚拟条目E的位置信息,并且该虚拟条目E可以包含物理数据块130的位置信息。通过上述过程,可以从读取请求中获取数据所在的物理数据块的位置信息。
在503,从虚拟条目E中检测数据状态信息。作为示例,虚拟条目E中存储有作为数据状态信息的比特表310。备选地或附加地,虚拟条目E中存储有比特表310在虚拟地址空间中的位置信息。由于在虚拟条目E中仅存储比特表310的位置信息,故可以节省虚拟条目的空间,从而可以使虚拟存储块110包含更多的虚拟条目。
此外,下文还将参照图1至图3来详细描述基于数据状态信息从物理存储块的多个子块中选择目标子块的过程。
图6示出了根据本公开的实施例的用于数据读取的过程或方法600的流程图,用于描述405中的基于数据状态信息从物理存储块的多个子块中选择目标子块的过程。在某些实施例中,方法600可以在图7示出的设备中实现。作为示例,方法600可以在图2所示的日志结构存储系统200或图3所示的日志结构存储系统300中实现。为了便于理解,在下文描述中提及的具体数据均是示例性的,并不用于限定本公开的保护范围。
在601,从数据状态信息210的多个单元中确定被标记为可用的单元。在某些实施例中,当数据状态信息210是比特表310时,可以从比特表310的多个比特中确定被标记为可用的单元。如图3所示,比特表310的左数第三位为“0”,则确定该比特被标记为可用。
在603,将与所确定的单元对应的子块确定为目标子块。
通过以上过程,可以利用创建的数据状态信息来分别表示物理数据块中的各个子块,从而在更细的粒度上标记物理数据块中的数据的可用性。
图7示出了可以用来实施本公开内容的实施例的示例设备700的示意性框图。如图所示,设备700包括中央处理单元(CPU)701,其可以根据存储在只读存储器(ROM)702中的计算机程序指令或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序指令,来执行各种适当的动作和处理。在RAM 703中,还可存储设备700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
设备700中的多个部件连接至I/O接口705,包括:输入单元706,例如键盘、鼠标等;输出单元707,例如各种类型的显示器、扬声器等;存储单元708,例如磁盘、光盘等;以及通信单元709,例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
上文所描述的各个过程和处理,例如方法400、500和/或600,可由处理单元701执行。例如,在一些实施例中,方法400、500和/或600可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元708。在一些实施例中,计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序被加载到RAM 703并由CPU 701执行时,可以执行上文描述的方法400、500和/或600的一个或多个动作。
本公开可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于执行本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是(但不限于)电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (15)
1.一种数据读取方法,包括:
响应于接收到来自用户的针对物理数据块上的数据的读取请求,确定是否存在与所述物理数据块相对应的数据状态信息,所述数据状态信息包括多个单元,用于分别指示所述物理数据块的多个子块中所存储的数据的可用性;
响应于确定存在所述数据状态信息,基于所述数据状态信息从所述物理存储块的所述多个子块中选择目标子块;以及
向所述用户提供存储在所述目标子块中的数据。
2.根据权利要求1所述的方法,还包括:
响应于确定不存在所述数据状态信息,返回数据读取失败信息。
3.根据权利要求1所述的方法,其中确定是否存在与所述物理数据块相对应的数据状态信息包括:
根据所述读取请求,确定用于存储所述物理数据块的位置信息的虚拟条目;以及
从所述虚拟条目中检测所述数据状态信息。
4.根据权利要求1所述的方法,其中基于所述数据状态信息从所述物理存储块的所述多个子块中选择目标子块包括:
从所述数据状态信息的所述多个单元中确定被标记为可用的单元;以及
将与所确定的单元对应的子块确定为所述目标子块。
5.根据权利要求1所述的方法,还包括:
在向所述用户提供所述数据后,删除所述数据状态信息。
6.根据权利要求1所述的方法,还包括:
响应于接收到向所述物理数据块写入数据的写入请求,确定所述物理数据块中将被写入所述数据的子块;
将所述数据状态信息中的、与所确定的子块对应的单元标记为可用。
7.根据权利要求6所述的方法,其中将与所确定的子块对应的单元标记为可用包括:
从所述数据状态信息中确定与所确定的子块对应的单元;以及
将所确定的单元设置为预定值。
8.一种电子设备,包括:
至少一个处理单元;以及
至少一个存储器,其耦合至所述至少一个处理单元并且存储有机器可执行指令,当所述指令由所述至少一个处理单元执行时,使得所述设备执行动作,所述动作包括:
响应于接收到来自用户的针对物理数据块上的数据的读取请求,确定是否存在与所述物理数据块相对应的数据状态信息,所述数据状态信息包括多个单元,用于分别指示所述物理数据块的多个子块中所存储的数据的可用性;
响应于确定存在所述数据状态信息,基于所述数据状态信息从所述物理存储块的所述多个子块中选择目标子块;以及
向所述用户提供存储在所述目标子块中的数据。
9.根据权利要求8所述的设备,其中所述动作还包括:
响应于确定不存在所述数据状态信息,返回数据读取失败信息。
10.根据权利要求9所述的设备,其中确定是否存在与所述物理数据块相对应的数据状态信息包括:
根据所述读取请求,确定用于存储所述物理数据块的位置信息的虚拟条目;以及
从所述虚拟条目中检测所述数据状态信息。
11.根据权利要求8所述的设备,其中基于所述数据状态信息从所述物理存储块的所述多个子块中选择目标子块包括:
从所述数据状态信息的所述多个单元中确定被标记为可用的单元;以及
将与所确定的单元对应的子块确定为所述目标子块。
12.根据权利要求8所述的设备,其中所述动作还包括:
在向所述用户提供所述数据后,删除所述数据状态信息。
13.根据权利要求8所述的设备,其中所述动作还包括:
响应于接收到向所述物理数据块写入数据的写入请求,确定所述物理数据块中将被写入所述数据的子块;
将所述数据状态信息中的、与所确定的子块对应的单元标记为可用。
14.根据权利要求13所述的设备,其中将与所确定的子块对应的单元标记为可用包括:
从所述数据状态信息中确定与所确定的子块对应的单元;以及
将所确定的单元设置为预定值。
15.一种计算机程序产品,所述计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括机器可执行指令,所述机器可执行指令在被执行时使机器执行根据权利要求1至7中任一项所述的方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811286569.3A CN111125041A (zh) | 2018-10-31 | 2018-10-31 | 数据读取方法、电子设备和计算机程序产品 |
US16/656,832 US11314430B2 (en) | 2018-10-31 | 2019-10-18 | Reading data in sub-blocks using data state information |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811286569.3A CN111125041A (zh) | 2018-10-31 | 2018-10-31 | 数据读取方法、电子设备和计算机程序产品 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111125041A true CN111125041A (zh) | 2020-05-08 |
Family
ID=70326941
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811286569.3A Pending CN111125041A (zh) | 2018-10-31 | 2018-10-31 | 数据读取方法、电子设备和计算机程序产品 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11314430B2 (zh) |
CN (1) | CN111125041A (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117319242A (zh) * | 2022-06-23 | 2023-12-29 | 华为技术有限公司 | 数据存储方法及电子设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1902620A (zh) * | 2003-12-02 | 2007-01-24 | 交互式内容引擎有限责任公司 | 虚拟文件系统 |
CN103617124A (zh) * | 2013-11-26 | 2014-03-05 | 北京创毅视讯科技有限公司 | 一种闪存管理方法和装置 |
KR20140060809A (ko) * | 2012-11-12 | 2014-05-21 | 삼성전자주식회사 | 불휘발성 메모리 장치를 포함하는 메모리 시스템 및 그것의 읽기 방법 |
CN105893169A (zh) * | 2016-03-31 | 2016-08-24 | 乐视控股(北京)有限公司 | 一种基于纠删码的文件存储方法和系统 |
CN107622067A (zh) * | 2016-07-13 | 2018-01-23 | 杭州海康威视数字技术股份有限公司 | 一种对多个多媒体文件的存储、读取和显示方法及装置 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7107388B2 (en) * | 2003-04-25 | 2006-09-12 | Intel Corporation | Method for read once memory |
KR101515525B1 (ko) * | 2008-10-02 | 2015-04-28 | 삼성전자주식회사 | 메모리 장치 및 메모리 장치의 동작 방법 |
US9442846B2 (en) * | 2009-03-17 | 2016-09-13 | Cisco Technology, Inc. | High speed memory systems and methods for designing hierarchical memory systems |
US8954383B1 (en) | 2012-06-29 | 2015-02-10 | Emc Corporation | Analyzing mapping objects of file systems |
US10209904B2 (en) | 2013-04-09 | 2019-02-19 | EMC IP Holding Company LLC | Multiprocessor system with independent direct access to bulk solid state memory resources |
US20150363120A1 (en) * | 2013-06-25 | 2015-12-17 | Micron Technology, Inc. | On demand block management |
KR102070667B1 (ko) * | 2013-08-26 | 2020-01-29 | 삼성전자주식회사 | 비휘발성 메모리 장치의 구동 방법 |
US9471595B1 (en) | 2013-09-30 | 2016-10-18 | Emc Corporation | Recovering file mapping information in file systems |
US9934302B1 (en) | 2014-09-30 | 2018-04-03 | EMC IP Holding Company LLC | Method and system for performing replication to a device while allowing application access |
US10884633B2 (en) * | 2015-01-13 | 2021-01-05 | Hewlett Packard Enterprise Development Lp | System and method for optimized signature comparisons and data replication |
US10404787B1 (en) | 2015-04-06 | 2019-09-03 | EMC IP Holding Company LLC | Scalable distributed data streaming computations across multiple data processing clusters |
US10496926B2 (en) | 2015-04-06 | 2019-12-03 | EMC IP Holding Company LLC | Analytics platform for scalable distributed computations |
US10366111B1 (en) | 2015-04-06 | 2019-07-30 | EMC IP Holding Company LLC | Scalable distributed computations utilizing multiple distinct computational frameworks |
US10509684B2 (en) | 2015-04-06 | 2019-12-17 | EMC IP Holding Company LLC | Blockchain integration for scalable distributed computations |
US10515097B2 (en) | 2015-04-06 | 2019-12-24 | EMC IP Holding Company LLC | Analytics platform for scalable distributed computations |
US10348810B1 (en) | 2015-04-06 | 2019-07-09 | EMC IP Holding Company LLC | Scalable distributed computations utilizing multiple distinct clouds |
US10409768B2 (en) | 2016-09-30 | 2019-09-10 | EMC IP Holding Company LLC | Managing data inconsistencies in files of file systems |
US10338983B2 (en) * | 2016-12-30 | 2019-07-02 | EMC IP Holding Company LLC | Method and system for online program/erase count estimation |
CN109725842B (zh) | 2017-10-30 | 2022-10-11 | 伊姆西Ip控股有限责任公司 | 加速随机写入布局以用于混合存储系统内的桶分配的系统和方法 |
-
2018
- 2018-10-31 CN CN201811286569.3A patent/CN111125041A/zh active Pending
-
2019
- 2019-10-18 US US16/656,832 patent/US11314430B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1902620A (zh) * | 2003-12-02 | 2007-01-24 | 交互式内容引擎有限责任公司 | 虚拟文件系统 |
KR20140060809A (ko) * | 2012-11-12 | 2014-05-21 | 삼성전자주식회사 | 불휘발성 메모리 장치를 포함하는 메모리 시스템 및 그것의 읽기 방법 |
CN103617124A (zh) * | 2013-11-26 | 2014-03-05 | 北京创毅视讯科技有限公司 | 一种闪存管理方法和装置 |
CN105893169A (zh) * | 2016-03-31 | 2016-08-24 | 乐视控股(北京)有限公司 | 一种基于纠删码的文件存储方法和系统 |
CN107622067A (zh) * | 2016-07-13 | 2018-01-23 | 杭州海康威视数字技术股份有限公司 | 一种对多个多媒体文件的存储、读取和显示方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
US20200133495A1 (en) | 2020-04-30 |
US11314430B2 (en) | 2022-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108733314B (zh) | 用于独立冗余阵列(raid)重建的方法、设备和计算机可读存储介质 | |
CN111090628B (zh) | 一种数据处理方法、装置、存储介质及电子设备 | |
CN109725822B (zh) | 用于管理存储系统的方法、设备和计算机程序产品 | |
US11126353B2 (en) | Method and apparatus for data copy | |
US10223021B2 (en) | Handling failure of a command to add a record to a log | |
CN109725823B (zh) | 用于管理混合存储盘阵列的方法和设备 | |
US11604808B2 (en) | Methods, electronic devices and computer program product for replicating metadata | |
US11210003B2 (en) | Method, device and computer program product for restoring data based on replacing child node identifiers with parent node identifier | |
US20190303248A1 (en) | Restore current version of a track from a non-volatile storage into a new location in cache | |
US20200133809A1 (en) | Method, device and program product for managing data of storage device | |
US10747675B2 (en) | Method and device for managing caches | |
CN113377569B (zh) | 用于恢复数据的方法、设备和计算机程序产品 | |
CN111857557B (zh) | Raid类型转换的方法、设备和计算机程序产品 | |
CN112748849A (zh) | 用于存储数据的方法、设备和计算机程序产品 | |
US11269521B2 (en) | Method, device and computer program product for processing disk unavailability states | |
US11314430B2 (en) | Reading data in sub-blocks using data state information | |
US9866444B2 (en) | Dynamic conversion of hardware resources of a server system | |
CN108959405B (zh) | 数据的强一致性读取方法及终端设备 | |
CN107305582B (zh) | 一种元数据处理方法及装置 | |
CN113641298A (zh) | 数据存储方法、设备和计算机程序产品 | |
US11023158B2 (en) | Constraining placement of replica segment pairs among device pairs based on coding segment count | |
US20230333929A1 (en) | Method, electronic device, and computer program product for accessing data of raid | |
CN111831620B (zh) | 用于存储管理的方法、设备和计算机程序产品 | |
CN116431566B (zh) | 数据迁移方法、装置、电子设备及介质 | |
CN117667504A (zh) | 用于修复文件系统的方法、装置、电子设备和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |