CN107273046A - 一种基于固态盘阵列的数据处理方法及系统 - Google Patents

一种基于固态盘阵列的数据处理方法及系统 Download PDF

Info

Publication number
CN107273046A
CN107273046A CN201710416081.7A CN201710416081A CN107273046A CN 107273046 A CN107273046 A CN 107273046A CN 201710416081 A CN201710416081 A CN 201710416081A CN 107273046 A CN107273046 A CN 107273046A
Authority
CN
China
Prior art keywords
data
disk
page
write
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710416081.7A
Other languages
English (en)
Other versions
CN107273046B (zh
Inventor
冯丹
梅林军
陈俭喜
曾令仿
刘景宁
张晓祎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201710416081.7A priority Critical patent/CN107273046B/zh
Publication of CN107273046A publication Critical patent/CN107273046A/zh
Application granted granted Critical
Publication of CN107273046B publication Critical patent/CN107273046B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0616—Improving the reliability of storage systems in relation to life time, e.g. increasing Mean Time Between Failures [MTBF]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0688—Non-volatile semiconductor memory arrays

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于固态盘阵列的数据处理方法及系统，包括：接收写请求，指示固态盘阵列和日志盘写入写请求对应的数据，固态盘阵列包括N个成员盘；通过哈希表指示日志盘中记录的每个成员盘中最后一次写入的数据；在空闲时间、日志盘失效、日志盘的剩余空间低于第一阈值或有成员盘的剩余空间低于第二阈值时，指示固态盘阵列根据每个逻辑地址对应的N‑1个成员盘上的数据更新每个逻辑地址对应的校验信息；当有成员盘失效时，通过哈希表恢复失效成员盘中最后一次写入的数据，以及通过未失效成员盘中数据和对应逻辑地址的校验信息恢复失效成员盘中相应逻辑地址上的数据。本发明实施例减少了为计算校验块所需的预读操作，保证了访问负载的原始特性。

Description

一种基于固态盘阵列的数据处理方法及系统
技术领域
本发明属于计算机存储技术领域，更具体地，涉及一种基于固态盘阵列的数据处理方法及系统。
背景技术
磁盘阵列(Redundant Array of Independent Disks，RAID)可以给用户提供大容量、高性能和高可靠性服务。RAID根据容错能力和数据布局的不同可以分为不同的阵列级别(RAID Levels)。RAID5是RAID Levels中最常用的一种级别。随着固态盘技术越来越成熟，价格越来越低，更多的存储厂商使用RAID技术，把多个固态盘组建成固态盘阵列(Redundant Array of Independent SSDs，RAIS)作为高端的存储产品。
阵列存储系统可以提供大容量、高性能和高可靠性服务，但是它的小写性能很差。针对这一问题，很多研究采用日志技术延迟校验块更新来提升阵列的小写性能。但是传统日志技术是针对磁盘的特性进行设计的，而固态盘有很多不同于磁盘的特性。固态盘采用异地更新策略写数据，因此固态盘中存在很多“无效”的数据块。传统日志技术并没有充分利用这些“无效”的数据块，需要预读取阵列中一些旧的数据块，将这些数据和要写入的新数据一起顺序地写到日志盘中，以便当存储器失效时根据预读数据计算对应的校验块用于数据恢复。这些预读操作带来的额外读请求会破坏访问负载原本的访问特性。
发明内容
针对现有技术的缺陷，本发明的目的在于解决现有技术频繁的预读会破坏访问负载的原本访问特性的技术问题。
为实现上述目的，第一方面，本发明提供了一种基于固态盘阵列的数据处理方法，包括：接收写请求，指示固态盘阵列和日志盘写入所述写请求对应的数据；所述固态盘阵列包括N个成员盘，所述N个成员盘中任意两个成员盘的逻辑地址范围相同，所述N个成员盘采用异地更新策略写入数据，所述异地更新策略为前后两次写入的相同逻辑地址的数据的物理地址不同，N为正整数；通过哈希(Hash)表指示所述日志盘中对应的每个成员盘中最后一次写入的数据；在空闲时间、所述日志盘失效、所述日志盘的剩余空间低于第一阈值或有成员盘的剩余空间低于第二阈值时，指示所述固态盘阵列根据每个逻辑地址对应的N-1个成员盘上的数据更新每个逻辑地址对应的校验信息，并将每个逻辑地址对应的校验信息写入对应逻辑地址的成员盘中；当有成员盘失效时，通过所述哈希表指示的日志盘中的数据恢复失效成员盘中最后一次写入的数据，以及通过未失效成员盘中的数据和对应逻辑地址的校验信息恢复失效成员盘中相应逻辑地址上的数据。
具体地，第一阈值可以为日志盘总空间的20％，第二阈值可以为成员盘总空间的20％。另外，第一阈值和第二阈值也可根据实际需要设置，本发明实施例不对此做任何限定。
本发明利用日志技术和固态盘的异地更新策略将更新的数据块同时写到日志盘和固态盘阵列中，由于固态盘采用异地更新，原始数据还保存在固态盘中，故可延迟校验块的更新，提升了固态盘的小写性能，减少对校验块的擦写次数，提升了访问负载的性能。
可选地，本发明实施例提供的数据处理方法还包括：接收读请求，在成员盘对应的数据页读取数据；根据所述成员盘中包括的数据页的读写请求信息，确定所述数据页为只读页、只写页或交叉页中的一种；当接收写请求时，若所述写请求访问的数据页为只写页，则使用低代价处理所述写请求；若所述写请求访问的数据页为交叉页，则使用中等代价处理所述写请求；当接收读请求时，若所述读请求访问的数据页为只读页，则确定对所述数据页的前一次读请求是否为低代价，当不是低代价的读时，在系统空闲且所述读请求处理之前在所述数据页插入一个高代价的写请求。
本发明在减少预读操作后，使得数据页为只写页的几率增加，在此基础上结合调节读写代价的技术，进一步提升固态盘阵列的读写性能。
可选地，接收写请求，指示固态盘阵列和日志盘写入所述写请求对应的数据，包括：(a)将用户请求按照条带进行分解后，挂载到对应的条带上；用LBA表示成员盘中的逻辑地址，Log_LBA表示日志盘中的逻辑地址；所述条带的编号对应LBA；(b)对有请求的条带进行处理，如果是读请求，则执行步骤(f)，否则执行步骤(c)；(c)查找哈希表中是否有对应的条目，所述条目包括LBA和Log_LBA信息，若哈希表中有对应的条目，则更改Log_LBA，若哈希表中没有对应的条目，则创建一个条目，将对应的LBA和Log_LBA信息填充到所述创建的条目中；(d)判断所述写请求要写的数据页所属类型并作标记，将所述写请求克隆后，同时分发到成员盘和日志盘；(e)写请求到达成员盘时，根据所述写请求要写的数据页所属类型动态调节访问的代价，接着判断地址映射表中所述写请求对应的数据页的Old_PPN是否为空，如果为空则将Old_PPN的值设置为所述写请求对应的数据页的物理页号，所述地址映射表用于记录数据页的逻辑页号LPN、物理页号PPN以及该数据页对应的无效数据页的物理页号Old_PPN；(f)读请求到达成员盘时，根据所述读请求要读的数据页所属类型动态调节访问的代价。
需要说明的是，条带(strip)是把连续的数据分割成相同大小的数据块，把每段数据分别写入到阵列中的不同磁盘上的方法。简单的说，条带是一种将多个磁盘驱动器合并为一个卷的方法。一个条带上的数据块在不同磁盘(成员盘)的逻辑地址相同。
本发明通过修改地址映射表，通过Old_PPN记录“无效”的数据块，去除预读操作，从而保证了真实负载的访问特性。
可选地，所述在空闲时间、所述日志盘失效、所述日志盘的剩余空间低于第一阈值或有成员盘的剩余空间低于第二阈值时，指示所述固态盘阵列根据每个逻辑地址对应的N-1个成员盘上的数据更新每个逻辑地址对应的校验信息，包括：依次取出所述哈希表的节点，确定对应的条带，读出成员盘中对应条带上所有的数据块，计算出对应的校验块并在成员盘对应条带写入所述校验块，删除该条带上被更新过的数据块在哈希表中的对应条目，重复计算校验块以及删除哈希表中对应的条目直到哈希表为空。
可选地，当有成员盘失效时，通过所述哈希表指示的日志盘中的数据恢复失效成员盘中最后一次写入的数据，以及通过未失效成员盘中的数据和对应逻辑地址的校验信息恢复失效成员盘中相应逻辑地址上的数据，包括：如果失效数据块在哈希表中有对应的条目，则直接从日志盘中读取对应的数据块作为恢复数据；如果失效数据块在哈希表中没有对应的条目，则使用未失效成员盘中对应逻辑地址的数据块和校验块的旧数据进行异或确定恢复数据，当未失效成员盘中对应逻辑地址的数据块或校验块被更新过的，通过地址映射表中Old_PPN域所指的位置读取对应的旧数据。
可选地，处理写请求时，通过成员盘的异地更新策略和日志盘的日志技术延迟了校验块的更新，减少了为计算校验块所需的预读操作，保证了访问负载的原始特性。
第二方面，本发明实施例提供了一种基于固态盘阵列的数据处理系统，包括：固态盘阵列、日志盘、请求处理模块、数据记录模块、校验同步模块以及数据恢复模块；所述固态盘阵列包括N个成员盘，所述N个成员盘中任意两个成员盘的逻辑地址范围相同，所述N个成员盘采用异地更新策略写入数据，所述异地更新策略为前后两次写入的相同逻辑地址数据的物理地址不同，N为正整数；所述请求处理模块，用于接收写请求，指示所述固态盘阵列和日志盘写入所述写请求对应的数据；数据记录模块，用于通过哈希表指示所述日志盘中记录的每个成员盘中最后一次写入的数据；校验同步模块，用于在空闲时间、所述日志盘失效、所述日志盘的剩余空间低于第一阈值或有成员盘的剩余空间低于第二阈值时，指示所述固态盘阵列根据每个逻辑地址对应的N-1个成员盘上的数据更新每个逻辑地址对应的校验信息，并将每个逻辑地址对应的校验信息写入对应逻辑地址的成员盘中；数据恢复模块，用于当有成员盘失效时，通过所述哈希表恢复失效成员盘中最后一次写入的数据，以及通过未失效成员盘中的数据和对应逻辑地址的校验信息恢复失效成员盘中相应逻辑地址上的数据。
可选地，本发明实施例提供的数据处理系统还包括：鉴别模块和访问调节模块；所述鉴别模块，用于根据所述成员盘中包括的数据页的读写请求信息，确定所述数据页为只读页、只写页或交叉页中的一种；所述访问调节模块，用于当所述请求处理模块接收写请求时，若所述写请求访问的数据页为只写页，则使用低代价处理所述写请求；若所述写请求访问的数据页为交叉页，则使用中等代价处理所述写请求；当所述请求处理模块接收读请求时，若所述读请求访问的数据页为只读页，则确定对所述数据页的前一次读请求是否为低代价，当不是低代价的读时，在系统空闲且所述读请求处理之前在所述数据页插入一个高代价的写请求。
可选地，用LBA表示成员盘中的逻辑地址，Log_LBA表示日志盘中的逻辑地址；所述请求处理模块，用于将请求按照条带进行分解后，挂载到对应的条带上，所述条带的编号对应LBA；若所述请求为写请求，查找哈希表中是否有对应的条目，所述条目包括LBA和Log_LBA信息，若哈希表中有对应的条目，则更改Log_LBA，若哈希表中没有对应的条目，则创建一个条目，将对应的LBA和Log_LBA信息填充到所述创建的条目中；所述鉴别模块，用于判断所述写请求要写的数据页所属类型并作标记，所述请求处理模块，用于将所述写请求克隆后，同时分发到成员盘和日志盘；所述访问调节模块，用于当所述写请求到达成员盘时，根据所述写请求要写的数据页所属类型动态调节访问的代价。
可选地，校验同步模块，用于在空闲时间、所述日志盘失效、所述日志盘的剩余空间低于第一阈值或有成员盘的剩余空间低于第二阈值时，依次取出所述哈希表的节点，确定出对应的条带，读出成员盘中条带上所有的数据块，计算出对应的校验块并在成员盘对应条带写入所述校验块，删除该条带上被更新过的数据块在哈希表中的对应条目，重复计算校验块以及删除哈希表中对应的条目直到哈希表为空。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：
(1)本发明利用日志技术和固态盘的异地更新策略将更新的数据块同时写到日志盘和固态盘阵列中，通过延迟校验块更新提升小写性能，减少对校验块的擦写次数。
(2)本发明通过修改地址映射表，记录“无效”的数据块，减少了为计算校验块所需的预读操作，从而保证了真实负载的访问特性。
(3)本发明在减少预读操作后，使得数据页为只写页的几率增加，在此基础上结合调节读写代价的技术，进一步提升固态盘阵列的读写性能。
附图说明
图1为本发明实施例提供的基于固态盘阵列的数据处理方法流程示意图；
图2为本发明实施例提供的基于固态盘阵列的数据处理系统架构示意图；
图3为本发明实施例提供的用户请求处理流程示意图；
图4为本发明实施例提供的数据恢复流程示意图；
图5为本发明实施例提供的页的访问类型判断方法和调节页读写代价的实例图；
图6为本发明实施例提供的日志Hash表数据结构示意图；
图7为本发明实施例提供的固态盘阵列成员盘的扩展地址映射表示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
图1为本发明实施例提供的基于固态盘阵列的数据处理方法流程示意图，如图1所示，包括步骤S10至步骤S40。
S10，接收写请求，指示固态盘阵列和日志盘写入所述写请求对应的数据；所述固态盘阵列包括N个成员盘，所述N个成员盘中任意两个成员盘的逻辑地址范围相同，所述N个成员盘采用异地更新策略写入数据，所述异地更新策略为前后两次写入的相同逻辑地址数据的物理地址不同，N为正整数。
S20，通过哈希表指示所述日志盘中对应的每个成员盘中最后一次写入的数据。
S30，在空闲时间、所述日志盘失效、所述日志盘的剩余空间低于第一阈值或有成员盘的剩余空间低于第二阈值时，指示所述固态盘阵列根据每个逻辑地址对应的N-1个成员盘上的数据更新每个逻辑地址对应的校验信息，并将每个逻辑地址对应的校验信息写入对应逻辑地址的成员盘中。
S40，当有成员盘失效时，通过所述哈希表指示的日志盘中的数据恢复失效成员盘中最后一次写入的数据，以及通过未失效成员盘中不同逻辑地址上的数据和对应逻辑地址的校验信息恢复失效成员盘中相应逻辑地址上的数据。
具体可参照下述图2-图7中的详细介绍，在此不做赘述。
图2是本发明实施例提供的基于固态盘阵列的数据处理系统架构示意图，如图2所示，存储系统由固态盘阵列210、日志盘220和功能模块100组成。固态盘阵列210由成员盘2101、2102、2013…210n组成RAID5级别阵列，日志盘220包含一个固态盘2201，功能模块100包括管理模块110、监控模块120、鉴别模块130、数据恢复模块140、校验同步模块150、请求处理模块160和数据分发模块170，其中n为正整数。
管理模块110为系统管理员提供一个配置参数的接口，以便设置日志盘空间使用阈值和系统其它参数。监控模块120负责监控固态盘组200中各个固态盘空间使用情况，以及是否存在失效固态盘。鉴别模块130可以鉴别出用户访问的数据页属于只读页、只写页和交叉页中的哪一种类型。数据恢复模块140在固态盘阵列中出现固态盘失效时进行数据恢复处理。校验同步模块150在日志盘失效、或者使用空间达到阈值、或者系统空闲时对固态盘阵列进行校验同步处理。请求处理模块160负责处理用户的请求。数据分发模块170将请求发送到固态盘阵列和日志盘中。
数据恢复模块140、校验同步模块150和请求处理模块160都需要查询和更新Hash表180。Hash表180用来记录日志盘220中数据块与固态盘阵列210之间的位置映射关系，该Hash表保存在非易失性内存中。
图2所示的数据处理系统还可包括更多或更少的部件，例如可包括访问调节模块和校验同步模块等其他部件，访问调节模块用于当所述请求处理模块接收写请求时，若所述写请求访问的数据页为只写页，则使用低代价处理所述写请求；若所述写请求访问的数据页为交叉页，则使用中等代价处理所述写请求；当所述请求处理模块接收读请求时，若所述读请求访问的数据页为只读页，则确定对所述数据页的前一次读请求是否为低代价，当不是低代价的读时，在系统空闲且所述读请求处理之前在所述数据页插入一个高代价的写请求。校验同步模块，用于在空闲时间、日志盘失效、日志盘的剩余空间低于第一阈值或有成员盘的剩余空间低于第二阈值时，依次取出哈希表的节点，确定出对应的条带，读出成员盘中条带上所有的数据块，计算出对应的校验块并在成员盘对应条带写入校验块，删除该条带上被更新过的数据块在哈希表中的对应条目，重复计算校验块以及删除哈希表中对应的条目直到哈希表为空。
如图3所示，本发明实施例提供的用户请求处理流程示意图，包括以下步骤：
(a)将用户请求按照条带进行分解后，挂载到对应的条带上。
(b)对有请求的条带进行处理，如果是读请求，则跳转到(f)，否则继续步骤(c)。
(c)查找Hash表180中是否有对应的条目，如果没有就创建一个新的条目，填充LBA和Log_LBA后加入到Hash表中，否则更改Log_LBA即可。
(d)判断要写的数据页所属类型并作标记，然后将写请求克隆后，同时分发到固态盘阵列210的成员盘和日志盘220。
(e)写请求到达成员盘时，首先通过鉴别模块130判断当前访问请求的类型，然后动态调节访问的代价，接着判断地址映射表230中对应条目的Old_PPN是否为空，如果为空则需要记录被更新前的数据块的物理位置，即将Old_PPN的值设置为该写请求对应的数据页的物理页号。
(f)读请求到达成员盘时，首先通过鉴别模块130判断当前访问请求的类型，然后动态调节访问的代价。
另外，检验同步操作可能发生在以下几种情况：日志盘220失效、日志盘220剩余空间达到阈值、固态盘阵列210的成员盘剩余空间达到阈值或系统空闲，本发明实施例提供的检验同步操作具体步骤如下：
(1.1)取出Hash表180的头节点，计算出对应的条带。
(1.2)读出条带上所有的数据块，计算出新的校验块，然后写入新的校验块。
(1.3)删除该条带上被更新过的数据块在Hash表180中的对应条目。
(1.4)跳至步骤(1.1)，直到Hash表为空。
另外，本发明实施例提供的固态盘阵列成员盘失效后的数据恢复步骤如图4所示，固态盘阵列210成员盘失效后的数据恢复步骤具体如下：
(2.1)对失效成员盘中的每个数据块进行恢复，直到所有数据恢复完成。
(2.2)如果失效数据块在Hash表180中有对应的条目，则直接从日志盘中读取对应的数据块作为恢复数据。
(2.3)如果失效数据块在Hash表180中没有对应的条目，则使用条带中其它数据块和校验块的旧数据进行异或获取。如果条带中其它数据块被更新过的，它们对应的旧数据可以通过地址映射表230中增加的Old_PPN域所指的位置读取出来。
(2.4)跳至步骤(2.1)。
图5为本发明实施例提供的页的访问类型判断方法和调节页读写代价的一个实例250。
研究表明，微软研究院(Microsoft Research，MSR)公开的很多真实负载都是由随机小写请求组成，并且这些负载还具有一些访问特性。如果我们规定超过95％的请求对一个页的访问都是读请求，那么这个页是只读页；超过95％的请求对一个页的访问都是写请求，那么这个页是只写页；如果一个页既不是只读页，也不是只写页，那么这个页是交叉页。统计结果显示，这些MSR真实负载大部分请求访问的是只读页和只写页，只有小部分请求访问交叉页。组成固态盘的flash芯片读写代价(访问延迟)之间有一个相互关系，如果对一个页使用高代价(高延迟)进行写，那么随后对这个页的读延迟都是低代价；如果对一个页使用低代价(低延迟)进行写，那么随后对这个页的读延迟都是高代价；如果对一个页使用中等代价(中等延迟)进行写，那么随后对这个页的度延迟就是中等代价。有些研究结合访问负载上述特性调节flash芯片的读写代价来提升单个固态盘的读写性能。
实例250的窗口2501中当前访问请求为W(写请求)，记录的前一个访问请求也为W，因此该页是一个只写页，用一个L代价(低延迟)的写来完成该请求。实例250的窗口2502中当前访问请求为R(写请求)，记录的前一个访问请求也是R，因此该页是一个只读页，而且前一个读请求的延迟是L代价(低延迟)，那么该读请求代价不需要进行调节，也是一个L代价。实例250中有一个加粗和加下划线的H代价和M代价(中等代价)，表示的是该页是只读页，但是对应的读请求代价不是L(低代价)，需要在系统空闲且这个读请求完成之前，插入并执行一个H代价(高代价)的写，这样可以使得随后只读页的读请求的代价都是L代价(低延迟)。实例250的窗口2503和窗口2504的当前请求和记录的请求不一致，可以判断出该页是交叉页，读写当前不需要进行调节。窗口2503中的页上次写请求是一个低延迟的写，随后的读请求就是高延迟。窗口2504中的页上次写请求是一个中等延迟的写，随后的读请求就是中等延迟。
图6为本发明实施例提供的日志Hash表180数据结构示意图。日志Hash表180由若干个条目1801、1802、1803…180n组成，每个条目指向一个数据块链表，以条目1801指向的第一个数据块(每个数据块大小为4KB)为例：LBA 18011表示数据块在固态盘阵列210中的逻辑块地址(Logical Block Address，LBA)；Log_LBA 18012表示数据块在日志盘220中的逻辑块地址；Next 18013指向下一个数据块。
图7所示为固态盘阵列210中的成员盘的地址映射表230主要数据结构示意图。地址映射表230主要由3个域LPN 2301、PPN 2302和Old_PPN2303组成。LPN 2301为数据页的逻辑页号(Logical Page Number，LPN)，PPN 2302为数据页的物理页号(Physical PageNumber，PPN)，Old_PPN 2303为该数据页对应的无效数据页的物理页号。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于固态盘阵列的数据处理方法，其特征在于，包括：
接收写请求，指示固态盘阵列和日志盘写入所述写请求对应的数据；所述固态盘阵列包括N个成员盘，所述N个成员盘中任意两个成员盘的逻辑地址范围相同，所述N个成员盘采用异地更新策略写入数据，所述异地更新策略为前后两次写入的相同逻辑地址的数据的物理地址不同，N为正整数；
通过哈希表指示所述日志盘中对应的每个成员盘中最后一次写入的数据；
在空闲时间、所述日志盘失效、所述日志盘的剩余空间低于第一阈值或有成员盘的剩余空间低于第二阈值时，指示所述固态盘阵列根据每个逻辑地址对应的N-1个成员盘上的数据更新每个逻辑地址对应的校验信息，并将每个逻辑地址对应的校验信息写入对应逻辑地址的成员盘中；
当有成员盘失效时，通过所述哈希表指示的日志盘中的数据恢复失效成员盘中最后一次写入的数据，以及通过未失效成员盘中的数据和对应逻辑地址的校验信息恢复失效成员盘中相应逻辑地址上的数据。
2.根据权利要求1所述的数据处理方法，其特征在于，还包括：
接收读请求，在成员盘对应的数据页读取数据；
根据所述成员盘中包括的数据页的读写请求信息，确定所述数据页为只读页、只写页或交叉页中的一种；
当接收写请求时，若所述写请求访问的数据页为只写页，则使用低代价处理所述写请求；若所述写请求访问的数据页为交叉页，则使用中等代价处理所述写请求；当接收读请求时，若所述读请求访问的数据页为只读页，则确定对所述数据页的前一次读请求是否为低代价，当不是低代价的读时，在系统空闲且所述读请求处理之前在所述数据页插入一个高代价的写请求。
3.根据权利要求2所述的数据处理方法，其特征在于，接收写请求，指示固态盘阵列和日志盘写入所述写请求对应的数据，包括：
(a)将用户请求按照条带进行分解后，挂载到对应的条带上；用LBA表示成员盘中的逻辑地址，Log_LBA表示日志盘中的逻辑地址；所述条带的编号对应LBA；
(b)对有请求的条带进行处理，如果是读请求，则执行步骤(f)，否则执行步骤(c)；
(c)查找哈希表中是否有对应的条目，所述条目包括LBA和Log_LBA信息，若哈希表中有对应的条目，则更改Log_LBA，若哈希表中没有对应的条目，则创建一个条目，将对应的LBA和Log_LBA信息填充到所述创建的条目中；
(d)判断所述写请求要写的数据页所属类型并作标记，将所述写请求克隆后，同时分发到成员盘和日志盘；
(e)写请求到达成员盘时，根据所述写请求要写的数据页所属类型动态调节访问的代价，接着判断地址映射表中所述写请求对应的数据页的Old_PPN是否为空，如果为空则将Old_PPN的值设置为所述写请求对应的数据页的物理页号，所述地址映射表用于记录数据页的逻辑页号LPN、物理页号PPN以及该数据页对应的无效数据页的物理页号Old_PPN；
(f)读请求到达成员盘时，根据所述读请求要读的数据页所属类型动态调节访问的代价。
4.根据权利要求3所述的数据处理方法，其特征在于，所述在空闲时间、所述日志盘失效、所述日志盘的剩余空间低于第一阈值或有成员盘的剩余空间低于第二阈值时，指示所述固态盘阵列根据每个逻辑地址对应的N-1个成员盘上的数据更新每个逻辑地址对应的校验信息，包括：
依次取出所述哈希表的节点，确定对应的条带，读出成员盘中对应条带上所有的数据块，计算出对应的校验块并在成员盘对应条带写入所述校验块，删除该条带上被更新过的数据块在哈希表中的对应条目，重复计算校验块以及删除哈希表中对应的条目直到哈希表为空。
5.根据权利要求1至4任一项所述的数据处理方法，其特征在于，当有成员盘失效时，通过所述哈希表指示的日志盘中的数据恢复失效成员盘中最后一次写入的数据，以及通过未失效成员盘中的数据和对应逻辑地址的校验信息恢复失效成员盘中相应逻辑地址上的数据，包括：
如果失效数据块在哈希表中有对应的条目，则直接从日志盘中读取对应的数据块作为恢复数据；
如果失效数据块在哈希表中没有对应的条目，则使用未失效成员盘中对应逻辑地址的数据块和校验块的旧数据进行异或确定恢复数据，当未失效成员盘中对应逻辑地址的数据块或校验块被更新过的，通过地址映射表中Old_PPN域所指的位置读取对应的旧数据。
6.根据权利要求1至4任一项所述的数据处理方法，其特征在于，处理写请求时，通过成员盘的异地更新策略和日志盘的日志技术延迟了校验块的更新，减少了为计算校验块所需的预读操作，保证了访问负载的原始特性。
7.一种基于固态盘阵列的数据处理系统，其特征在于，包括：固态盘阵列、日志盘、请求处理模块、数据记录模块、校验同步模块以及数据恢复模块；
所述固态盘阵列包括N个成员盘，所述N个成员盘中任意两个成员盘的逻辑地址范围相同，所述N个成员盘采用异地更新策略写入数据，所述异地更新策略为前后两次写入的相同逻辑地址数据的物理地址不同，N为正整数；
所述请求处理模块，用于接收写请求，指示所述固态盘阵列和日志盘写入所述写请求对应的数据；
所述数据记录模块，用于通过哈希表指示所述日志盘中对应的每个成员盘中最后一次写入的数据；
所述校验同步模块，用于在空闲时间、所述日志盘失效、所述日志盘的剩余空间低于第一阈值或有成员盘的剩余空间低于第二阈值时，指示所述固态盘阵列根据每个逻辑地址对应的N-1个成员盘上的数据更新每个逻辑地址对应的校验信息，并将每个逻辑地址对应的校验信息写入对应逻辑地址的成员盘中；
所述数据恢复模块，用于当有成员盘失效时，通过所述哈希表指示的日志盘中的数据恢复失效成员盘中最后一次写入的数据，以及通过未失效成员盘中的数据和对应逻辑地址的校验信息恢复失效成员盘中相应逻辑地址上的数据。
8.根据权利要求7所述的数据处理系统，其特征在于，还包括：鉴别模块和访问调节模块；
所述鉴别模块，用于根据所述成员盘中包括的数据页的读写请求信息，确定所述数据页为只读页、只写页或交叉页中的一种；
所述访问调节模块，用于当所述请求处理模块接收写请求时，若所述写请求访问的数据页为只写页，则使用低代价处理所述写请求；若所述写请求访问的数据页为交叉页，则使用中等代价处理所述写请求；当所述请求处理模块接收读请求时，若所述读请求访问的数据页为只读页，则确定对所述数据页的前一次读请求是否为低代价，当不是低代价的读时，在系统空闲且所述读请求处理之前在所述数据页插入一个高代价的写请求。
9.根据权利要求8所述的数据处理系统，其特征在于，用LBA表示成员盘中的逻辑地址，Log_LBA表示日志盘中的逻辑地址；所述请求处理模块，用于将请求按照条带进行分解后，挂载到对应的条带上，所述条带的编号对应LBA；若所述请求为写请求，查找哈希表中是否有对应的条目，所述条目包括LBA和Log_LBA信息，若哈希表中有对应的条目，则更改Log_LBA，若哈希表中没有对应的条目，则创建一个条目，将对应的LBA和Log_LBA信息填充到所述创建的条目中；所述鉴别模块，用于判断所述写请求要写的数据页所属类型并作标记，所述请求处理模块，用于将所述写请求克隆后，同时分发到成员盘和日志盘；所述访问调节模块，用于当所述写请求到达成员盘时，根据所述写请求要写的数据页所属类型动态调节访问的代价。
10.根据权利要求9所述的数据处理系统，其特征在于，校验同步模块，用于在空闲时间、所述日志盘失效、所述日志盘的剩余空间低于第一阈值或有成员盘的剩余空间低于第二阈值时，依次取出所述哈希表的节点，确定出对应的条带，读出成员盘中条带上所有的数据块，计算出对应的校验块并在成员盘对应条带写入所述校验块，删除该条带上被更新过的数据块在哈希表中的对应条目，重复计算校验块以及删除哈希表中对应的条目直到哈希表为空。
CN201710416081.7A 2017-06-06 2017-06-06 一种基于固态盘阵列的数据处理方法及系统 Active CN107273046B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710416081.7A CN107273046B (zh) 2017-06-06 2017-06-06 一种基于固态盘阵列的数据处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710416081.7A CN107273046B (zh) 2017-06-06 2017-06-06 一种基于固态盘阵列的数据处理方法及系统

Publications (2)

Publication Number Publication Date
CN107273046A true CN107273046A (zh) 2017-10-20
CN107273046B CN107273046B (zh) 2019-08-13

Family

ID=60065482

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710416081.7A Active CN107273046B (zh) 2017-06-06 2017-06-06 一种基于固态盘阵列的数据处理方法及系统

Country Status (1)

Country Link
CN (1) CN107273046B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107885620A (zh) * 2017-11-22 2018-04-06 华中科技大学 一种提高固态盘阵列性能和可靠性的方法及系统
CN110214305A (zh) * 2017-12-29 2019-09-06 华为技术有限公司 一种数据访问方法及存储阵列
CN110795273A (zh) * 2019-10-18 2020-02-14 苏州浪潮智能科技有限公司 一种raid的写洞保护方法、系统及存储介质
CN111443874A (zh) * 2020-03-28 2020-07-24 华中科技大学 基于内容感知的固态盘内存缓存管理方法、设备及固态盘
CN111831575A (zh) * 2019-04-16 2020-10-27 武汉海康存储技术有限公司 逻辑地址范围的存储方法、装置及存储设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109062506B (zh) * 2018-07-16 2020-04-10 山东大学 Raid-5全闪存磁盘阵列及提高阵列整体寿命的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090070356A1 (en) * 2007-09-11 2009-03-12 Yasuyuki Mimatsu Method and apparatus for managing data compression and integrity in a computer storage system
CN102270102A (zh) * 2011-04-29 2011-12-07 华中科技大学 一种raid6磁盘阵列写性能的优化方法
CN102521068A (zh) * 2011-11-08 2012-06-27 华中科技大学 一种固态盘阵列的重建方法
US20150331743A1 (en) * 2014-05-19 2015-11-19 S34A, Inc. Hidden data identification in solid state driver forensics

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090070356A1 (en) * 2007-09-11 2009-03-12 Yasuyuki Mimatsu Method and apparatus for managing data compression and integrity in a computer storage system
CN102270102A (zh) * 2011-04-29 2011-12-07 华中科技大学 一种raid6磁盘阵列写性能的优化方法
CN102521068A (zh) * 2011-11-08 2012-06-27 华中科技大学 一种固态盘阵列的重建方法
US20150331743A1 (en) * 2014-05-19 2015-11-19 S34A, Inc. Hidden data identification in solid state driver forensics

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107885620A (zh) * 2017-11-22 2018-04-06 华中科技大学 一种提高固态盘阵列性能和可靠性的方法及系统
CN107885620B (zh) * 2017-11-22 2020-09-08 华中科技大学 一种提高固态盘阵列性能和可靠性的方法及系统
CN110214305A (zh) * 2017-12-29 2019-09-06 华为技术有限公司 一种数据访问方法及存储阵列
CN110214305B (zh) * 2017-12-29 2020-09-08 华为技术有限公司 一种数据访问方法及存储阵列
US11301157B2 (en) 2017-12-29 2022-04-12 Huawei Technologies Co., Ltd. Data access method and storage array
CN111831575A (zh) * 2019-04-16 2020-10-27 武汉海康存储技术有限公司 逻辑地址范围的存储方法、装置及存储设备
CN110795273A (zh) * 2019-10-18 2020-02-14 苏州浪潮智能科技有限公司 一种raid的写洞保护方法、系统及存储介质
US11650880B2 (en) 2019-10-18 2023-05-16 Inspur Suzhou Intelligent Technology Co., Ltd. Write hole protection method and system for raid, and storage medium
CN111443874A (zh) * 2020-03-28 2020-07-24 华中科技大学 基于内容感知的固态盘内存缓存管理方法、设备及固态盘
CN111443874B (zh) * 2020-03-28 2021-07-27 华中科技大学 基于内容感知的固态盘内存缓存管理方法、设备及固态盘

Also Published As

Publication number Publication date
CN107273046B (zh) 2019-08-13

Similar Documents

Publication Publication Date Title
CN107273046A (zh) 一种基于固态盘阵列的数据处理方法及系统
CN103577121B (zh) 一种基于Nand Flash的高可靠线性文件存取方法
CN105242871B (zh) 一种数据写入方法及装置
CN103049222B (zh) 一种raid5的写io优化处理方法
CN104503707B (zh) 读取数据的方法以及装置
CN103488583B (zh) 一种高性能高可靠的固态盘实现方法
CN103577574B (zh) 一种基于nand flash的高可靠线性文件系统
CN111026329B (zh) 基于主机管理瓦记录磁盘的键值存储系统及数据处理方法
US10922234B2 (en) Method and system for online recovery of logical-to-physical mapping table affected by noise sources in a solid state drive
CN103049224B (zh) 将数据导入物理磁带的方法、装置和系统
CN107992269A (zh) 一种基于去重ssd的事务写入方法
CN106227731A (zh) 一种数据处理方法、装置及分布式文件系统
CN101916173A (zh) 一种基于raid的数据读写方法及其系统
CN111400204B (zh) 一种固态盘缓存方法、系统及相关设备
CN104166601B (zh) 一种存储数据的备份方法和装置
CN106293990A (zh) 一种基于批量写校验的独立磁盘冗余阵列方法
CN105786410A (zh) 一种提高数据存储系统处理速度的方法及数据存储系统
CN104778018A (zh) 基于非对称混合型磁盘镜像的宽条带磁盘阵列及存储方法
CN104462388B (zh) 一种基于级联式存储介质的冗余数据清理方法
US10127106B2 (en) Redundant disk array system and data storage method thereof
CN106095332A (zh) 一种数据重删方法及装置
CN109213693A (zh) 存储管理方法、存储系统和计算机程序产品
TW201913679A (zh) 揮發性記憶體的資料保存系統及方法
CN103383666A (zh) 改善缓存预取数据局部性的方法和系统及缓存访问方法
CN107037988B (zh) 一种基于文件级粒度的闪存安全删除方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant