CN104765574A - 数据云端存储方法 - Google Patents

Abstract

本发明提供了一种数据云端存储方法，该方法包括：通过存储集群的区段映射进行地址转换，将应用程序发来的非顺序的读写请求地址映射到连续的实际地址空间以实现连续写入，利用基于缓存的存储集群写优化存储架构，在缓存中缓存并构造与存储集群条块对齐的写数据，以整个条块的方式将数据写入存储集群。本发明提出了一种存储方法，在写入磁盘过程中避免了因生成校验数据而产生的额外读写开销，通过数据的顺序写入有效减少了寻址操作，提高了存储性能。

Description

数据云端存储方法

技术领域

本发明涉及网络存储，特别涉及一种大数据存储处理方法。

背景技术

在大规模存储系统中，为了提高存储系统的可靠性、改善IO性能以及满足海量数据存储需求，将多个存储集群联合起来，形成统一的存储设备，例如将数据分散存储到集群中的不同磁盘上以保证并行性，并采用冗余校验机制，在保证数据安全性的同时可获得大容量和高数据传输率，对于顺序读写数据的存储系统，一般对数据传输带宽要求不苛刻，但对数据可靠性、存储空间要求较高。即使考虑视频回放、备份恢复等对带宽的额外需求，采用存储集群时，也存在着严重的性能浪费，同时伴随着严重的能源浪费和磁盘损耗，为了计算校验数据，数据写入需要额外的读写开销和延时，降低了存储集群的吞吐能力。另一方面，当向存储集群写入的数据块随机时，磁盘就需要寻址到新的数据位置，此时，随机读写传输性能比顺序读写传输性能更低。

发明内容

为解决上述现有技术所存在的问题，本发明提出了一种数据云端存储方法，包括：

通过存储集群的区段映射进行地址转换，将应用程序发来的非顺序的读写请求地址映射到连续的实际地址空间以实现连续写入，利用基于缓存的存储集群写优化存储架构，在缓存中缓存并构造与存储集群条块对齐的写数据，以整个条块的方式将数据写入存储集群。

优选地，所述通过存储集群的区段映射进行地址转换，进一步包括：

将应用程序发来的非顺序的虚拟地址映射为连续的存储集群实际物理地址，定义映射元数据、映射存储区，并记录映射关系到地址转换表，以每次写操作的写区段为单位进行地址映射；

其中所述映射元数据描述一个映射区段的映射元数据，形式为(V_iStart，P_iStart，Len_i，next)，V_iStart，P_iStart，Len_i，next分别为映射区段i的虚拟起始地址、物理起始地址区段长度和相邻映射元数据索引；

所述映射存储区是外存中映射元数据的存储区段；

所述地址转换表记录每个虚拟地址对应的元数据索引和外存数据结构；

在进行地址转换时，先根据虚拟地址从地址转换表获得元数据索引，然后在映射存储区由索引值获得元数据，并根据元数据进行区段地址转换，从虚拟区段(V_Start，V_End)中的V_Start到V_End，其中V_Start为虚拟区段的虚拟起始地址，V_iEnd为虚拟区段的虚拟结束地址，根据虚拟地址逐个查询。

优选地，还包括：利用LSM树进行映射区段查询，在内存中建立映射元数据的LSM树，用(V_iStart，V_iEnd，p_imeta)表示叶子节点，V_Start为区段i的虚拟起始地址，V_iEnd为区段i的虚拟结束地址，p_imeta是指向元数据(Vi_Start，Pi_Start，Len_i，next)的已读入内存的指针；

父节点的关键字是所有子树中的最大关键字，每个叶子节点只包含两个关键字，表示一个顺序区段，查找时，如果被查找值位于某个区段则查找成功，否则可由其父节点的关键字确定其相邻区段，映射按虚拟地址由低到高的顺序排列在链表中；

并且，利用LSM树查询映射区段的过程如下：

1)分别查找V_kStart，V_kEnd在LSM树中的位置，其中区段(V_kStart，V_kEnd)为请求k的虚拟地址区段；

2)将V_kStart，V_kEnd之间所有存在的映射作为要查找的映射；

设定LSM树的最大节点数，当超过该最大节点数时便构建一棵新的LSM树，查找时先根据虚拟地址确定所在的LSM树再进行查找。

本发明相比现有技术，具有以下优点：

本发明提出了一种存储方法，在写入磁盘过程中避免了因生成校验数据而产生的额外读写开销，通过数据的顺序写入有效减少了寻址操作，提高了存储性能。

附图说明

图1是根据本发明实施例的数据云端存储方法的流程图。

具体实施方式

下文与图示本发明原理的附图一起提供对本发明一个或者多个实施例的详细描述。结合这样的实施例描述本发明，但是本发明不限于任何实施例。本发明的范围仅由权利要求书限定，并且本发明涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以便提供对本发明的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中的一些或者所有细节也可以根据权利要求书实现本发明。

本发明的一方面提供了一种数据云端存储方法，以提高顺序数据存储中存储集群的写入性能。图1是根据本发明实施例的方法流程图。

本发明利用区段映射进行地址转换，将非顺序的读写请求地址映射到连续的地址空间，以实现连续写入。特别适合顺序数据存储中的大块数据的地址转换；利用基于缓存的存储集群写优化存储架构，在缓存中缓存并构造与存储集群条块对齐的写数据，然后整个条块写入存储集群，实现对存储集群的完全写。

在写数据地址转换和对齐写数据过程中，首先引入虚拟地址、物理地址的定义。虚拟地址是应用程序发来的读写请求地址；物理地址是数据在存储集群存储空间内的实际地址。地址转换过程实现虚拟地址到物理地址的映射，即将非顺序(可能部分顺序)的虚拟地址映射为连续的物理地址，并记录映射关系到地址转换表。经过地址转换后，写操作在物理地址空间内完全顺序化。

对齐写数据是对物理地址顺序化的写请求进行聚合或拆分，在内存缓存区内组织成为与存储集群条块对齐的写请求，即1个写请求在存储集群上恰好占满1个或多个完整的条块。为了防止掉电导致缓存区内数据丢失，采用非易失性RAM镜像内存缓存区内的写请求。

在本发明的区段映射中实现地址转换，以每次写操作的写区段为单位进行地址映射，主要数据结构如下。

1)映射元数据：形式为(V_iStart，P_iStart，Len_i，next)，描述一个映射区段，V_iStart，P_iStart，Len_i，next分别为映射区段i的虚拟起始地址、物理起始地址区段长度和相邻映射元数据索引，外存数据结构简称元数据；

2)映射存储区：外存中映射元数据的存储区段；

3)地址转换表：记录每个虚拟地址对应的元数据索引(index)，外存数据结构。

地址转换时，先根据虚拟地址从地址转换表获得元数据索引，然后在映射存储区由索引值获得元数据，并根据元数据进行区段地址转换。

地址转换时可以从虚拟区段(V_Start，V_End)中的V_Start到V_End，其中V_Start为虚拟区段的虚拟起始地址，V_iEnd为虚拟区段的虚拟结束地址，根据虚拟地址逐个查询，最坏情况是查询所有块的虚拟地址。

为了进一步提高地址转换效率，可以考虑引入LSM树进行映射区段查询。在内存中建立映射元数据的LSM树，用(V_iStart，V_iEnd，p_imeta)表示叶子节点，其中V_Start为区段i的虚拟起始地址，V_iEnd为区段i的虚拟结束地址，p_imeta是指向元数据(Vi_Start，Pi_Start，Len_i，next)的指针(已读入内存)。

父节点的关键字是所有子树中的最大关键字，每个叶子节点只包含两个关键字，表示一个顺序区段。查找时如果查找值位于某个区段则查找成功，否则可由其父节点的关键字，确定其相邻区段，映射按虚拟地址由低到高的顺序排列在链表中(由映射插入规则，虚拟区段不会相交)。

设请求k的虚拟地址区段为(V_kStart，V_kEnd)，利用LSM树查询映射区段的过程如下：

1)分别查找V_kStart，V_kEnd在LSM树中的位置；

2)将V_kStart，V_kEnd之间所有存在的映射作为要查找的映射。

为了防止LSM树过大，优选地可设定LSM树的最大节点数，当超过该最大节点数时便构建一棵新的LSM树，查找时先根据虚拟地址确定所在的LSM树再进行查找。

在数据写入请求对齐方面，顺序数据存储中为了实现对存储集群的完全写，需要运行一个对齐写请求的驱动程序，主要包括2个线程和1个写请求队列，2个线程分别是接收和发送线程。

1)接收线程：监控和接收应用程序发送给存储集群的写请求，首先进行上述地址转换，转换为物理空间内连续的写请求，并将其加入到写请求队列中。

2)发送线程：当写请求队列不为空时从写请求队列中取出并处理写请求。

首先，需要获取存储集群的参数，包括条块单位、成员磁盘数，再由条块单位乘以成员磁盘数，获得条块大小。可通过读取存储集群配置文件获得条块单位和成员磁盘数。

设写请求表示为(buf，cnt，off)，其中buf为用户空间缓存区指针，指向写数据的起始地址；cnt为写数据块的大小；off是偏移量，是用户数据写入设备文件的起始位置。

发送线程创建一个发送缓存区数组，记作bufsend[M]，其中M为大于1的正整数，缓存区bufsend[i](0≤i<M)的大小等于存储集群的条块大小，记为STSize。

缓存区bufsend[i]缓存的字节数记为filled[i]，空闲字节数为empty[i]，有filled[i]+empty[i]＝STSize成立。

发送线程首先从bufsend[M]中获得空闲缓存区bufsend[i](没有则等待)，对于bufsend[i]，初始empty[i]为STSize，filled[i]＝0，然后按如下流程处理写请求队列中的写请求。

缓存区bufsend[i]填满后，发送线程就会将其中的数据发送给存储集群，由此实现了对存储集群条块的整体写入。由于对条块的写入始终是连续的，避免了随机写操作所需的寻址。为了保证应用程序重启后bufsend[i]写入的数据仍然与存储集群的条块边界对齐，对齐驱动程序需要监控应用程序对设备文件的打开与关闭操作，进行现场保护与恢复。

当应用程序关闭设备文件、发送线程最后一次向存储集群写数据时，缓存区bufsend[i]可能没有填满，因此bufsend[i]中的数据写入存储集群的同时，需要记录本次写操作的off和cnt值；当设备文件再次打开时，需要根据记录的off和cnt值，进行现场恢复，然后进入正常的写请求处理流程。

进一步地，本发明的存储集群在满足性能需求的前提下，通过降低存储集群的并行性，即采用局部并行策略，并实现降耗，其实现主要包括：数据布局、数据调度、缓存管理策略。

本发明的存储集群由N块逻辑磁盘组成且N≥3，构成1行×N列矩阵。将集群划分为N个条块，每个条块包含N个存储块，其中1个校验块，N-1个数据块。每个存储块划分多个存储子块，可根据要求设置子块的大小，典型值如4KB、8KB、16KB等，子块内数据的逻辑地址是顺序的。校验子块由同条块内偏移位置相同的N-1个数据子块异或运算得出。

用X(i，j)表示存储集群中的一个存储块数据，其中i表示其所在的条块号，j表示所在的磁盘号，X(i，j)位于磁盘j上，0≤i，j<N。第i条块内的校验块数据用Check(i)表示，与存储块数据X(i，j)的关系为Check(i)＝X(i，N-1-i)。数据块数据用D(i，v)表示，v表示其在所属条块内的数据块序号(忽略校验块)，0≤i，j<N-1，与存储块数据X(i，j)的关系，用式(1)表示：

D(i，v)＝X(i，v)，i+v<N-1

X(i，v+1)，i+v≥N-1(1)

为了能够提供合适的性能，需要对数据块进行分组，方案如下：将每个条块上的N-1个数据块分成P组，每组包含Q个数据块，其中P≥2，Q≥1，且满足P·Q＝N-1。在各个组内，采用并行数据编址方法，编址单位为数据子块，编址方法如下：设组大小为S_Grp，第p组、第i条块、第q数据块内、偏移地址为off的数据子块的逻辑地址LBA_{p，i，q，off}可表示为

LBA_{p，i，q，off}＝S_Grp·(N·p+i)+off·Q+q(2)

其中0≤p<P，0≤i<N，0≤q<Q，0≤off<S_Grp。

根据式(2)得本发明的存储集群的数据布局具有如下特征：(1)各组内偏移地址相同的数据子块的逻辑地址相邻；(2)逻辑相邻的组优先分布在相同或相近的磁盘上。

为实现降耗，需要根据请求队列的历史信息、读写访问在逻辑空间的分布区域，感知当前负载流的随机性及其时间空间分布特征，从而进行磁盘调度。

用r＝(t_arrive，t_finish，status，pos，len)记录请求队列rq中的1个读写请求，其中t_arrive，t_finish，status，pos，len分别表示请求r的到来时间、完成时间、请求状态、起始逻辑地址和请求长度。请求状态包括等待、执行、完成等状态，请求长度以分区为单位，用r.x表示请求r的参数x。

由请求r的逻辑地址pos到磁盘号j的映射f(r.pos)，可以按以下方法获得：

(1)由pos利用下式得出该请求所在的组号p、组内块号q及条块号i：

p＝r.pos/S_Grp·N

q＝(r.pos)MOD Q

i＝(r.pos)MOD(S_Grp·N)/S_Grp

(2)根据组号p、组内块号q、条块号i，得出pos指向的数据块数据D(i，p·Q+q)；

(3)已知D(i，p·Q+q)，根据式(1)得pos所在磁盘j＝p·Q+q，当i+p·Q+q<N-1；否则j＝p·Q+q+1。

对请求队列rq中各个读写请求，根据其逻辑地址所在的磁盘，划分为N个集合：

S_j＝{r|r∈rq∧f(r.pos)＝j}，其中0≤j<N，称S_j为磁盘j的请求集合，用num_j表示集合S_j中元素的个数。

设定磁盘调度的时间阈值t_th，系统当前时间为t，如果请求集合Sj中的请求满足下式，则可以调度对应的磁盘j到待机状态：

$t-{\max }_{k=1}^{{\mathrm{num}}_j}(r_k\&CenterDot;t_{\mathrm{finish}})>t_{\mathrm{th}}$

下次需要访问该磁盘时，再将其调度到运行状态。

此外，顺序数据存储以顺序数据访问为主，但还包含一些随机访问，随机访问会影响本发明的存储集群的节能效果，需采取措施过滤对本发明的存储集群的随机访问。

当处于停止状态的磁盘因未命中的读操作而转入运行状态时，主动将当前缓存中缓存的对应数据写入该磁盘。采用缓存日志来减少磁盘的启动次数，日志设备可以是非易失性RAM或固定磁盘，对于少量的随机写操作，可以暂存到日志设备当中，当目标磁盘转入工作状态后，再将日志设备中缓存的写数据同步到该磁盘中。

根据存储集群中各个磁盘的请求集合，由下式得出磁盘j的数据流量DFR_j为

${\mathrm{DFR}}_j=\frac{\underset{k=1}{\overset{{\mathrm{num}}_j}{\mathrm{\&Sigma;}}}{r}_k\&CenterDot;\mathrm{len}}{\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}\underset{k=1}{\overset{{\mathrm{num}}_j}{\mathrm{\&Sigma;}}}{r}_k\&CenterDot;\mathrm{len}}$

设DFR_th为延迟写回的流量阈值，对任意磁盘j，如果其流量DFR_j<DFR_th，则将该盘的写操作，重定向到当前活动的磁盘上，或将写数据缓存到非易失性RAM，减少磁盘因少量随机访问进行状态转换的次数。同时，数据流量也可作为磁盘的调度参数，供调度策略选择。

本发明的存储集群的读操作根据映射f(r.pos)将读请求r映射到一个分组，并使组内磁盘并行工作，而不需要条块内所有磁盘并行工作。本发明的存储集群的写操作一般以“读-改-写”为主，因为通常情况下，本发明的存储集群只有少量磁盘工作。执行写操作时，需要更新对应的校验数据，生成新校验数据需要获得旧数据及旧校验数据，可利用下式生成新校验数据。

$P_{\mathrm{sub}}=\underset{k=1}{\overset{m}{\&CirclePlus;}}[D_{\mathrm{sub}\left(k\right)}\&CirclePlus;{D^{\&prime;}}_{\mathrm{sub}\left(k\right)}]\&CirclePlus;{P^{\&prime;}}_{\mathrm{sub}}$

其中，D_sub(k)，P_sub分别为组内偏移位置为off的新数据子块数据、其对应的新校验子块数据；D′_sub(k)，P′_sub为旧数据子块数据及旧校验子块数据；m为偏移位置为off的写入数据子块个数，为异或运算符。可采用合适的预读策略，改善“读-改-写”对本发明的存储集群写性能的影响，如将用于生成新校验数据的旧数据、旧校验数据预读到缓存中，以减少读取的次数。

综上所述，本发明提出了一种存储方法，在写入磁盘过程中避免了因生成校验数据而产生的额外读写开销，通过数据的顺序写入有效减少了寻址操作，提高了存储性能。

显然，本领域的技术人员应该理解，上述的本发明的各模块或各步骤可以用通用的计算系统来实现，它们可以集中在单个的计算系统上，或者分布在多个计算系统所组成的网络上，可选地，它们可以用计算系统可执行的程序代码来实现，从而，可以将它们存储在存储系统中由计算系统来执行。这样，本发明不限制于任何特定的硬件和软件结合。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (3)

1.一种数据云端存储方法，其特征在于，包括：

通过存储集群的区段映射进行地址转换，将应用程序发来的非顺序的读写请求地址映射到连续的实际地址空间以实现连续写入，利用基于缓存的存储集群写优化存储架构，在缓存中缓存并构造与存储集群条块对齐的写数据，以整个条块的方式将数据写入存储集群。

2.根据权利要求1所述的方法，其特征在于，所述通过存储集群的区段映射进行地址转换，进一步包括：

将应用程序发来的非顺序的虚拟地址映射为连续的存储集群实际物理地址，定义映射元数据、映射存储区，并记录映射关系到地址转换表，以每次写操作的写区段为单位进行地址映射；

其中所述映射元数据描述一个映射区段的映射元数据，形式为(V_iStart，P_iStart，Len_i，next)，V_iStart，P_iStart，Len_i，next分别为映射区段i的虚拟起始地址、物理起始地址区段长度和相邻映射元数据索引；

所述映射存储区是外存中映射元数据的存储区段；

所述地址转换表记录每个虚拟地址对应的元数据索引和外存数据结构；

在进行地址转换时，先根据虚拟地址从地址转换表获得元数据索引，然后在映射存储区由索引值获得元数据，并根据元数据进行区段地址转换，从虚拟区段(V_Start，V_End)中的V_Start到V_End，其中V_Start为虚拟区段的虚拟起始地址，V_iEnd为虚拟区段的虚拟结束地址，根据虚拟地址逐个查询。

3.根据权利要求2所述的方法，其特征在于，还包括：利用LSM树进行映射区段查询，在内存中建立映射元数据的LSM树，用(V_iStart，V_iEnd，p_imeta)表示叶子节点，V_Start为区段i的虚拟起始地址，V_iEnd为区段i的虚拟结束地址，p_imeta是指向元数据(Vi_Start，Pi_Start，Len_i，next)的已读入内存的指针；

父节点的关键字是所有子树中的最大关键字，每个叶子节点只包含两个关键字，表示一个顺序区段，查找时，如果被查找值位于某个区段则查找成功，否则可由其父节点的关键字确定其相邻区段，映射按虚拟地址由低到高的顺序排列在链表中；

并且，利用LSM树查询映射区段的过程如下：

1)分别查找V_kStart，V_kEnd在LSM树中的位置，其中区段(V_kStart，V_kEnd)为请求k的虚拟地址区段；

2)将V_kStart，V_kEnd之间所有存在的映射作为要查找的映射；

设定LSM树的最大节点数，当超过该最大节点数时便构建一棵新的LSM树，查找时先根据虚拟地址确定所在的LSM树再进行查找。