CN102185910B

CN102185910B - 基于ssd和hdd混合存储的无盘网络服务器数据分布方法

Info

Publication number: CN102185910B
Application number: CN 201110102992
Authority: CN
Inventors: 谭怀亮; 吴帆
Original assignee: Hunan University
Current assignee: Hunan University
Priority date: 2011-04-22
Filing date: 2011-04-22
Publication date: 2013-04-10
Anticipated expiration: 2031-04-22
Also published as: CN102185910A

Abstract

本发明公开了一种基于SSD和HDD混合存储的无盘网络服务器数据分布方法，该方法为：将固态硬盘SSD导出，作为无盘网络中所有的工作站共享的系统盘，安装无盘工作站共享的操作系统和应用软件；在HDD硬盘上为每个SSD硬盘分区的扩展块分配一个改写重定向表，及为每个无盘工作站分配一个私有数据区；在主存中为每个改写扩展块分配一个Cache区；服务器初始化完成后，每次启动与运行无盘工作站，服务器接收到工作站对混合磁盘的I/O请求时进行数据读写。本发明能提升无盘工作站启动操作系统和运行应用程序的速度，延长存储介质寿命。

Description

基于SSD和HDD混合存储的无盘网络服务器数据分布方法

技术领域

本发明涉及无盘工作站的系统数据在服务器混合磁盘上的优化组织与分布方法，具体是一种基于SSD和HDD混合存储的无盘网络服务器数据分布方法。

背景技术

无盘网络工作站由于没有本地磁盘，其启动过程通过扩展ROM BIOS(如PXE、iSCSI BIOS)，从DHCP服务获得与存储服务器建立会话和连接的登录参数，无盘工作站的I/O请求重定向到存储服务器。存储服务器上运行有SAN目标器(Target)和卷管理器两大组件，卷管理器统一管理各种存储设备，将单个的磁盘设备虚拟化为一个逻辑存储池，并按需部署逻辑存储卷，辅助完成逻辑存储卷到无盘工作站本地SCSI硬盘的映射；SAN目标器从无盘网络接收来自不同工作站的I/O命令，将其解析为服务器能够识别的针对不同逻辑存储卷的命令然后交给卷管理器处理，卷管理器完成逻辑存储卷到物理存储设备地址解析，并将I/O命令分发到多个物理存储设备并行执行。在设备处理完I/O命令后，卷管理器将I/O响应提交给SAN目标器，后者经过反向解析将请求数据或响应通过网络应答无盘工作站，所有的I/O过程对于无盘工作站完全透明。

无盘网络工作站开机后经授权认证自动连接到集中式存储服务器，并将服务器上的存储卷映射给工作站，使无盘工作站拥有与本地磁盘访问特性一致的逻辑硬盘，并可以从逻辑硬盘上引导启动系统软件与应用软件。利用该技术，IT用户可以将计算机映像(包括应用程序、操作系统、用户私有数据)保存在存储服务器中，从一个位置管理和解析它们，在系统安装、软件升级、杀毒等工作中大大减少管理员的工作量，提高工作效率，从而显著降低系统管理成本。

存储服务器始终是无盘网络的性能瓶颈，特别是其硬盘子系统。通过使用磁盘阵列改善了服务器的I/O吞吐量，但由于传统硬盘一般由马达、盘片和磁头等机械运动部件构成，机械组件的使用将需要较多的时间和较大的功耗，使得传统硬盘在无盘网络服务器多I/O读写操作的状态下，工作站启动系统和进入应用软件非常缓慢。最近基于闪存的固态硬盘SSD由于不断增长的容量和不断下降的价格而变得非常富有吸引力，固态硬盘运用闪存芯片取代了传统硬盘中的机械运动部件，由于不需要等待机械部件的运动过程，从而大大加快了硬盘的数据传输和读写速度，无论是无盘网络服务器磁盘在高负载，满机负载的情况下，工作站无需等待服务器磁盘I/O处理速度问题而滞留。

然而，目前对SSD的许多应用集中在两个方面：第一是通过在文件系统和设备驱动层用不同的管理算法，将SSD作为传统硬盘来使用；第二是使用SSD作为高速缓存。由于SSD的物理特性决定了SSD具有优异的随机读性能，但也限制了SSD的写性能远低于读性能，并且反复的擦写势必大大缩短SSD的寿命。因此，在实际的无盘网络服务器数据组织与分布方式存在如下缺陷：

1)完全用HDD或HDD的磁盘阵列来存放无盘工作站的系统数据和私有数据，由于HDD硬盘的机械操作，使无盘网络服务器多I/O读写操作的状态下，工作站启动系统和进入应用软件非常缓慢。

2)在无盘网络服务器上，用与HDD同样的方式使用SSD进行无盘工作站系统数据和私有数据存储，或使用SSD作为Cache，由于不可避免产生大量的随机写SSD操作，而SSD的随机写性能远差于随机读性能，且SSD频繁的随机写势必大大缩短SSD的寿命。

3)每个无盘工作站启动过程中将频繁产生小量数据块改写操作，如果将改写数据块分布到SSD，一方面写性能较差，另一方面也加大了SSD损耗。

所以，采用现有的方法存在无盘工作站启动过程中系统数据读瓶颈、SSD大量写操作导致的SSD易损耗等缺陷。

发明内容

本发明所要解决的技术问题是，针对目前无盘工作站并发运行导致的服务器I/O性能瓶颈，以及工作站频繁启动过程中小量数据的回写导致存储介质易损耗的问题，提出基于SSD和HDD混合存储的服务器数据分布方法，提升无盘工作站启动操作系统和运行应用程序的速度、延长存储介质寿命。

为解决上述技术问题，本发明所采用的技术方案是：基于SSD和HDD混合存储的无盘网络服务器数据分布方法为：

1)将固态硬盘SSD导出，作为无盘网络中所有的工作站共享的系统盘，安装无盘工作站共享的操作系统和应用软件；

2)在HDD硬盘上为每个SSD硬盘分区的扩展块分配一个改写重定向表，及为每个无盘工作站分配一个私有数据区；

3)在主存中为每个改写扩展块分配一个Cache区；

4)服务器初始化完成后，每次启动与运行无盘工作站，服务器接收到工作站对混合磁盘的I/O请求时进行数据读写。

安装无盘工作站共享的操作系统和应用软件的步骤为：

1)在无盘网络服务器的系统盘上安装Linux操作系统，并安装SAN目标器和卷管理器驱动程序，卷管理器将SSD硬盘映射为可供工作站共享的逻辑磁盘。

2)启动某一台带有光驱的无盘工作站，通过工作站扩展的ROM BIOS将工作站I/O请求重定向到存储服务器。ROM BIOS将服务器上的SSD硬盘映射为本地磁盘，通过光驱安装盘将该映射磁盘划分一个容量大小为20GB至40GB的NTFS分区，并安装供工作站启动和运行的操作系统和应用软件等。

在HDD硬盘上为每个SSD硬盘分区的扩展块分配一个改写重定向表及为每个无盘工作站分配一个私有数据区的步骤为：

1)系统管理员通过应用程序接口API设定卷管理器的扩展块由连续的多个逻辑块构成，扩展块大小为磁盘扇区大小(512个byte)的整数倍。工作站对映射磁盘的I/O请求将通过扩展块寻址，扩展块既是服务器高速缓存的基本Cache页管理单位，也是服务器后端通道适配卡与Cache之间的DMA数据传输粒度。来自工作站的I/O命令中的逻辑块地址被转换成所对应的扩展块号和Cache页号。如可以设定扩展块大小为128KB，即连续256个扇区为一个扩展块。

2)卷管理器根据固态硬盘SSD的NTFS分区容量大小，算出该分区的扩展块块数，并将该分区按扩展块号编址。如：SSD中NTFS分区大小为20GB，扩展块大小为128KB，则扩展块块数为20*1024/128＝160K，扩展块块号为0，1，2，～，160K-1。

3)卷管理器构造SSD分区的扩展块改写标识位，SSD分区的每个扩展块对应有1位来识别该扩展块是否被改写，若有工作站对某扩展块进行了改写，则相应标识置位，否则为0。将SSD的所有扩展块改写标识位组合构成一有序线性表，序号对应扩展块编号。如SSD的NTFS分区扩展块块数为160K，则改写标识线性表为160K/8＝20KB，该线性表保存在HDD硬盘的特定区域。

4)卷管理器为每个SSD的NTFS分区扩展块在HDD硬盘上分配一个重定向索引区RIA，用来注册多个工作站对该扩展块改写后的重定向块地址。RIA为一维有序队列，队列元素编号对应工作站编号，队列元素值为重定向地址，若工作站对该扩展块没有修改，则该地址为空，否则在与工作站编号对应的队列元素处注册改写块存放的地址，队列元素大小为4个字节。

5)卷管理器为每个工作站在HDD硬盘上分配一个工作站私有数据区WPDA，存放该工作站对SSD的NTFS分区扩展块的改写数据实体，改写数据实体存储块的地址注册到RIA队列元素中。

6)在无盘工作站启动过程中，服务器上的卷管理器根据SSD扩展块改写标识位，从位于HDD硬盘上的重定向索引区RIA和工作站私有数据区WPDA读出SSD扩展块的改写数据，构造该工作站完整的系统映像。该工作站的系统映像物理上是由绝大多数SSD扩展块(90％以上)与对SSD扩展块改写之后的位于HDD上的重定向扩展块组成的集合。

在主存中为每个改写扩展块分配一个Cache区的步骤为：

1)服务器上的卷管理器初始化过程中从HDD硬盘的特定区域读取SSD分区的扩展块改写标识线性表到主存中，并快速扫描该线性表。

2)若扩展块改写标识线性表的某些位为1，卷管理器通过位的编号识别出扩展块号，表明该块应从HDD硬盘中读取。SSD分区的每个扩展块对应有1位来识别该扩展块是否被改写，若有工作站对某扩展块进行了改写，则相应标识置位，否则为0。将SSD的所有扩展块改写标识位组合构成一有序线性表，序号对应扩展块编号。如SSD的NTFS分区扩展块块数为160K，则改写标识线性表为160K/8＝20KB，该线性表保存在HDD硬盘的特定区域。

3)卷管理器在主存中为每个改写扩展块分配一个Cache区，并提前从HDD硬盘中将改写扩展块的重定向地址预取到该Cache中。

4)卷管理器从未使用的内存中分配Cache，其中一小部分(约10％左右)可用RAM分配给Cache描述符控制块，用于管理Cache和处理来自工作站的事务；所有剩余的RAM被分成Cache页，一方面暂存来自工作站的写数据，以便延迟写入HDD，另一方面将送往工作站的读数据或预读数据保存起来，便于工作站的再次读。Cache页大小与扩展块大小一致。将Cache按Cache页划分后，I/O请求也按Cache页划分，混合磁盘与Cache之间的数据交换以Cache页为单位进行。每个cache页有一个相应的叫做cache描述符的控制块。描述符中包含队列指针(链式列表内的成员)、对应的Cache页号、指示cache页状态的标志和计数器以及指向cache页物理内存地址的指针。描述符从控制区域中分配。

进行数据读写的步骤为：

1)服务器通过网络数据包的IP地址与工作站编号的对应关系，从配置文件中获取发起读写请求的工作站编号，如工作站编号为K。

2)服务器将工作站I/O命令<lba，op，blk_number>(其中lba是请求数据的起始地址，op是读或写操作类型，blk_number是读/写请求的数据块数)中的Lba地址按Cache页大小转换成扩展块地址，blk_number转换成Cache页数(扩展块数)。即转化为<Cache_Page_No，op，Cache_Page_number>的形式，I/O请求的块地址转换为扩展块号和Cache页号。

3)服务器计算出工作站I/O请求在SSD硬盘的起始和结束扩展块号以及请求的LBA在起始扩展块内的字节偏移。对于不够一个完整的Cache页数据传输，或者Lba起始地址或最后一块Lba地址位于Cache页中间，都预取一个完整的Cache页，并加上Cache页内偏移。如该次I/O操作的起始扩展块号为E_blk_i，扩展块数为N，结束扩展块号为E_blk(i+N-1)。

4)若工作站的I/O命令为读操作，扫描扩展块改写标识线性表，检查工作站K的I/O命令扩展块号E_blk_i对应的第i位是否为1，如果为0，直接从SSD中读取未改写的扩展块，转步骤7)；否则执行下一步骤5)。

5)执行每个改写扩展块分配的Cache区中的重定向地址，索引该扩展块重定向地址表RIA的第K个元素，如果元素值为空指针，说明对该块的改写操作非第K个工作站施加，则直接从SSD中读取未改写的扩展块，转步骤7)；如果元素值非空，说明第K个工作站对该块施加了改写操作，元素值即为改写块的重定向地址，通过此地址，读取位于HDD硬盘上该工作站私有数据区WPDA内的改写数据块，转步骤7)。

6)若工作站的I/O命令为写操作，利用write-back回写方式先将写数据暂存在Cache页，再延迟写数据块。如果是第一次写扩展块，则置位扩展块改写标识线性表的第i位，同时申请一个与工作站数量n相关的该扩展块重定向地址表RIA[n]。在与工作站K对应的私有数据区WPDA中获得空闲扩展块，并将改写的数据延迟存入该块，其块地址注册到RIA队列的RIA[k]元素中，转步骤8)；如果是对改写块的再次写，则在其相应重定向地址处进行延迟覆盖写，转步骤8)。

7)服务器将从SSD读到的未改写扩展块一方面以Cache页的方式保存在Cache区，另一方面发送给相应的工作站，转步骤8)。

8)判断步骤3)所述的本次I/O操作的所有扩展块是否都处理完毕，是，转步骤9)；否则，重复步骤4)-7)。

9)结束。

与现有技术相比，本发明可达到以下技术效果：

1)无盘工作站服务器混合磁盘存储结构，SSD存储很少改变的供多个工作站共享读取的系统数据，HDD存储与每个工作站相关的频繁改写的属性或私有数据。充分利用了SSD快速的读性能和HDD可靠的、持久的、随机的写性能。

2)将对SSD的写操作重定向到HDD硬盘，充分利用HDD与SSD匹配的写性能，避免了频繁的小数据块写操作对SSD的损耗，延长SSD操作寿命。

3)充分利用大容量主存作Cache，提高读数据块在Cache中的命中率，并在Cache中聚合小数据块，通过write-back应答写操作，显著降低频繁的小数据块回写磁盘概率。进一步提升无盘工作站读写性能。

附图说明

图1无盘网络服务器混合磁盘存储结构图；

图2扩展块结构图；

图3主存中Cache页布局图；

图4SSD共享区和HDD工作站私有区域划分；

图5工作站系统映像构造图；

图6工作站启动与运行过程服务器数据读写流程图。

具体实施方式

图4所示为SSD共享区和HDD工作站私有区域划分。所有工作站读取的系统数据绝大部分位于SSD内，各个工作站有自身的私有数据保存在HDD内。HDD划分为三个区：第一区为扩展块改写标识线性表，第二区为各个工作站对每个扩展块改写后的重定向地址索引，第三区为各个工作站的私有数据区。每个工作站在启动过程中将对位于SSD内的共享区存在回写操作，为避免各个工作站的回写对共享区造成的数据不一致，通过构造扩展块改写标识位来识别改写操作。在按扩展块对SSD共享区进行寻址和编码后，SSD共享区内的每个扩展块对应有1位来识别该扩展块是否被改写，若有工作站对某扩展块进行了改写，则相应标识置位，否则为0。将SSD的所有扩展块改写标识位组合构成一有序线性表，序号对应扩展块编号，该线性表保存在HDD硬盘的第一区。第二区的重定向地址索引用来注册各个工作站对SSD的某些扩展块改写后的重定向块地址。该区有多个一维有序队列组成，队列元素编号对应工作站编号，队列元素值为重定向地址，若工作站对某个扩展块没有修改，则该地址为空，否则在与工作站编号对应的队列元素处注册改写块存放的地址，队列元素大小为4个字节，队列数等于SSD扩展块数。第三区为各个工作站私有数据区，存放每个工作站对SSD共享区扩展块的改写数据实体，改写数据实体存储块的地址注册到相应的队列元素中。

图5所示为无盘工作站启动过程构造完整的系统映像。服务器初始化时，先从HDD硬盘的第一区读取SSD分区的扩展块改写标识线性表到主存中，在某一工作站启动过程中，服务器将工作站I/O请求转换成扩展块号和Cache页号，以SSD扩展块改写标识位为依据，对于改写块，从位于HDD硬盘上的重定向索引区和工作站私有数据区读出SSD扩展块的改写数据到Cache页；对于非改写块，直接读SSD扩展块到Cache页。工作站的系统映像物理上是由绝大多数SSD扩展块(90％以上)与对SSD扩展块改写之后的位于HDD上的重定向扩展块组成的集合。

图6是本发明在服务器初始化完成后，每次启动与运行无盘工作站，服务器接收到工作站对混合磁盘的I/O请求时的数据读写流程图，具体步骤如下：

(1)获得工作站编号；

(2)工作站的I/O请求块地址转换为扩展块号和Cache页号；

(3)计算出工作站I/O请求在SSD硬盘的起始和结束扩展块号以及请求的LBA在起始扩展块内的字节偏移；

(4)解析工作站的I/O命令，如为读操作，检查扩展块改写标识线性表，如该扩展块号对应的位为0，直接从SSD中读取未改写的扩展块，转步骤7；否则按顺序执行；

(5)检查该改写扩展块的重定向地址，如果为空指针，说明对该块的改写操作非该工作站施加，则直接从SSD中读取未改写的扩展块，转步骤7；如非空，则根据此重定向地址读取HDD硬盘上该工作站私有数据区内的改写数据块，转步骤7；

(6)若工作站的I/O命令为写操作，利用write-back回写方式先将写数据暂存在Cache页，再延迟写数据块。如果是第一次写扩展块，则置位扩展块改写标识线性表的相应位，同时申请一个与工作站数量相关的该扩展块重定向地址表。在与该工作站对应的私有数据区中获得空闲扩展块，并将改写的数据延迟存入该块，其块地址注册到该扩展块重定向地址表中，转步骤8；如果是对改写块的再次写，则在其相应重定向地址处进行延迟覆盖写，转步骤8；

(7)读到的数据块一方面以Cache页的方式保存在Cache区，另一方面发送给相应的工作站，转步骤8；

(8)判断本次I/O操作的所有扩展块是否都处理完毕，是，转步骤9；否则，重复步骤4～步骤7；

(9)结束。

Claims

1.一种基于SSD和HDD混合存储的无盘网络服务器数据分布方法，其特征在于，该方法为：

1）将固态硬盘SSD导出，作为无盘网络中所有的工作站共享的系统盘，安装无盘工作站共享的操作系统和应用软件；

2）在HDD硬盘上为每个SSD硬盘分区的扩展块分配一个改写重定向表，及为每个无盘工作站分配一个私有数据区；

3) 在主存中为每个改写扩展块分配一个Cache区；

4）服务器初始化完成后，每次启动与运行无盘工作站，服务器接收到工作站对混合磁盘的I/O请求时进行数据读写，进行数据读写的步骤为：

4.1）获得工作站编号；

4.2）服务器将工作站的I/O请求块地址转换为扩展块号和Cache页号；

4.3）计算出工作站I/O请求在SSD硬盘的起始和结束扩展块号以及请求的逻辑块地址LBA在起始扩展块内的字节偏移；

4.4）解析工作站的I/O命令，如为读操作，检查扩展块改写标识线性表，如该扩展块号对应的位为0，直接从SSD中读取未改写的扩展块，转步骤4.7），否则按顺序执行；

4.5）检查该改写扩展块的重定向地址，如果为空指针，说明对该块的改写操作非该工作站施加，则直接从SSD中读取未改写的扩展块, 转步骤4.7），如非空，则根据此重定向地址读取HDD硬盘上该工作站私有数据区内的改写数据块, 转步骤4.7）；

4.6）若工作站的I/O命令为写操作，利用write-back回写方式先将写数据暂存在Cache页，再延迟写数据块，如果是第一次写扩展块，则置位扩展块改写标识线性表的相应位，同时申请一个与工作站数量相关的扩展块重定向索引区，在与该工作站对应的私有数据区中获得空闲扩展块，并将改写的数据延迟存入该块，其块地址注册到该扩展块重定向索引区中，转步骤4.8），如果是对改写块的再次写，则在其相应重定向地址处进行延迟覆盖写，转步骤4.8）；

4.7）读到的数据块一方面以Cache页的方式保存在Cache区，另一方面发送给相应的工作站，转步骤4.8）；

4.8）判断本次I/O操作的所有扩展块是否都处理完毕，是，转步骤4.9），否则，重复步骤4.4）~ 4.7）；

4.9）结束。

2.根据权利要求1所述的基于SSD和HDD混合存储的无盘网络服务器数据分布方法，其特征在于，安装无盘工作站共享的操作系统和应用软件的步骤为：

1）在无盘网络服务器的系统盘上安装Linux操作系统，并安装SAN目标器和卷管理器驱动程序，卷管理器将SSD硬盘映射为可供工作站共享的逻辑磁盘；

2）启动某一台带有光驱的无盘工作站，通过工作站扩展的ROM BIOS将工作站I/O请求重定向到服务器，ROM BIOS将服务器上的SSD硬盘映射为本地磁盘，通过光驱安装盘将该映射磁盘划分一个容量大小为20GB至40GB的NTFS分区，并安装供工作站启动和运行的操作系统和应用软件。

3.根据权利要求1所述的基于SSD和HDD混合存储的无盘网络服务器数据分布方法，其特征在于，在HDD硬盘上为每个SSD硬盘分区的扩展块分配一个改写重定向表及为每个无盘工作站分配一个私有数据区的步骤为：

1）系统管理员通过应用程序接口API设定卷管理器的扩展块由连续的多个逻辑块构成，工作站对映射磁盘的I/O请求将通过扩展块寻址，来自工作站的I/O命令中的逻辑块地址LBA被转换成所对应的扩展块号和Cache页号；

2）卷管理器根据固态硬盘SSD的NTFS分区容量大小，算出该分区的扩展块块数，并将该分区按扩展块号编址；

3）卷管理器构造SSD分区的扩展块改写标识位，将SSD的所有扩展块改写标识位组合构成一有序线性表，序号对应扩展块编号；

4）卷管理器为每个SSD的NTFS分区扩展块在HDD硬盘上分配一个重定向索引区RIA，用来注册多个工作站对该扩展块改写后的重定向块地址；

5）卷管理器为每个工作站在HDD硬盘上分配一个工作站私有数据区WPDA，存放该工作站对SSD的NTFS分区扩展块的改写数据实体，改写数据实体存储块的地址注册上述的RIA队列元素中；

6）在无盘工作站启动过程中，服务器上的卷管理器根据SSD扩展块改写标识位，从位于HDD硬盘上的重定向索引区RIA和工作站私有数据区WPDA读出SSD扩展块的改写数据，构造该工作站完整的系统映像。

4.根据权利要求1所述的基于SSD和HDD混合存储的无盘网络服务器数据分布方法，其特征在于，在主存中为每个改写扩展块分配一个Cache区的步骤为：

1）服务器上的卷管理器初始化过程中从HDD硬盘的特定区域读取SSD分区的扩展块改写标识线性表到主存中，并快速扫描该线性表；

2）卷管理器通过位的编号识别出扩展块号，将SSD的所有扩展块改写标识位组合构成一有序线性表，序号对应扩展块编号；

3）卷管理器在主存中为每个改写扩展块分配一个Cache区，并提前从HDD硬盘中将改写扩展块的重定向地址预取到该Cache中；

4）卷管理器从未使用的内存中分配Cache。