CN103186350A - 混合存储系统及热点数据块的迁移方法 - Google Patents

Abstract

本发明提供一种混合存储系统，包括：至少一个固态硬盘SSD、至少一个机械硬盘以及控制模块；所述控制模块用于将所述机械硬盘中的热点数据块迁移到所述SSD，以及，将所述SSD中的非热点数据块迁移到所述机械硬盘，其中，所述热点数据块为被访问频率高于其他数据块的数据块，所述非热点数据块为被访问频率低于其他数据块的数据块。本发明提供的混合存储系统及热点数据块的迁移方法，通过SSD缓存机械硬盘中的热点数据块，有效提高了SSD的利用率和混合存储系统的性能，同时，降低了混合存储系统的成本。

Description

混合存储系统及热点数据块的迁移方法

技术领域

本发明属于计算机存储技术领域，具体涉及一种混合存储系统及热点数据块的迁移方法。

背景技术

机械硬盘作为一种传统普通硬盘，主要由：盘片、磁头、盘片转轴及控制电机、磁头控制器、数据转换器和接口等几个部分组成。机械硬盘具有的优点为成本低廉、容量大；但缺点为：数据访问速度较慢。

针对机械硬盘具有的数据访问速度较慢的缺点，目前，SSD(Solid State Disk，固态硬盘)作为一种具有快速的数据访问速度的硬盘，已逐渐应用于计算机中。虽然SSD的数据访问速度较快，但与机械硬盘相比，具有成本高、容量小的缺点，由此限制了SSD的广泛推广使用。

因此，如何设计出一种同时具有机械硬盘和SSD优点的存储系统，从而在降低存储设备成本的同时，提高存储设备的数据访问速度，是目前亟需解决的问题。

发明内容

针对现有技术存在的缺陷，本发明提供一种混合存储系统及热点数据块的迁移方法，通过SSD缓存机械硬盘中的热点数据块，有效提高了SSD的利用率和混合存储系统的性能，同时，降低了混合存储系统的成本。

本发明所采用的技术方案如下：

本发明提供一种混合存储系统，包括：至少一个固态硬盘SSD、至少一个机械硬盘以及控制模块；所述控制模块用于将所述机械硬盘中的热点数据块迁移到所述SSD，以及，将所述SSD中的非热点数据块迁移到所述机械硬盘，其中，所述混合存储系统中一共有H个数据块，将所述H个数据块按被访问频率由高到低排列，所述热点数据块为被访问频率位于前M的数据块，所述非热点数据块为被访问频率位于后N的数据块，其中，H≥M，H≥N。

本发明还提供一种应用上述混合存储系统的热点数据块的迁移方法，所述控制模块包括：热点数据块区分模块、请求分发模块、迁移触发模块和数据块迁移模块，所述热点数据块的迁移方法包括以下步骤：

S1，所述热点数据块区分模块创建并维护第一映射表和第二映射表，其中，所述第一映射表用于记录与所述SSD或所述机械硬盘中每一个数据块对应的元素；所述第二映射表用于记录与所述SSD或所述机械硬盘中的每一个热点数据块对应的元素；其中，所述元素用于记录与该元素对应的数据块的被访问信息；所述被访问信息包括：热度值；

当所述热点数据块区分模块每次接收到目标数据块的访问请求时，均更新所述第一映射表和所述第二映射表，然后将该目标数据块的访问请求发送给所述请求分发模块；

S2，所述请求分发模块判断所述SSD中是否已存在所述目标数据块，如果判断结果为是，则将该目标数据块的访问请求发送给所述SSD中的所述目标数据块，否则，将该目标数据块的访问请求发送给所述机械硬盘中的所述目标数据块；同时，更新与所述目标数据块对应的失效次数值，其中，所述失效次数值为将该目标数据块的访问请求发送给所述机械硬盘中的所述目标数据块的次数；

S3，所述迁移触发模块获取S1中与所述目标数据块对应的所述元素中记录的热度值以及S2中所述失效次数值，判断是否达到迁移触发条件，如果达到，则向所述数据块迁移模块发出数据块迁移指令；

S4，所述数据块迁移模块接收到所述数据块迁移指令时，将所述SSD中的非热点数据块迁移到所述机械硬盘中，或，将所述机械硬盘中的热点数据块迁移到所述SSD中。

优选的，所述第一映射表和所述第二映射表采用索引结构的形式存储元素；其中，所述第一映射表采用基树和/或B树和/或红黑树的索引结构，其中，其索引关键字为所述元素对应的数据块在机械硬盘上的逻辑地址；所述第二映射表采用B+树索引结构，其索引关键字为所述元素中记录的所述热度值。优选的，S1中，当所述热点数据块区分模块每次接收到目标数据块的访问请求时，均更新所述第一映射表，具体为：当接收到所述目标数据块的访问请求时，查找预先建立的第一映射表，判断所述第一映射表中是否已记录与所述目标数据块唯一对应的目标元素，如果判断结果为是，则更新所述目标元素；如果判断结果为否，则向所述第一映射表中增加与所述目标数据块唯一对应的所述目标元素；

当所述热点数据块区分模块每次接收到目标数据块的访问请求时，均更新所述第二映射表，具体为：当接收到所述目标数据块的访问请求时，查找预先建立的第二映射表，判断所述第二映射表中是否已记录与所述目标数据块唯一对应的目标元素，如果判断结果为是，则更新所述目标元素；如果判断结果为否，则进一步判断所述第二映射表是否已满，如果判断结果为否，则向所述第二映射表中增加与所述目标数据块唯一对应的所述目标元素；如果判断结果为是，则获取所述第二映射表中具有最小热度值的元素，然后，比较所述目标数据块的当前热度值是否大于所述最小热度值，如果判断结果为是，则删除所述第二映射表中所述具有最小热度值的元素，并向所述第二映射表中增加与所述目标数据块对应的元素。

优选的，所述元素中记录的所述热度值的计算方法为：

S11，创建并维护与每一个所述元素唯一对应的单元数组，所述单元数组由多个单元组成，每个单元对应的时间跨度M均相同；每个单元均记录以下两项内容：该单元的开始时间戳C；在与该单元对应的时间跨度内，与该元素对应的数据块的被访问的次数T；其中，所述单元的开始时间戳为该数据块在与该单元对应的时间跨度内首次被访问的时间点，所述单元数组中的各个单元按C值的先后顺序排列；

其中，维护的具体方法为：当在时间点D接收到所述目标数据块的访问请求时，查找与所述目标数据块对应的目标单元数组，获取该目标单元数组中最后一个有效单元，读取该有效单元的开始时间戳C1，如果D小于C1+M，则用T+1更新所述有效单元中记录的T，获得新的T值，否则，向所述目标单元数组中申请一个新的单元，且该新的单元的C值即为D值，该新的单元的T值为1；

S12，根据以下公式计算热度值：

热度值＝∑(每个单元中记录的访问次数*f(ti))，其中，f(ti)＝(C-系统初始化时间)/M，系统初始化时间为将所述控制模块加载到操作系统的时间。

优选的，所述数据块迁移模块接收到所述数据块迁移指令时，将所述SSD中的非热点数据块迁移到所述机械硬盘中，或，将所述机械硬盘中的热点数据块迁移到所述SSD中，具体为：

S41，所述数据块迁移模块创建并维护SSD映射表，所述SSD映射表用于记录与所述SSD中所有数据块对应的元素；所述SSD映射表中每一个元素对应三个属性：该元素对应的数据块在SSD中的逻辑地址、该元素对应的数据块在机械硬盘中的逻辑块地址、该元素对应的数据块在SSD中的状态，其中，该元素对应的数据块在SSD中的状态包括：“干净”状态、“脏”状态和无效状态，所述“干净”状态表示该元素对应的数据块在SSD中与在机械硬盘中存储的内容一致，所述“脏”状态表示该元素对应的数据块在SSD中与在机械硬盘中存储的内容不一致，所述无效状态表明该该元素对应的数据块在SSD中为空白数据块；

其中，所述SSD映射表维护的具体方法为：当所述SSD中第一数据块被迁移到所述机械硬盘时，删除所述SSD中与所述第一数据块对应的元素；当所述机械硬盘中的第二数据块被迁移到所述SSD时，向所述SSD映射表中增加与所述第二数据块对应的元素；

S42，所述数据块迁移模块将所述第二映射表记录的元素加入到移入队列，将所述SSD映射表中记录的元素加入到移出队列；判断所述移入队列和所述移出队列中是否存在相同的元素，如果存在，则从所述移入队列和所述移出队列中同时删除所述相同的元素，得到新的移入队列和新的移出队列，然后执行S43；如果不存在，则直接执行步骤S43；

S43，所述数据块迁移模块遍历S42得到的所述移入队列中所有元素，读取每个元素对应的机械硬盘中的数据块，并将该数据块写入SSD中，同时在SSD映射表中增加与该数据块对应的元素；

所述数据块迁移模块遍历S42得到的所述移出队列中所有元素，读取每个元素对应的SSD中的数据块，判断读取到的数据块对应的元素在SSD映射表中的状态，如果状态为“干净”，则执行S44；如果状态为“脏”，则执行S45；

S44，将读取到的数据块对应的元素在SSD映射表中的状态设置为所述无效状态；

S45，将读取到的SSD中的数据块写回到机械硬盘中的对应数据块中，同时，删除SSD映射表中与该数据块对应的元素。

优选的，S41之后，还包括：

当所述请求分发模块接收到所述目标数据块的访问请求时，查找所述SSD映射表，判断所述SSD映射表中是否存在与所述目标数据块对应的目标元素，如果存在，则进一步判断所述目标元素的状态是否为无效状态，如果不是，则将该目标数据块的访问请求发送给所述SSD中，然后，当该目标数据块的访问请求为写请求时，设置SSD映射表中与该目标数据块对应的元素的状态为“脏”状态；如果不存在，则直接将该目标数据块的访问请求发送给所述机械硬盘中。

优选的，S43之后，还包括：

S46，当所述请求分发模块接收到所述目标数据块的访问请求时，查找所述移入队列和所述移出队列，判断所述目标数据块是否正在被所述数据块迁移模块迁移，如果判断结果为否，则执行S47，如果判断结果为是，则执行S48-S51；

S47，查找所述SSD映射表，判断该目标数据块是否已经被映射到SSD中，如果判断结果为是，则将该目标数据块的访问请求发往至SSD，否则，将该目标数据块的访问请求发往至机械硬盘中，然后结束流程；

S48，比较该目标数据块的请求大小和操作系统页面的大小，如果前者小，则等待所述数据块迁移模块的迁移过程完成，然后执行S47，否则，执行S49-S51；

S49，判断该目标数据块的访问请求是否为读请求，如果判断结果为是，则执行S50；如果判断结果为否，则执行S51；

S50，查找该目标数据块对应的元素是否位于所述移出队列中，如果是，则将该目标数据块的访问请求发往SSD，否则，将该目标数据块的访问请求发往所述机械硬盘，并结束流程；

S51，判断所述目标数据块是否位于所述移出队列中，如果判断结果为是，则从所述SSD映射表中删除与该目标数据块对应的元素，并将该目标数据块的访问请求发往机械硬盘中；如果判断结果为否，则将所述SSD映射表中与所述目标数据块对应的元素状态标记为“脏”状态，并将该目标数据块的访问请求发往所述SSD中，结束流程。

本发明的有益效果如下：

本发明提供的混合存储系统及热点数据块的迁移方法，具备以下优点：

(1)混合存储系统性价比高。将SSD作为机械硬盘的缓存，少量的SSD空间被用来缓存大部分访问频率高和时间局部性较高的数据块，即：热点数据块，由于SSD的顺序读写和随机读性能优于机械硬盘，因此提高了混合存储系统的整体访问性能；又由于SSD的数量远少于机械硬盘的数量，所以，降低了混合存储系统的整体成本。

(2)区分热点数据块的效率高。由于传统的热点数据块的区分方法中，或者仅考虑了最近一次被访问的时间，导致周期性访问的数据难以驻留在缓存中；或者仅考虑了数据块的被访问频率，导致无法区分被访问的时间局部性。而本发明所述的热点数据块区分机制中，综合了数据块被访问的时间局部性和频率局部性的特点，从而提高了缓存数据的命中率和系统的整体性能。

(3)数据块迁移灵活度高。本发明通过一个专用的迁移触发模块来启动数据块迁移，因此可以根据系统的具体情况，如失效次数和迁移时间等，自动调整迁移时机。而本发明所述的数据块迁移过程，处理了迁移过程与前端用户IO请求的冲突，减少了冲突引起的性能降低情况。并且，本发明所述的数据块迁移过程，无须修改上层文件系统的元数据，可以透明支持多种文件系统。

附图说明

图1为本发明实施例提供的混合存储系统的一种结构示意图；

图2为本发明实施例提供的混合存储系统的另一种结构示意图；

图3为本发明实施例提供的当第一映射表采用基树的索引结构时的索引图；

图4为本发明实施例提供的当第二映射表采用B+树的索引结构时的索引图；

图5为本发明实施例提供的SSD映射表的一种示意图；

图6为本发明实施例提供的混合存储系统对目标数据块的访问请求的处理方法的流程示意图；

图7为本发明实施例提供的数据块迁移模块和IO分割模块对数据块进行处理的流程示意图。

具体实施方式

以下结合附图对本发明的具体实施方式进行说明。

本发明实施例提供一种混合存储系统，包括：至少一个固态硬盘SSD、至少一个机械硬盘以及控制模块；所述控制模块用于将所述机械硬盘中的热点数据块迁移到所述SSD，以及，将所述SSD中的非热点数据块迁移到所述机械硬盘，其中，所述混合存储系统中一共有H个数据块，将所述H个数据块按被访问频率由高到低排列，所述热点数据块为被访问频率位于前M的数据块，所述非热点数据块为被访问频率位于后N的数据块，其中，H≥M，H≥N。

其中，本发明涉及到的SSD可以基于NAND或者NOR等flash存储介质，具有较高的随机读和顺序读写访问性能，通过SSD缓存机械硬盘中的热点数据块，从而提高存储系统的性价比。

需要说明的是，本发明实施例提供的混合存储系统中，可以包含多个SSD和多个机械硬盘，并且，将多个机械硬盘分成若干组，每一组的机械硬盘与一个SSD连接，如图1所示，其中一组机械硬盘中包括5个机械硬盘，1个SSD与5个机械硬盘连接，通过一个SSD实现对5个机械硬盘的缓存，从而进一步提高存储系统的性价比。

进一步的，如图1所示，SSD与前端主机相连接，前端主机的文件系统或者数据库发送IO请求给混合存储系统，混合存储系统将一个或者多个机械硬盘以逻辑卷的方式导出给前端主机，前端主机利用传统的块访问接口访问混合存储系统导出的逻辑卷。其中，本发明将多个机械硬盘组织称为一个逻辑卷，也可以称为RAID混合存储系统卷；前端主机是一组访问混合存储系统的计算机，可以是个人电脑、数据中心的服务器等。

另外，热点数据块、非热点数据块的详细定义以及数据块迁移的具体方法将在下面提供的热点数据块的迁移方法中详细介绍，在此不再介绍。

本发明还提供一种应用上述混合存储系统的热点数据块的迁移方法，如图2所示，控制模块包括：热点数据块区分模块、请求分发模块、迁移触发模块和数据块迁移模块，所述热点数据块的迁移方法包括以下步骤：

步骤101，热点数据块区分模块创建并维护第一映射表和第二映射表，其中，所述第一映射表用于记录与所述SSD或所述机械硬盘中每一个数据块对应的元素；所述第二映射表用于记录与所述SSD或所述机械硬盘中的每一个热点数据块对应的元素；其中，所述元素用于记录与该元素对应的数据块的被访问信息；所述被访问信息包括：热度值；当所述热点数据块区分模块每次接收到目标数据块的访问请求时，均更新所述第一映射表和所述第二映射表，然后将该目标数据块的访问请求发送给所述请求分发模块。

本步骤中，热点数据块区分模块为每一个被访问的位于机械硬盘或者SSD中的数据块均设置一个元素，该元素用于记录与该元素对应的数据块的被访问信息，其中，被访问信息包括但不限于：被访问的数据块对应的元素的热度值、被访问的数据块在机械硬盘上的逻辑地址、被访问的数据块在一段时间内的访问次数、被访问的数据块最近被访问n次的被访问时间(n≥1)。为使每一个被访问的数据块对应的元素所记录的被访问信息具有实时性，每当一个数据块被访问时，需要实时更新与该数据块对应的元素。另外，后续介绍被访问的数据块对应的元素的热度值的计算方法。

热点数据块区分模块所设置的元素可以采用映射表的方式存储，从而方便查找。具体的，热点数据块区分模块创建并维护第一映射表和第二映射表，第一映射表和所述第二映射表采用索引结构的形式存储元素，由于第一映射表记录与所述SSD或所述机械硬盘中每一个数据块对应的元素，所以，第一映射表采用基树和/或B树和/或红黑树的索引结构，其索引关键字为所述元素对应的数据块在机械硬盘上的逻辑地址；由于第二映射表记录与所述SSD或所述机械硬盘中的每一个热点数据块对应的元素，所以第二映射表可以采用B+树索引结构，其索引关键字为所述元素中记录的所述热度值。如图3所示，为当第一映射表采用基树的索引结构时的索引图，，该基树以元素记录的逻辑地址为索引；如图4所示，为当第二映射表采用B+树的索引结构时的索引图，其采用一棵叶节点个数为K的B+树，索引热度值最高的K个元素，该B+树以元素的热度值为索引，其中，热度值最高的K个元素所对应的数据块即为本发明所涉及到的热点数据块。

当所述热点数据块区分模块每次接收到目标数据块的访问请求时，均更新所述第一映射表，更新的具体方法包括以下步骤：当接收到所述目标数据块的访问请求时，查找预先建立的第一映射表，判断所述第一映射表中是否已记录与所述目标数据块唯一对应的目标元素，如果判断结果为是，则更新所述目标元素；如果判断结果为否，则向所述第一映射表中增加与所述目标数据块唯一对应的所述目标元素。

当所述热点数据块区分模块每次接收到目标数据块的访问请求时，均更新所述第二映射表，更新的具体方法包括以下步骤：当接收到所述目标数据块的访问请求时，查找预先建立的第二映射表，判断所述第二映射表中是否已记录与所述目标数据块唯一对应的目标元素，如果判断结果为是，则更新所述目标元素；如果判断结果为否，则进一步判断所述第二映射表是否已满，如果判断结果为否，则向所述第二映射表中增加与所述目标数据块唯一对应的所述目标元素；如果判断结果为是，则获取所述第二映射表中具有最小热度值的元素，然后，比较所述目标数据块的当前热度值是否大于所述最小热度值，如果判断结果为是，则删除所述第二映射表中所述具有最小热度值的元素，并向所述第二映射表中增加与所述目标数据块对应的元素。

以图3和图4为例，介绍对第一映射表和第二映射表更新的一种具体实现方式：如图3所示，当目标数据块访问请求到达时，热点数据块区分模块能快速地根据该目标数据块所携带的逻辑地址索引基树，判断在该基树中是否存在与该目标数据块对应的目标元素，如果该目标数据块所对应的目标元素没有在基树中，那么分配和构建一个新的目标元素，并插入到基树中；如果在该基树中已存在与该目标数据块对应的目标元素，则直接更新该目标元素记录的被访问信息。根据这些被访问信息，热点数据块区分模块计算出目标数据块的热度值，并且统计出热度值最高的K个数据块，并将这K个数据块所对应的元素由一棵B+树索引。如图4所示，该B+树以每个数据块的热度值为关键字，每个叶节点是一个元素，因此热度值在前K位的数据块所对应的元素，不仅被基树索引，同时也被B+树索引。对B+树的更新方式为：当一个新的数据块请求到达时，热数据区分模块更新该数据块在元素中保存的热度值，如果更新后的热度值比B+树中最小的热度值要大，并且该元素未被B+树索引，那么B+树中热度值最小的元素被从B+树中删除，而刚请求的数据块所对应的元素被插入B+树中。图4中，N表示节点，如N25表示节点25的指针，L表示热度值，如L702表示叶节点对应的元素的热度值为702，key表示键值。如果机械硬盘的空间较大，基树的大小也会相应较大，基树的结构中可以加入一个元素缓存，该元素缓存中存储的所有元素以数据块的热度值为序排列，如果一个元素排列在序列队尾，那么它将被周期性地清理出该序列，直到对应的数据块被访问时，新的元素被重新构建，并加入基树。

在具体实现上，每个元素的结构体描述如下：

其中，元素对应的数据块逻辑地址fs_lbn记录该元素对应的机械硬盘中的数据块逻辑地址，该地址是唯一的，因此可以用于进行元素在基树中的检索。元素的历史访问时间通过last_acc数组记录，每次数据块被访问时，访问时间将被记录到该数组中。每次访问时候，元素对应的热度值tmp_rank通过历史访问时间数组计算出来。数据块的历史访问时间数组last_acc的大小HISTORY_SIZE可以根据用户需求调整。

在具体实现上，基树可以采用以下方式描述：

其中，height对应基树的高度，count表示节点中有效槽的个数，slot表示每个槽的指针地址，而tag表示槽的状态。因此通过基树的根节点和根节点中的slot指针，可以从基树的根节点开始索引该基树。

另外，元素中记录的热度值的计算方法可以包括以下步骤：

步骤201，创建并维护与每一个所述元素唯一对应的单元数组，所述单元数组由多个单元组成，每个单元对应的时间跨度M均相同；每个单元均记录以下两项内容：该单元的开始时间戳C；在与该单元对应的时间跨度内，与该元素对应的数据块的被访问的次数T；其中，所述单元的开始时间戳为该数据块在与该单元对应的时间跨度内首次被访问的时间点，所述单元数组中的各个单元按C值的先后顺序排列；

其中，维护的具体方法为：当在时间点D接收到所述目标数据块的访问请求时，查找与所述目标数据块对应的目标单元数组，获取该目标单元数组中最后一个有效单元，读取该有效单元的开始时间戳C1，如果D小于C1+M，则用T+1更新所述有效单元中记录的T，获得新的T值，否则，向所述目标单元数组中申请一个新的单元，且该新的单元的C值即为D值，该新的单元的T值为1。

步骤202，根据以下公式计算热度值：

热度值＝∑(每个单元中记录的访问次数*f(ti))，其中，f(ti)＝(C-系统初始化时间)/M，系统初始化时间为将所述控制模块加载到操作系统的时间。

其中，f(ti)为系统时间的对数，用于计算IO请求的时间局部性。每一个时间值ti对应于单元数据中的一个单元，其计算方法为：(单元的开始时间戳-系统初始化时间)/时间跨度的长度，而f(ti)则表示为logn(ti)，其中n大于1。

热点数据块区分模块，根据系统时间的对数f(ti)，计算IO请求的时间局部性。每一个时间值ti对应于单元数组中的一个单元，同时也考虑数据块的访问频率，最终的热度值计算方法为：∑(每个单元中记录的访问次数*f(ti))，即所有单元格中记录的访问次数与系统时间对数函数的结果相乘得到的总和。

因此，本发明中，热度值的计算结果为单元数组中所有单元格中记录的被访问次数与系统时间对数函数的结果相乘得到的总和。

由于传统的热点数据块的区分方法中，或者仅考虑了最近一次被访问的时间，导致周期性访问的数据难以驻留在缓存中；或者仅考虑了数据块的被访问频率，导致无法区分被访问的时间局部性。而本发明所述的热点数据块区分机制中，综合了数据块被访问的时间局部性和频率局部性的特点，从而提高了缓存数据的命中率和系统的整体性能。

步骤102，所述请求分发模块判断所述SSD中是否已存在所述目标数据块，如果判断结果为是，则将该目标数据块的访问请求发送给所述SSD中的所述目标数据块，否则，将该目标数据块的访问请求发送给所述机械硬盘中的所述目标数据块；同时，更新与所述目标数据块对应的失效次数值，其中，所述失效次数值为将该目标数据块的访问请求发送给所述机械硬盘中的所述目标数据块的次数；

步骤103，所述迁移触发模块获取步骤101中与所述目标数据块对应的所述元素中记录的热度值以及步骤102中所述失效次数值，判断是否达到迁移触发条件，如果达到，则向所述数据块迁移模块发出数据块迁移指令；

具体的，迁移触发模块主要负责触发数据块迁移的过程，它允许系统提供多种迁移策略，减少混合存储系统在进行数据块迁移的过程中对前端主机IO请求的性能影响。本发明提供的为一种混合存储系统中基于热度值的和失效次数的混合策略，基于热度值的策略是，当从上次迁移完成到当前的时间超过一个阈值时，该数据块对应的热度值会被降低到一个门限值，从而触发迁移过程，因此可以提高时间局部性较高的数据块被迁移进SSD的概率，而基于失效次数的方法是，当一段时间内数据块的请求到达机械硬盘的次数超过阈值时，迁移将被触发，因此可以降低缓存数据不恰当的时候，前端主机IO请求性能被影响的概率。

步骤104，所述数据块迁移模块接收到所述数据块迁移指令时，将所述SSD中的非热点数据块迁移到所述机械硬盘中，或，将所述机械硬盘中的热点数据块迁移到所述SSD中。

数据块迁移模块接收到所述数据块迁移指令时，将所述SSD中的非热点数据块迁移到所述机械硬盘中，或，将所述机械硬盘中的热点数据块迁移到所述SSD中，具体包括以下步骤：

步骤301，所述数据块迁移模块创建并维护SSD映射表，所述SSD映射表用于记录与所述SSD中所有数据块对应的元素；如图5所示，为SSD映射表的一种示意图，该SSD映射表中每一个元素对应三个属性：该元素对应的数据块在SSD中的逻辑地址、该元素对应的数据块在机械硬盘中的逻辑块地址、该元素对应的数据块在SSD中的状态，其中，该元素对应的数据块在SSD中的状态包括：“干净”状态、“脏”状态和无效状态，所述“干净”状态表示该元素对应的数据块在SSD中与在机械硬盘中存储的内容一致，所述“脏”状态表示该元素对应的数据块在SSD中与在机械硬盘中存储的内容不一致，所述无效状态表明该元素对应的数据块在SSD中为空白数据块；

其中，所述SSD映射表维护的具体方法为：当所述SSD中第一数据块被迁移到所述机械硬盘时，删除所述SSD中与所述第一数据块对应的元素；当所述机械硬盘中的第二数据块被迁移到所述SSD时，向所述SSD映射表中增加与所述第二数据块对应的元素；

步骤302，所述数据块迁移模块将所述第二映射表记录的元素加入到移入队列，将所述SSD映射表中记录的元素加入到移出队列；判断所述移入队列和所述移出队列中是否存在相同的元素，如果存在，则从所述移入队列和所述移出队列中同时删除所述相同的元素，得到新的移入队列和新的移出队列，然后执行步骤303；如果不存在，则直接执行步骤303；

本步骤中，最终构造得到的移出队列中的元素为：处于SSD映射表中所有的数据块所对应的元素，并且该元素未存在于第二映射表中，由于第二映射表中记录的为热点数据块对应的元素，而SSD映射表中记录的为SSD中所有数据据块对应的元素，所以，最终构造得到的移出队列中的元素为SSD中非热点数据块所对应的元素，也就是需要从SSD迁移到机械硬盘的数据块所对应的元素。移入队列则记录所有需要从机械硬盘迁移到SSD的数据块所对应的所述元素。

最终构造得到的移入队列中的元素为：处于第二映射表中所有的数据块所对应的元素，并且该元素未存在于SSD映射表中。即，移入队列中的元素为未存在于SSD中的热点数据块所对应的元素，也就是需要从机械硬盘迁移到SSD的热点数据块所对应的元素。

步骤303，所述数据块迁移模块遍历步骤302得到的所述移入队列中所有元素，读取每个元素对应的机械硬盘中的数据块，并将该数据块写入SSD中，同时在SSD映射表中增加与该数据块对应的元素；

所述数据块迁移模块遍历步骤302得到的所述移出队列中所有元素，读取每个元素对应的SSD中的数据块，判断读取到的数据块对应的元素在SSD映射表中的状态，如果状态为“干净”，则执行步骤304；如果状态为“脏”，则执行步骤305；

步骤304，将读取到的数据块对应的元素在SSD映射表中的状态设置为所述无效状态；

步骤305，将读取到的SSD中的数据块写回到机械硬盘中的对应数据块中，同时，删除SSD映射表中与该数据块对应的元素；

由于请求分发模块和数据块迁移模块是两个并列的进程，所以，请求分发模块也可以直接对数据块的访问请求进行重定向，具体的，步骤301之后，还包括：

当所述请求分发模块接收到所述目标数据块的访问请求时，查找所述SSD映射表，判断所述SSD映射表中是否存在与所述目标数据块对应的目标元素，如果存在，则进一步判断所述目标元素的状态是否为无效状态，如果不是，则将该目标数据块的访问请求发送给所述SSD中，然后，当该目标数据块的访问请求为写请求时，设置SSD映射表中与该目标数据块对应的元素的状态为“脏”状态；如果不存在，则直接将该目标数据块的访问请求发送给所述机械硬盘中。

另外，步骤303之后，如图6所示，本发明提供一种混合存储系统对目标数据块的访问请求的处理方法，包括：

步骤401，当所述请求分发模块接收到所述目标数据块的访问请求时，查找所述移入队列和所述移出队列，判断所述目标数据块是否正在被所述数据块迁移模块迁移，如果判断结果为否，则执行步骤402，如果判断结果为是，则执行步骤403-步骤406；

步骤402，查找所述SSD映射表，判断该目标数据块是否已经被映射到SSD中，如果判断结果为是，则将该目标数据块的访问请求发往至SSD，否则，将该目标数据块的访问请求发往至机械硬盘中，然后结束流程；

步骤403，比较该目标数据块的请求大小和操作系统页面的大小，如果前者小，则等待所述数据块迁移模块的迁移过程完成，然后执行步骤402，否则，执行步骤404-406；

步骤404，判断该目标数据块的访问请求是否为读请求，如果判断结果为是，则执行步骤405；如果判断结果为否，则执行步骤406；

步骤405，查找该目标数据块对应的元素是否位于所述移出队列中，如果是，则将该目标数据块的访问请求发往SSD，否则，将该目标数据块的访问请求发往所述机械硬盘，并结束流程；

步骤406，判断所述目标数据块是否位于所述移出队列中，如果判断结果为是，则从所述SSD映射表中删除与该目标数据块对应的元素，并将该目标数据块的访问请求发往机械硬盘中；如果判断结果为否，则将所述SSD映射表中与所述目标数据块对应的元素状态标记为“脏”状态，并将该目标数据块的访问请求发往所述SSD中，结束流程。

需要说明的是，本发明实施例是以请求分发模块或热点数据块区分模块接收到数据块后，对数据块所作的处理。但本领域技术人员公知，如果请求分发模块或热点数据块区分模块接收到的为前端主机发送的IO请求时，还包括：请求分发模块或热点数据块区分模块对接收到的IO请求以扇区为单位进行划分，得到子请求，每一个子请求即为一个数据块的访问请求。

另外，如图7所示，为数据块迁移模块和IO分割模块对数据块进行处理的流程示意图，包括以下步骤：

步骤501，数据块迁移模块判断迁移进程是否正在退出，如果是，则执行步骤502，否则，执行步骤503-509；

步骤502，数据块迁移模块设置迁移进程为退出状态，并完成剩余的IO操作。

步骤503，数据块迁移模块根据SSD映射表计算SSD中的空闲块数；

步骤504，数据块迁移模块基于需要迁移的数据块构建迁移队列；

其中，构建的迁移队列包括：移入队列和移出队列；具体的构建方法为：首先将第二映射表中所有元素加入移入队列，将SSD映射表中每一项元素加入移出队列。然后，删除同时位于移入队列和移出队列中的元素，得到新的移入队列和移出队列，对新的移入队列和移出队列中的元素依次进行下述处理。

步骤505，判断迁移队列是否为移出队列，如果是，则对于移出队列中的每一个元素，执行步骤506，否则，执行步骤507-509。

步骤506，判断SSD映射表中与待移出元素对应项是否为“脏”状态，如果是，则删除SSD映射表中对应项，否则，执行步骤507-509。

步骤507，根据元素的逻辑地址构建一个新的数据块读请求，并发往SSD中；

步骤508，判断数据块读请求是否成功，如果否，则返回失败消息；否则，执行步骤509；

步骤509，判断当前进行的数据块迁移进程是否被中断，如果是，则返回失败消息；否则，根据构建的数据块读请求最终获得的数据，构建一个新的写请求，并发送到机械硬盘中。

综上所述，本发明提供的混合存储系统，具备以下优点：

(1)混合存储系统性价比高。将SSD作为机械硬盘的缓存，少量的SSD空间被用来缓存大部分访问频率高和时间局部性较高的数据块，即：热点数据块，由于SSD的顺序读写和随机读性能优于机械硬盘，因此提高了混合存储系统的整体访问性能；又由于SSD的数量远少于机械硬盘的数量，所以，降低了混合存储系统的整体成本。

(2)区分热点数据块的效率高。由于传统的热点数据块的区分方法中，或者仅考虑了最近一次被访问的时间，导致周期性访问的数据难以驻留在缓存中；或者仅考虑了数据块的被访问频率，导致无法区分被访问的时间局部性。而本发明所述的热点数据块区分机制中，综合了数据块被访问的时间局部性和频率局部性的特点，从而提高了缓存数据的命中率和系统的整体性能。

(3)数据块迁移灵活度高。本发明通过一个专用的迁移触发模块来启动数据块迁移，因此可以根据系统的具体情况，如失效次数和迁移时间等，自动调整迁移时机。而本发明所述的数据块迁移过程，处理了迁移过程与前端用户IO请求的冲突，减少了冲突引起的性能降低情况。并且，本发明所述的数据块迁移过程，无须修改上层文件系统的元数据，可以透明支持多种文件系统。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (8)

1.一种混合存储系统，其特征在于，包括：至少一个固态硬盘SSD、至少一个机械硬盘以及控制模块；所述控制模块用于将所述机械硬盘中的热点数据块迁移到所述SSD，以及，将所述SSD中的非热点数据块迁移到所述机械硬盘，其中，所述混合存储系统中一共有H个数据块，将所述H个数据块按被访问频率由高到低排列，所述热点数据块为被访问频率位于前M的数据块，所述非热点数据块为被访问频率位于后N的数据块，其中，H≥M，H≥N。

2.一种应用权利要求1所述混合存储系统的热点数据块的迁移方法，其特征在于，所述控制模块包括：热点数据块区分模块、请求分发模块、迁移触发模块和数据块迁移模块，所述热点数据块的迁移方法包括以下步骤：

S1，所述热点数据块区分模块创建并维护第一映射表和第二映射表，其中，所述第一映射表用于记录与所述SSD或所述机械硬盘中每一个数据块对应的元素；所述第二映射表用于记录与所述SSD或所述机械硬盘中的每一个热点数据块对应的元素；其中，所述元素用于记录与该元素对应的数据块的被访问信息；所述被访问信息包括：热度值；

当所述热点数据块区分模块每次接收到目标数据块的访问请求时，均更新所述第一映射表和所述第二映射表，然后将该目标数据块的访问请求发送给所述请求分发模块；

S2，所述请求分发模块判断所述SSD中是否已存在所述目标数据块，如果判断结果为是，则将该目标数据块的访问请求发送给所述SSD中的所述目标数据块，否则，将该目标数据块的访问请求发送给所述机械硬盘中的所述目标数据块；同时，更新与所述目标数据块对应的失效次数值，其中，所述失效次数值为将该目标数据块的访问请求发送给所述机械硬盘中的所述目标数据块的次数；

S3，所述迁移触发模块获取S1中与所述目标数据块对应的所述元素中记录的热度值以及S2中所述失效次数值，判断是否达到迁移触发条件，如果达到，则向所述数据块迁移模块发出数据块迁移指令；

S4，所述数据块迁移模块接收到所述数据块迁移指令时，将所述SSD中的非热点数据块迁移到所述机械硬盘中，或，将所述机械硬盘中的热点数据块迁移到所述SSD中。

3.根据权利要求2所述的方法，其特征在于，所述第一映射表和所述第二映射表采用索引结构的形式存储元素；其中，所述第一映射表采用基树和/或B树和/或红黑树的索引结构，其中，其索引关键字为所述元素对应的数据块在机械硬盘上的逻辑地址；所述第二映射表采用B+树索引结构，其索引关键字为所述元素中记录的所述热度值。

4.根据权利要求2所述的方法，其特征在于，S1中，

当所述热点数据块区分模块每次接收到目标数据块的访问请求时，均更新所述第一映射表，具体为：当接收到所述目标数据块的访问请求时，查找预先建立的第一映射表，判断所述第一映射表中是否已记录与所述目标数据块唯一对应的目标元素，如果判断结果为是，则更新所述目标元素；如果判断结果为否，则向所述第一映射表中增加与所述目标数据块唯一对应的所述目标元素；

当所述热点数据块区分模块每次接收到目标数据块的访问请求时，均更新所述第二映射表，具体为：当接收到所述目标数据块的访问请求时，查找预先建立的第二映射表，判断所述第二映射表中是否已记录与所述目标数据块唯一对应的目标元素，如果判断结果为是，则更新所述目标元素；如果判断结果为否，则进一步判断所述第二映射表是否已满，如果判断结果为否，则向所述第二映射表中增加与所述目标数据块唯一对应的所述目标元素；如果判断结果为是，则获取所述第二映射表中具有最小热度值的元素，然后，比较所述目标数据块的当前热度值是否大于所述最小热度值，如果判断结果为是，则删除所述第二映射表中所述具有最小热度值的元素，并向所述第二映射表中增加与所述目标数据块对应的元素。

5.根据权利要求2所述的方法，其特征在于，所述元素中记录的所述热度值的计算方法为：

S11，创建并维护与每一个所述元素唯一对应的单元数组，所述单元数组由多个单元组成，每个单元对应的时间跨度M均相同；每个单元均记录以下两项内容：该单元的开始时间戳C；在与该单元对应的时间跨度内，与该元素对应的数据块的被访问的次数T；其中，所述单元的开始时间戳为该数据块在与该单元对应的时间跨度内首次被访问的时间点，所述单元数组中的各个单元按C值的先后顺序排列；

其中，维护的具体方法为：当在时间点D接收到所述目标数据块的访问请求时，查找与所述目标数据块对应的目标单元数组，获取该目标单元数组中最后一个有效单元，读取该有效单元的开始时间戳C1，如果D小于C1+M，则用T+1更新所述有效单元中记录的T，获得新的T值，否则，向所述目标单元数组中申请一个新的单元，且该新的单元的C值即为D值，该新的单元的T值为1；

S12，根据以下公式计算热度值：

热度值＝∑(每个单元中记录的访问次数*f(ti))，其中，f(ti)＝(C-系统初始化时间)/M，系统初始化时间为将所述控制模块加载到操作系统的时间。

6.根据权利要求2所述的方法，其特征在于，所述数据块迁移模块接收到所述数据块迁移指令时，将所述SSD中的非热点数据块迁移到所述机械硬盘中，或，将所述机械硬盘中的热点数据块迁移到所述SSD中，具体为：

S41，所述数据块迁移模块创建并维护SSD映射表，所述SSD映射表用于记录与所述SSD中所有数据块对应的元素；所述SSD映射表中每一个元素对应三个属性：该元素对应的数据块在SSD中的逻辑地址、该元素对应的数据块在机械硬盘中的逻辑块地址、该元素对应的数据块在SSD中的状态，其中，该元素对应的数据块在SSD中的状态包括：“干净”状态、“脏”状态和无效状态，所述“干净”状态表示该元素对应的数据块在SSD中与在机械硬盘中存储的内容一致，所述“脏”状态表示该元素对应的数据块在SSD中与在机械硬盘中存储的内容不一致，所述无效状态表明该该元素对应的数据块在SSD中为空白数据块；

其中，所述SSD映射表维护的具体方法为：当所述SSD中第一数据块被迁移到所述机械硬盘时，删除所述SSD中与所述第一数据块对应的元素；当所述机械硬盘中的第二数据块被迁移到所述SSD时，向所述SSD映射表中增加与所述第二数据块对应的元素；

S42，所述数据块迁移模块将所述第二映射表记录的元素加入到移入队列，将所述SSD映射表中记录的元素加入到移出队列；判断所述移入队列和所述移出队列中是否存在相同的元素，如果存在，则从所述移入队列和所述移出队列中同时删除所述相同的元素，得到新的移入队列和新的移出队列，然后执行S43；如果不存在，则直接执行步骤S43；

S43，所述数据块迁移模块遍历S42得到的所述移入队列中所有元素，读取每个元素对应的机械硬盘中的数据块，并将该数据块写入SSD中，同时在SSD映射表中增加与该数据块对应的元素；

所述数据块迁移模块遍历S42得到的所述移出队列中所有元素，读取每个元素对应的SSD中的数据块，判断读取到的数据块对应的元素在SSD映射表中的状态，如果状态为“干净”，则执行S44；如果状态为“脏”，则执行S45；

S44，将读取到的数据块对应的元素在SSD映射表中的状态设置为所述无效状态；

S45，将读取到的SSD中的数据块写回到机械硬盘中的对应数据块中，同时，删除SSD映射表中与该数据块对应的元素。

7.根据权利要求6所述的方法，其特征在于，S41之后，还包括：

当所述请求分发模块接收到所述目标数据块的访问请求时，查找所述SSD映射表，判断所述SSD映射表中是否存在与所述目标数据块对应的目标元素，如果存在，则进一步判断所述目标元素的状态是否为无效状态，如果不是，则将该目标数据块的访问请求发送给所述SSD中，然后，当该目标数据块的访问请求为写请求时，设置SSD映射表中与该目标数据块对应的元素的状态为“脏”状态；如果不存在，则直接将该目标数据块的访问请求发送给所述机械硬盘中。

8.根据权利要求6所述的方法，其特征在于，S43之后，还包括：

S46，当所述请求分发模块接收到所述目标数据块的访问请求时，查找所述移入队列和所述移出队列，判断所述目标数据块是否正在被所述数据块迁移模块迁移，如果判断结果为否，则执行S47，如果判断结果为是，则执行S48-S51；

S47，查找所述SSD映射表，判断该目标数据块是否已经被映射到SSD中，如果判断结果为是，则将该目标数据块的访问请求发往至SSD，否则，将该目标数据块的访问请求发往至机械硬盘中，然后结束流程；

S48，比较该目标数据块的请求大小和操作系统页面的大小，如果前者小，则等待所述数据块迁移模块的迁移过程完成，然后执行S47，否则，执行S49-S51；

S49，判断该目标数据块的访问请求是否为读请求，如果判断结果为是，则执行S50；如果判断结果为否，则执行S51；

S50，查找该目标数据块对应的元素是否位于所述移出队列中，如果是，则将该目标数据块的访问请求发往SSD，否则，将该目标数据块的访问请求发往所述机械硬盘，并结束流程；

S51，判断所述目标数据块是否位于所述移出队列中，如果判断结果为是，则从所述SSD映射表中删除与该目标数据块对应的元素，并将该目标数据块的访问请求发往机械硬盘中；如果判断结果为否，则将所述SSD映射表中与所述目标数据块对应的元素状态标记为“脏”状态，并将该目标数据块的访问请求发往所述SSD中，结束流程。

Images