CN104111898A - 基于多维数据相似性的混合存储系统及数据管理方法 - Google Patents

Abstract

本发明涉及基于多维数据相似性的混合存储系统及数据管理方法，其公布的混合存储系统由上层内存单元(3)、中层缓存单元(2)、下层存储单元(1)和控制单元(4)构成，上层内存单元(3)用于存放系统数据和各个存储层中经常被访问的数据索引表，中层缓存单元(2)用于存放部分经常被访问的数据，下层存储单元(1)用于存放全部数据集；控制单元(4)通过I/O端口连接上层内存单元(3)、中层缓存单元(2)和下层存储单元(1)，构成多层存储架构的混合存储系统。本发明还公布该混合存储系统的数据管理方法，本发明不但可提高被访问的速度，使访问时能快速的搜索查找相应的数据，减低数据访问延迟，还可提高数据处理效率，提高请求吞吐量。

Description

基于多维数据相似性的混合存储系统及数据管理方法

所属领域 

本发明涉及一种基于多维数据相似性的混合存储系统及数据管理方法，一种面向多用户即时数据查询的混合存储系统内容缓存方案。属于分布式计算和计算机存储技术领域。 

背景技术

现有技术中，计算机系统的存储结构一般包括内存单元、硬盘存储单元二种存储结构，有些计算机系统的存储结构为内存存储和硬盘存储单元存储的组合式存储层结构，例如：普通HDD存储硬盘作为一级数据存储层次，与内存缓存构成一个两层数据存储架构，该存储结构虽然可以利用工作流的特征，将数据读取密集型的工作流请求的数据存储在存储硬盘中，能有效地平衡不同工作流的性能，使存储系统的性能得以提高。但该存储结构没有SSD存储结构，其处理数据的能力不强、速度不高，不能应用于数据量大的混合存储系统。 

数据的多维相似性，包括时间相似性和用户相似性。数据相似性定义了在混合存储系统中缓存层存储的数据相关性。时间相似性是指任意两个数据记录在时间维度的相关性，当处理用户查询时，相对于两个时间间隔很长的数据记录，一个用户更倾向于查询时间相近的数据记录；用户相似性是指任意两个区域相关性，如：智能电网用户中，智能电网的组网优化、电能调度、电价调控等决策通常基于各个区域的用户的电能使用情况，因此，通常需要处理一类查询同一个区域的用户的电能使用信息的请求。 

为了提高数据查询处理速度，多层缓存架构通常是存储系统的最佳选择，但是缓存架构的不同层次之间存在性能差异，比如CPU缓存、内存缓存和操作系统缓存等，目前的缓存管理技术，通常包括如下几种方案： 

方案1：独立管理不同层次的数据，存在如下缺点：没有考虑与应用密切相关的数据时间相关性和用户相关性，在处理智能电网数据查询时实用性不强。 

方案2：采用识别存储系统中关键数据块的方法，关键数据块包括导致过长访问延时的数据块以及文件系统元数据，通过将关键数据块缓存在SSD中以提高存储系统整体的数据访问性能，同时从SSD高效的数据写性能出发，将SSD作为回写缓存有效地提高了数据写请求的性能。存在缺点是：该方案仅能有效地识别出关键数据块的情况下，给出混合存储系统中的数据管理方案，但是在实际应用中，通过I/O访问历史记录来确定关键数据块涉及到复杂的运算，不适用于延时要求高的实时查询处理服务。 

方案3：从数据块访问的长尾分布性质出发来提高SSD存储空间的利用率，从而有效地改善了存储系统的性能，通过动态定义热门数据块集合，给出了SSD数据置换算法的设计方法，同时为了降低在每个服务器部署SSD带来的代价，提出了服务器间共享SSD缓存的方案，利用离散筛选方法和连续筛选方法有效地解决了如何确定在共享SSD缓存空间中存储的热门数据块的问题。存在缺点是：该方案给出了在数据块访问模式特征给定的情形下，SSD数据缓存管理的方案，长尾分布性质并不适用于所有的应用和服务，利用已知的数据访问模式来设计缓存管理方案在实际系统实现中存在较大局限性，因为数据访问模式具有时间不稳定性。 

方案4：将高性能闪存设备加入到与普通HDD存储硬盘同一数据存储层次，与内存MM缓存层构成一个两层数据存储架构，利用工作流的特征，将数据读取密集型的工作流请求的数据存储在闪存中，将数据写入密集型的工作流，将要写入的数据写入到普通存储硬盘中， 通过显示分配不同存储设备的职责，有效地平衡不同工作流的性能，从而提高整个存储系统的性能。存在缺点是：该方案仅提出了同一层数据存储层的不同设备之间的数据存储管理，并没有给出不同存储层之间的数据管理方案，没有涉及到数据缓存方案的设计，同时该方案也只是将工作流类型进行简单的读取和写入分类，并没有针对工作流对数据访问或写入的特征对数据管理进行优化，存储性能依赖于应用类型和特征。 

发明内容

本发明的目的之一，是为了提供一种基于多维数据相似性的混合存储系统。 

本发明的目的之二，是为了提供一种基于多维数据相似性的混合存储系统的数据管理方法。 

本发明的目的之一可以通过采取如下技术方案达到： 

基于多维数据相似性的混合存储系统，其结构特点在于：由上层内存单元、中层缓存单元、下层存储单元和控制单元构成，上层内存单元用于存放系统数据和各个存储层中经常被访问的数据索引表，中层缓存单元用于存放部分经常被访问的数据，下层存储单元用于存放全部数据集；控制单元通过I/O端口连接上层内存单元、中层缓存单元和下层存储单元，构成多层存储架构的混合存储系统。 

本发明的目的还可以通过采取如下技术方案达到： 

进一步地，上层内存单元由主存储器MM构成，中层缓存单元由固态硬盘SSD构成，下层存储单元由机械硬盘HDD构成。 

本发明的目的之二可以通过采取如下技术方案达到： 

基于多维数据相似性的混合存储系统的数据管理方法，其特征在于： 

1)设置混合存储系统，所述混合存储系统由上层内存单元、中层缓存单元、下层存储单元和控制单元构成，上层内存单元用于存放系统数据和各个存储层中经常被访问的数据索引表，中层缓存单元用于存放部分经常被访问的数据，下层存储单元用于存放全部数据集；控制单元通过I/O端口连接上层内存单元、中层缓存单元和下层存储单元； 

2)结合智能电网应用的数据处理特点，基于数据相似性，设计数据预取算法，在后台运行时将用户将要访问的数据放置到中层缓存单元中，当中层缓存单元空间被占满了之后，根据数据相似性设计了缓存置换算法，选择出那些在未来最不可能被用户访问的数据，将其清除出中层缓存单元，为未来更可能被用户访问的数据腾出缓存空间。 

3)查询数据，每当一个请求到达，系统首先解析请求并根据请求的内容先查询上层内存单元的数据索引表，看上层内存单元中是否有所需要的数据，如果有则返回数据，否则接着查找中层缓存单元；查询中层缓存单元的数据索引表，看中层缓存单元中是否有所需要的数据，如果有则返回数据，否则接着查找下层存储单元；查询下层存储单元的数据索引表，因为层存储单元含有全部数据集，因此根据索引找到数据返回给上层应用； 

4)储存数据，当上层应用有数据写入/更新请求时，系统首先将数据写入上层内存单元缓存，每隔一段时间，系统自动将新写入的数据或上层内存单元缓存中被更新但还没写 入硬盘的数据即脏数据写入/更新到下层存储单元中去，同时为了保持整个系统的数据一致性，在完成对下层存储单元的数据更新之后，系统还会检查中层存储单元的数据，如果找到了更新数据的副本，系统根据脏数据更新中层存储单元上的数据副本。 

本发明的目的之二还可以通过采取如下技术方案达到： 

进一步地，第2)点所述数据预取算法、缓存置换算法，是基于数据相似性判定算法，体现在数据记录的时间属性和用户属性两个维度上，具体描述如下： 

1)时间相似性，是指智能电网应用处理某个特定用户的请求的情况，相比于时间属性值相差很大的数据，用户更倾向于查询时间属性值相近的数据记录，如用户查询了今天的电表数据，那么他很可能查询前几天的电表数据，而不倾向于查询半年前或一年前的电表数据； 

2)用户相似性，是指智能电网应用如电能调度、电价调控等处理数据的情况，因为这些应用都是基于各个区域的用户使用电能情况而进行决策，因此处理的数据的用户属性具有相似性，如处理同一个小区的用户电表数据，用户ID值相近； 

3)定义数据相关性的时间和ID两个维度，相关性定义如下： 

对于任意一组数据d₁,d₂,d₃,......,d_k-1,d_k,d_k+1,......，数据相关性表示为： 

$R(d_i,d_j)=G(d_i,d_j)*{\mathrm{\α}}^{|i-j|}*N+w^{*}D(d_i,d_j)*{\mathrm{\β}}^{|i-j|}*N$

其中R(d_i,d_j)为两条数据记录的相似性，G(d_i,d_j)表示两条数据的用户属性的相似性，D(d_i,d_j)表示两条数据的时间属性的相似性，如果用户属性相似性越高，G(d_i,d_j)值就越大；如果时间属性相关性越高，D(d_i,d_j)值就越大，α和β为小于1的常量，N为常量，w是个权重值，用于调整用户属性相似性和时间属性相似性所占比重。 

进一步地，所述数据预取算法考虑了数据之间的相似性，通过预取一系列相关数据来预期提高请求的命中率，具体包括以下几个过程： 

1)根据上一个时间槽的缓存利用率来计算预取的数据记录数量； 

2)从下层存储单元中找到符合客户端请求的数据； 

3)通过时间和用户两个维度来判断数据的相似性； 

4)系统将相似性高的一系列数据统一放入中层缓存单元及上层内存单元。 

进一步地，所述数据预取算法具体包括以下几个过程： 

1)客户端向系统发送请求，客户端通过网络与系统实时连接，并实时向系统发送客户的查询请求； 

2)系统处理请求并查询内存，系统识别客户端发送来的请求，并查询已存在于内存中的数据； 

3)查询中层缓存单元，当系统无法在上层内存单元中查询到用户所请求的数据时，系 统将接着查询中层缓存单元上的数据； 

4)查询下层存储单元，当系统无法在上层内存单元和中层缓存单元上找到用户所请求的数据时，系统将接着查询下层储存单元上的数据； 

5)数据预取，在系统从下层储存单元上取得数据后，系统将相应的数据预取到中层缓存单元和上层内存单元中。 

进一步地，所述的数据预取算法包括数据查询和预取，具体步骤如下： 

1)客户端向系统发送请求，即客户端通过网络与系统实时连接，并实时向系统发送客户的查询请求； 

2)系统处理请求并查询上层内存单元，即系统识别客户端发送来的请求，并查询已存在于上层内存单元中的数据； 

3)查询中层缓存单元，即当系统无法在上层内存单元中查询到用户所请求的数据时，系统将接着查询中层缓存单元上的数据； 

4)查询下层存储单元，即当系统无法在上层内存单元和中层缓存单元上找到用户所请求的数据时，系统将接着查询下层存储单元上的数据； 

5)数据预取，即在系统从下层存储单元上取得数据后，系统将相应的数据预取到中层缓存单元和上层内存单元中。 

进一步地，所述的数据置换算法是指： 

1)所述数据置换算法是指根据用户和时间这两维数据进行数据相似性判断，将最不相似的数据置出； 

2)根据数据相似性公式 $R(d_i,d_j)=G(d_i,d_j)*{\mathrm{\α}}^{|i-j|}*N+w^{*}D(d_i,d_j)*{\mathrm{\β}}^{|i-j|}*N,$ 计算中层缓存单元中的数据跟当前要置入的数据的相似程度，按相似程度从大到小进行排序，选出最不相似的数据并将其置出，相似程度排序方法如下：当前请求的用户的旧数据相似性最高，其次是同一个小区的其他用户的旧数据，接着是其他小区的用户的同一天的数据，最后是其他小区的用户的不同日期。 

进一步地，所述数据索引是指用于加快数据检索，能够提高数据查询的性能，将内存缓存的数据记录和中层缓存单元的数据记录的数据索引文件存放于内存缓存中，通过查询索引以快速得到文件是否被内存缓存层和中层缓存单元中缓存，如果数据记录被缓存了，得到该数据记录在缓存层的存储位置，以快速地检索数据记录；在处理数据请求之前，系统首先访问数据索引，再根据索引返回的存储位置去获取数据记录。 

进一步地，所述的数据相似性算法中R(d_i,d_j)为两条数据记录的相似性，D(d_i,d_j)为两条数据的时间属性维度，G(d_i,d_j)为两条数据的用户属性维度，当上一个时间槽的用户维度的缓存利用率比较低时，则用户维度上预取数据少一点；同样道理，当上一个时间槽的时间维度的缓存利用率比较低时，则时间维度上预取数据少一点，算法每经过一个时间槽，就会更新缓存利用率一次。 

与现有技术相比，本发明具有以下突出的有益效果点： 

1、本发明采用两个相关性维度，利用数据相关性判定算法、数据预取算法、数据置换算法和数据索引技术，可实现访问数据在HDD存储层、SSD缓存层和MM缓存层相互置换位置，为此，大大提高被访问的速度，使访问时能快速的搜索查找相应的数据，减低数据访问延迟，提高数据处理效率，提高请求吞吐量。 

2、本方案在智能电网应用的数据处理特点基础上，以用户属性和时间属性作为相关性维度，提出基于多维数据相似性的混合存储系统的内容放置算法。该方法能有效提高混合存储系统的缓存命中率，降低智能电网应用的数据访问延迟，提高数据处理效率，提高请求吞吐量。从智能电网背景出发，该发明技术方案能帮助改进面向智能电网应用的混合存储系统设计，支持智能电网海量数据的管理，促进智能电网的发展。 

3、本发明基于多维数据相似性和缓存利用率，在内存单元MM缓存-SSD缓存-HDD存储的三层存储结构中，实现数据相似性判定、数据预取、数据置换和数据索引等算法和技术，能够降低数据查询延迟，提高数据查询吞吐量。 

附图说明

图1是本发明涉及的基于多维数据相似性的混合存储系统原理框图。 

图2是本发明系统数据预取算法数据预取算法流程。 

图3是本发明系统数据预取算法数据查询整体流程图。 

图4是本发明系统数据预取算法伪代码流程示意图。 

图5是本发明系统数据置换算法伪代码流程示意图。 

具体实施方式

以下结合附图对本发明作进一步的详细说明。 

具体实施例1： 

参照图1，本实施例涉及的基于多维数据相似性的混合存储系统，由上层内存单元3、中层缓存单元2、下层存储单元3和控制单元4构成，上层内存单元3用于存放系统数据和各个存储层中经常被访问的数据索引表，中层缓存单元2用于存放部分经常被访问的数据，下层存储单元1用于存放全部数据集；控制单元通过I/O端口连接上层内存单元3、中层缓存单元2和下层存储单元1，构成多层存储架构的混合存储系统。 

上层内存单元3由主存储器MM构成，中层缓存单元2由固态硬盘SSD构成，下层存储单元1由机械硬盘HDD构成。 

参照图1至图5，本实施例涉及的基于多维数据相似性的混合存储系统的数据管理方法，其特征在于： 

1)设置混合存储系统，所述混合存储系统由上层内存单元、中层缓存单元、下层存储单元和控制单元构成，上层内存单元用于存放系统数据和各个存储层中经常被访问的数据索引表，中层缓存单元用于存放部分经常被访问的数据，下层存储单元用于存放全部数据集；控制单元通过I/O端口连接上层内存单元、中层缓存单元和下层存储单元； 

2)结合智能电网应用的数据处理特点，基于数据相似性，设计数据预取算法，在后台运行时将用户将要访问的数据放置到中层缓存单元中，当中层缓存单元空间被占满了之后，根据数据相似性设计了缓存置换算法，选择出那些在未来最不可能被用户访问的数据，将其清除出中层缓存单元，为未来更可能被用户访问的数据腾出缓存空间。 

3)查询数据，每当一个请求到达，系统首先解析请求并根据请求的内容先查询上层内存单元的数据索引表，看上层内存单元中是否有所需要的数据，如果有则返回数据，否则接着查找中层缓存单元；查询中层缓存单元的数据索引表，看中层缓存单元中是否有所需要的数据，如果有则返回数据，否则接着查找下层存储单元；查询下层存储单元的数据索引表，因为层存储单元含有全部数据集，因此根据索引找到数据返回给上层应用； 

4)储存数据，当上层应用有数据写入/更新请求时，系统首先将数据写入上层内存单元缓存，每隔一段时间，系统自动将新写入的数据或上层内存单元缓存中被更新但还没写入硬盘的数据即脏数据写入/更新到下层存储单元中去，同时为了保持整个系统的数据一致性，在完成对下层存储单元的数据更新之后，系统还会检查中层存储单元的数据，如果找到了更新数据的副本，系统根据脏数据更新中层存储单元上的数据副本。 

本发明的目的之二还可以通过采取如下技术方案达到： 

进一步地，第2)点所述数据预取算法、缓存置换算法，是基于数据相似性判定算法，体现在数据记录的时间属性和用户属性两个维度上，具体描述如下： 

1)时间相似性，是指智能电网应用处理某个特定用户的请求的情况，相比于时间属性值相差很大的数据，用户更倾向于查询时间属性值相近的数据记录，如用户查询了今天的电表数据，那么他很可能查询前几天的电表数据，而不倾向于查询半年前或一年前的电表数据； 

2)用户相似性，是指智能电网应用如电能调度、电价调控等处理数据的情况，因为这些应用都是基于各个区域的用户使用电能情况而进行决策，因此处理的数据的用户属性具有相似性，如处理同一个小区的用户电表数据，用户ID值相近； 

3)定义数据相关性的时间和ID两个维度，相关性定义如下： 

对于任意一组数据d₁,d₂,d₃,......,d_k-1,d_k,d_k+1,......，数据相关性表示为： 

$R(d_i,d_j)=G(d_i,d_j)*{\mathrm{\α}}^{|i-j|}*N+w^{*}D(d_i,d_j)*{\mathrm{\β}}^{|i-j|}*N$

其中R(d_i,d_j)为两条数据记录的相似性，G(d_i,d_j)表示两条数据的用户属性的相似性，D(d_i,d_j)表示两条数据的时间属性的相似性，如果用户属性相似性越高，G(d_i,d_j)值就越大；如果时间属性相关性越高，D(d_i,d_j)值就越大，α和β为小于1的常量，N为常量，w是个权重值，用于调整用户属性相似性和时间属性相似性所占比重。 

进一步地，所述数据预取算法考虑了数据之间的相似性，通过预取一系列相关数据来预期提高请求的命中率，具体包括以下几个过程： 

1)根据上一个时间槽的缓存利用率来计算预取的数据记录数量； 

2)从下层存储单元中找到符合客户端请求的数据； 

3)通过时间和用户两个维度来判断数据的相似性； 

4)系统将相似性高的一系列数据统一放入中层缓存单元及上层内存单元。 

步骤1)所述缓存利用率，指的是一段时间内，缓存读取命中，即从缓存中读取的不同数据记录的数量比上置入缓存的不同数据记录的数量。如过去一段时间内，置入缓存的不同数据记录有100个，但缓存读取命中的只是其中10个不同的数据记录，那么缓存利用率则为10％。假设这100次数据读取都能缓存命中，那么命中率为100％。显然缓存利用率和命中率是两个不同的指标。当上一个时间槽的缓存利用率比较低时，预取少一点的数据记录进缓存；当上一个时间槽的缓存利用率比较高时，可以预取多一点的数据记录进缓存。在本发明中，缓存利用率细分为用户和时间两个维度。具体如，当上一个时间槽的用户维度的缓存利用率比较低时，则用户维度上预取数据少一点，对于时间维度则同样道理。算法每经过一个时间槽，就会更新缓存利用率一次。这就是本发明中的动态数据预取算法基于缓存利用率的思想。 

步骤3)所述判断数据的相似性，是指依据时间和用户这两个维度来判断数据相似性，相似性高的数据才被预取进缓存。 

步骤4)在进行数据预取时，系统不会只是简单地将请求的数据缓存，而是将一系列与该条数据相关的其他数据都一并缓存进中层缓存单元。 

进一步地，所述数据预取算法具体包括以下几个过程： 

1)客户端向系统发送请求，客户端通过网络与系统实时连接，并实时向系统发送客户的查询请求； 

2)系统处理请求并查询内存，系统识别客户端发送来的请求，并查询已存在于内存中的数据； 

3)查询中层缓存单元，当系统无法在上层内存单元中查询到用户所请求的数据时，系统将接着查询中层缓存单元上的数据； 

4)查询下层存储单元，当系统无法在上层内存单元和中层缓存单元上找到用户所请求的数据时，系统将接着查询下层储存单元上的数据； 

5)数据预取，在系统从下层储存单元上取得数据后，系统将相应的数据预取到中层缓存单元和上层内存单元中。 

进一步地，所述的数据预取算法包括数据查询和预取，具体步骤如下： 

1)客户端向系统发送请求，即客户端通过网络与系统实时连接，并实时向系统发送客户的查询请求； 

2)系统处理请求并查询上层内存单元3，即系统识别客户端发送来的请求，并查询已存在于上层内存单元3中的数据； 

3)查询中层缓存单元2，即当系统无法在上层内存单元3中查询到用户所请求的数据时，系统将接着查询中层缓存单元2上的数据； 

4)查询下层存储单元(1)，即当系统无法在上层内存单元3和中层缓存单元2上找到用户所请求的数据时，系统将接着查询下层存储单元1上的数据； 

5)数据预取，即在系统从下层存储单元1上取得数据后，系统将相应的数据预取到中层缓存单元2和上层内存单元3中。 

进一步地，所述的数据置换算法是指： 

1)所述数据置换算法是指根据用户和时间这两维数据进行数据相似性判断，将最不相似的数据置出； 

2)根据数据相似性公式 $R(d_i,d_j)=G(d_i,d_j)*{\mathrm{\α}}^{|i-j|}*N+w^{*}D(d_i,d_j)*{\mathrm{\β}}^{|i-j|}*N,$ 计算中层缓存单元中的数据跟当前要置入的数据的相似程度，按相似程度从大到小进行排序，选出最不相似的数据并将其置出，相似程度排序方法如下：当前请求的用户的旧数据相似性最高，其次是同一个小区的其他用户的旧数据，接着是其他小区的用户的同一天的数据，最后是其他小区的用户的不同日期。 

进一步地，所述数据索引是指用于加快数据检索，能够提高数据查询的性能，将内存缓存的数据记录和中层缓存单元的数据记录的数据索引文件存放于内存缓存中，通过查询索引以快速得到文件是否被内存缓存层和中层缓存单元中缓存，如果数据记录被缓存了，得到该数据记录在缓存层的存储位置，以快速地检索数据记录；在处理数据请求之前，系统首先访问数据索引，再根据索引返回的存储位置去获取数据记录。 

进一步地，所述的数据相似性算法中R(d_i,d_j)为两条数据记录的相似性，D(d_i,d_j)为两条数据的时间属性维度，G(d_i,d_j)为两条数据的用户属性维度，当上一个时间槽的用户维度的缓存利用率比较低时，则用户维度上预取数据少一点；同样道理，当上一个时间槽的时间维度的缓存利用率比较低时，则时间维度上预取数据少一点，算法每经过一个时间槽，就会更新缓存利用率一次。 

通过分析用户的行为，我们认为某一个用户查询了一条数据，那么他将很有可能在短时间内查询与这条数据相似的其他数据。而且，与该用户具有高相似性的其他用户的数据也很大可能会被应用所处理。因此，我们的动态数据预取算法，能够为了提高系统的响应速度，提高查询系统的吞吐量。具体的使用要点如下： 

(1)通过实验取得的数据表明该算法确实能够大大地提高cache命中率。 

(2)用户在实际的查询过程中，并不会察觉到数据预取过程的存在。换而言之，系统在进行数据预取过程中消耗的时间是不会影响用户体验的。 

(3)由于缓存数据之后带来的高cache命中率，固态硬盘(SSD缓存层2)与机械硬盘(HDD)之间的流量并不会太多的占用网络带宽。 

所述的数据置换算法是： 

对于任何一个系统，系统的缓存设备空间都是有限的。因此当系统需要向缓存中写入数据的时候，系统就需要将SSD中部分数据删除。本发明的缓存置换算法将会根据用户和时 间这两维数据进行数据相似性判断，将最不相似的数据置出。 

根据数据相似性公式 $R(d_i,d_j)=G(d_i,d_j)*{\mathrm{\α}}^{|i-j|}*N+w^{*}D(d_i,d_j)*{\mathrm{\β}}^{|i-j|}*N,$ 计算缓存层SSD中的数据跟当前要置入的数据的相似程度，按相似程度从大到小进行排序，选出最不相似的数据并将其置出。一般情况下是，当前请求的用户的旧数据相似性最高，其次是同一个小区的其他用户的旧数据，接着是其他小区的用户的同一天的数据，最后是其他小区的用户的不同日期。 

本发明的应用中还包括有索引技术，所述的索引技术是： 

在本发明中，数据索引技术用于加快数据检索，能够提高数据查询的性能。将内存缓存的数据记录和SSD缓存的数据记录的数据索引文件存放于内存缓存中。通过查询索引，我们可以快速得到文件是否被内存缓存层和SSD缓存层缓存。如果数据记录被缓存了，我们可以得到该数据记录在缓存层的存储位置，因此可以快速地检索数据记录。在处理数据请求之前，系统都会访问数据索引，再根据索引返回的存储位置去获取数据记录。 

本发明基于多维数据相似性的混合存储系统内容缓存的数据控制方法中，储存系统主要是通过上述的数据相似性判定算法判断所述的时间和用户两个维度数据的相似性，利用数据预取算法和数据置换算法将相似性高的数据预取进缓存层，置换出不相似的数据，提高缓存的利用率，从而提高储存系统被访问的速度。 

数据预取算法根据用户的请求从缓存架构的最底层HDD存储中把在将来很有可能会被请求的数据提前缓存在SSD中，以提高SSD缓存命中率，从而改善请求处理性能。需要预取的数据由数据相似性决定，相似性越高的数据更倾向于被预取到SSD缓存中。 

数据置换算法用于将缓存中将短期内不会被访问的数据替换成将来极有可能被请求的数据。数据置换算法是保证缓存命中率和利用率的前提条件，因为缓存空间是有限的，无法将所有的数据都缓存起来，如果不对数据进行置换，那些在将来很少被请求的数据将会严重降低缓存命中率，从而导致缓存利用率急剧下降。 

数据索引技术是提高数据请求处理性能的有效手段，在处理数据请求之前，先访问数据索引获得所请求的数据的存储位置。数据索引是存储系统中访问最频繁的数据，在处理任何一个数据请求之前都需要访问数据索引，因此，利用缓存架构中数据访问性能最高的内存缓存能有效地提高数据请求处理性能。 

具体访问的过程是： 

1、系统每当上层应用4发出一个请求，系统首先会解析请求并根据请求的内容先查询内存缓存层(即MM缓存层3)的数据索引表，看内存缓存中是否有所需要的数据。如果有则返回数据，否则接着查找SSD缓存层2。 

2、查询SSD缓存层2的数据索引表，看SSD缓存中是否有所需要的数据。如果有则返回数据，否则接着查找HDD存储层1。 

3、查询HDD存储层1的数据索引表，因为HDD存储层含有全部数据集，因此根据索引找到数据返回给上层应用。 

上述访问过程中，当上层应用4有数据写入/更新请求时，系统会首先将数据写入MM缓存层3。每隔一段时间，系统会自动将在新写入的数据或MM缓存层3中被更新但还没写入硬 盘的数据(脏数据)写入/更新到机械硬盘(HDD存储层)中去。同时为了保持整个系统的数据一致性，在完成对HDD存储层1的数据更新之后，系统还会检查SSD缓存层2上的数据，如果找到了更新数据的副本的话，同样地，系统会根据脏数据更新SSD缓存层2上的数据副本。 

具体实施例2： 

本实施例的技术特点是：所述的数据相关性判定算法还可以利用聚类方法来定义数据的相似性，数据索引技术可采用哈希算法。其余同上实施例。 

本发明中，各算法模块的结构和连接方式都是可以有所变化的，在本发明技术方案的基础上，凡根据本发明原理对个别算法模块的结构进行的改进和等同变换，均不应排除在本发明的保护范围之外。 

本发明综合考虑性能和空间，充分利用HDD存储层1、SSD缓存层2和MM缓存层3这三种介质的优势。因此，本发明利用存储空间较大的HDD存储层1来存储全部数据，利用SSD来存储部分较高访问率的数据和利用MM来存储少量更高访问率的数据。由于SSD缓存层2和MM缓存层3空间的有限，缓存系统性能的关键在于如何让缓存空间存放用户更可能将要访问到的数据。结合智能电网应用的数据处理特点，基于数据相似性，本发明设计高效的数据预取算法，在后台运行时尽可能将用户将要访问的数据放置到缓存中。另外，由于缓存空间的有限性，当SSD缓存层2空间被占满了之后，我们应该能够准确地选择出那些在未来最不可能被用户访问的数据，将其清除出缓存，为未来更可能被用户访问的数据腾出缓存空间。因此，我们根据数据相似性设计了缓存置换算法，该换置方法包括：数据相似性判定算法、数据预取算法和数据置换算法，所采取的数据预取算法和数据置换算法都是基于数据相似性的，都离不开数据相似性判定算法。 

Claims (10)

1.基于多维数据相似性的混合存储系统，其特征在于：由上层内存单元(3)、中层缓存单元(2)、下层存储单元(1)和控制单元(4)构成，上层内存单元(3)用于存放系统数据和各个存储层中经常被访问的数据索引表，中层缓存单元(2)用于存放部分经常被访问的数据，下层存储单元(1)用于存放全部数据集；控制单元(4)通过I/O端口连接上层内存单元(3)、中层缓存单元(2)和下层存储单元(1)，构成多层存储架构的混合存储系统。

2.根据权利要求1所述的基于多维数据相似性的混合存储系统，其特征在于：上层内存单元(3)由主存储器MM构成，中层缓存单元(2)由固态硬盘SSD构成，下层存储单元(1)由机械硬盘HDD构成。

3.基于多维数据相似性的混合存储系统的数据管理方法，其特征在于：

1)设置混合存储系统，所述混合存储系统由上层内存单元(3)、中层缓存单元(2)、下层存储单元(1)和控制单元(4)构成，上层内存单元(3)用于存放系统数据和各个存储层中经常被访问的数据索引表，中层缓存单元(2)用于存放部分经常被访问的数据，下层存储单元(1)用于存放全部数据集；控制单元(4)通过I/O端口连接上层内存单元(3)、中层缓存单元(2)和下层存储单元(1)；

2)结合智能电网应用的数据处理特点，基于数据相似性，设计数据预取算法，在后台运行时将用户将要访问的数据放置到中层缓存单元中，当中层缓存单元空间被占满了之后，根据数据相似性设计了缓存置换算法，选择出那些在未来最不可能被用户访问的数据，将其清除出中层缓存单元，为未来更可能被用户访问的数据腾出缓存空间。

3)查询数据，每当一个请求到达，系统首先解析请求并根据请求的内容先查询上层内存单元的数据索引表，看上层内存单元中是否有所需要的数据，如果有则返回数据，否则接着查找中层缓存单元；查询中层缓存单元的数据索引表，看中层缓存单元中是否有所需要的数据，如果有则返回数据，否则接着查找下层存储单元；查询下层存储单元的数据索引表，因为层存储单元含有全部数据集，因此根据索引找到数据返回给上层应用；

4)储存数据，当上层应用有数据写入/更新请求时，系统首先将数据写入上层内存单元缓存，每隔一段时间，系统自动将新写入的数据或上层内存单元缓存中被更新但还没写入硬盘的数据即脏数据写入/更新到下层存储单元中去，同时为了保持整个系统的数据一致性，在完成对下层存储单元的数据更新之后，系统还会检查中层存储单元的数据，如果找到了更新数据的副本，系统根据脏数据更新中层存储单元上的数据副本。

4.根据权利要求3所述的基于多维数据相似性的混合存储系统的数据管理方法，其特征在于：第2)点所述数据预取算法、缓存置换算法，是基于数据相似性判定算法，体现在数据记录的时间属性和用户属性两个维度上，具体描述如下：

1)时间相似性，是指智能电网应用处理某个特定用户的请求的情况，相比于时间属性值相差很大的数据，用户更倾向于查询时间属性值相近的数据记录，如用户查询了今天的电表数据，那么他很可能查询前几天的电表数据，而不倾向于查询半年前或一年前的电表数据；

2)用户相似性，是指智能电网应用如电能调度、电价调控等处理数据的情况，因为这些应用都是基于各个区域的用户使用电能情况而进行决策，因此处理的数据的用户属性具有相似性，如处理同一个小区的用户电表数据，用户ID值相近；

3)定义数据相关性的时间和ID两个维度，相关性定义如下：

对于任意一组数据d₁,d₂,d₃,......,d_k-1,d_k,d_k+1,......，数据相关性表示为：

$R(d_i,d_j)=G(d_i,d_j)*{\mathrm{\α}}^{|i-j|}*N+w^{*}D(d_i,d_j)*{\mathrm{\β}}^{|i-j|}*N$

其中R(d_i,d_j)为两条数据记录的相似性，G(d_i,d_j)表示两条数据的用户属性的相似性，D(d_i,d_j)表示两条数据的时间属性的相似性，如果用户属性相似性越高，G(d_i,d_j)值就越大；如果时间属性相关性越高，D(d_i,d_j)值就越大，α和β为小于1的常量，N为常量，w是个权重值，用于调整用户属性相似性和时间属性相似性所占比重。

5.根据权利要求4所述的基于多维数据相似性的混合存储系统的数据管理方法，其特征在于：所述数据预取算法考虑了数据之间的相似性，通过预取一系列相关数据来预期提高请求的命中率，具体包括以下几个过程：

1)根据上一个时间槽的缓存利用率来计算预取的数据记录数量；

2)从下层存储单元中找到符合客户端请求的数据；

3)通过时间和用户两个维度来判断数据的相似性；

4)系统将相似性高的一系列数据统一放入中层缓存单元及上层内存单元。

步骤1)、3)和4)是本方法的核心步骤。步骤1)，缓存利用率，指的是一段时间内，缓存读取命中，即从缓存中读取的不同数据记录的数量比上置入缓存的不同数据记录的数量。如过去一段时间内，置入缓存的不同数据记录有100个，但缓存读取命中的只是其中10个不同的数据记录，那么缓存利用率则为10％。假设这100次数据读取都能缓存命中，那么命中率为100％。显然缓存利用率和命中率是两个不同的指标。当上一个时间槽的缓存利用率比较低时，预取少一点的数据记录进缓存；当上一个时间槽的缓存利用率比较高时，可以预取多一点的数据记录进缓存。在本发明中，缓存利用率细分为用户和时间两个维度。具体如，当上一个时间槽的用户维度的缓存利用率比较低时，则用户维度上预取数据少一点，对于时间维度则同样道理。算法每经过一个时间槽，就会更新缓存利用率一次。这就是本发明中的动态数据预取算法基于缓存利用率的思想。步骤3)，依据时间和用户这两个维度来判断数据相似性，相似性高的数据才被预取进缓存。步骤4)，在进行数据预取时，系统不会只是简单地将请求的数据缓存，而是将一系列与该条数据相关的其他数据都一并缓存进中层缓存单元。

6.根据权利要求5所述的基于多维数据相似性的混合存储系统的数据管理方法，其特征在于：所述数据预取算法具体包括以下几个过程：

1)客户端向系统发送请求，客户端通过网络与系统实时连接，并实时向系统发送客户的查询请求；

2)系统处理请求并查询内存，系统识别客户端发送来的请求，并查询已存在于内存中的数据；

3)查询中层缓存单元，当系统无法在上层内存单元中查询到用户所请求的数据时，系统将接着查询中层缓存单元上的数据；

4)查询下层存储单元，当系统无法在上层内存单元和中层缓存单元上找到用户所请求的数据时，系统将接着查询下层储存单元上的数据；

5)数据预取，在系统从下层储存单元上取得数据后，系统将相应的数据预取到中层缓存单元和上层内存单元中。

7.根据权利要求6所述的基于多维数据相似性的混合存储系统的数据管理方法，其特征在于：所述的数据预取算法包括数据查询和预取，具体步骤如下：

1)客户端向系统发送请求，即客户端通过网络与系统实时连接，并实时向系统发送客户的查询请求；

2)系统处理请求并查询上层内存单元(3)，即系统识别客户端发送来的请求，并查询已存在于上层内存单元(3)中的数据；

3)查询中层缓存单元(2)，即当系统无法在上层内存单元(3)中查询到用户所请求的数据时，系统将接着查询中层缓存单元(2)上的数据；

4)查询下层存储单元(1)，即当系统无法在上层内存单元(3)和中层缓存单元(2)上找到用户所请求的数据时，系统将接着查询下层存储单元(1)上的数据；

5)数据预取，即在系统从下层存储单元(1)上取得数据后，系统将相应的数据预取到中层缓存单元(2)和上层内存单元(3)中。

8.根据权利要求4所述的基于多维数据相似性的混合存储系统的数据管理方法，其特征在于：

1)所述数据置换算法是指根据用户和时间这两维数据进行数据相似性判断，将最不相似的数据置出；

2)根据数据相似性公式 $R(d_i,d_j)=G(d_i,d_j)*{\mathrm{\α}}^{|i-j|}*N+w^{*}D(d_i,d_j)*{\mathrm{\β}}^{|i-j|}*N,$ 计算中层缓存单元中的数据跟当前要置入的数据的相似程度，按相似程度从大到小进行排序，选出最不相似的数据并将其置出，相似程度排序方法如下：当前请求的用户的旧数据相似性最高，其次是同一个小区的其他用户的旧数据，接着是其他小区的用户的同一天的数据，最后是其他小区的用户的不同日期。

9.根据权利要求4所述的基于多维数据相似性的混合存储系统的数据管理方法，其特征在于：所述数据索引是指用于加快数据检索，能够提高数据查询的性能，将内存缓存的数据记录和中层缓存单元的数据记录的数据索引文件存放于内存缓存中，通过查询索引以快速得到文件是否被内存缓存层和中层缓存单元中缓存，如果数据记录被缓存了，得到该数据记录在缓存层的存储位置，以快速地检索数据记录；在处理数据请求之前，系统首先访问数据索引，再根据索引返回的存储位置去获取数据记录。

10.根据权利要求4所述的基于多维数据相似性的混合存储系统的数据管理方法，其特征在于：所述的数据相似性算法中R(d_i,d_j)为两条数据记录的相似性，D(d_i,d_j)为两条数据的时间属性维度，G(d_i,d_j)为两条数据的用户属性维度，当上一个时间槽的用户维度的缓存利用率比较低时，则用户维度上预取数据少一点；同样道理，当上一个时间槽的时间维度的缓存利用率比较低时，则时间维度上预取数据少一点，算法每经过一个时间槽，就会更新缓存利用率一次。