CN104714891A - 一种闪存数据管理方法及装置 - Google Patents

Abstract

本发明的实施例提供一种闪存数据管理方法及装置，涉及数据处理领域，能够对同一文件的闪存页面进行优化布局，从而提高了闪存访问效率。该方法包括：从闪存中选择一个文件对象，并获取该文件对象的页面集合；其中页面集合包含文件对象的全部页面；计算页面集合中每个页面的热度值；根据页面集合中每个页面的热度值将页面集合中的页面进行聚类分组；将闪存划分为多个热度区域；其中闪存中的每个热度区域的热度值均不相同；计算每个分组的平均热度值，并根据每个分组的平均热度值与每个热度区域的热度值将每个分组中的数据写入对应的热度区域。本发明应用于闪存数据管理。

Description

一种闪存数据管理方法及装置

技术领域

本发明涉及数据处理领域，尤其涉及一种闪存数据管理方法及装置。

背景技术

固态硬盘及闪存等新型存储介质在日常生活中应用越来越广泛，它们通常都以Flash闪存作为存储介质，但由于材料本身的特性，在对Flash介质进行读写时，闪存与固态硬盘之间存在着明显的差异。具体的，闪存在更新数据时需要先执行擦除操作才能写入新数据，而固态硬盘的读写都是按照磁盘扇区尺寸进行的。因此，当一个闪存块中没有空闲页面时，再往该块中写入新页面就需将闪存块中有效数据页面移动到一个空的缓存块中，然后对整个块进行擦除操作，这样使得闪存在写数据时存在大量数据的移动，其中，闪存在读写时是以页为单位，在对数据进行擦除时是以块为单位。具体的，在一个闪存块中，页面的活跃程度可能差别很大，有的页面相对不活跃，从而长期处于有效状态，而有的页面比较活跃，更新频繁，从而使得页面很快处于失效状态，而这些失效的页面会由控制器进行垃圾回收。而在回收失效页面，对闪存块进行擦除时，存在大量有效页面的移动，从而增加了实际写入量，降低了垃圾回收的效率，加剧了闪存块的磨损，降低了闪存的使用寿命。因此，针对这一问题，一些闪存控制器通过其内的FLT（Flash Translation Layer,闪存转换层）映射表对闪存数据进行了静态数据与动态数据分离的处理，主要是将对LBA(LogicalBlock Address,逻辑块地址)里经常写入的数据块和不经常写入的数据块进行分类，将相同热度的数据尽量放在一个闪存块中，这样减少了垃圾回收时有效页面的移动，从而减少了数据的写入放大。

但是，发明人发现，虽然上述闪存控制器中的FLT能将闪存数据中的静态数据和动态数据进行分离，但是，由于FTL映射表是在闪存控制器中，使得闪存设备无法获知闪存物理页面的布局和映射关系，从而不能获取那些页面属于同一文件，也就无法利用上述信息对文件中具体的闪存页面进行优化布局。

发明内容

本发明的实施例提供一种闪存数据管理方法及装置，能够对同一文件的闪存页面进行优化布局，从而提高闪存访问效率。

为达到上述目的，本发明的实施例采用如下技术方案：

第一方面，提供一种闪存数据管理方法，包括：

从闪存中选择一个文件对象，并获取所述文件对象的页面集合；其中所述页面集合包含所述文件对象的全部页面；

计算所述页面集合中每个页面的热度值；

根据所述页面集合中每个页面的热度值将所述页面集合中的页面进行聚类分组；

将所述闪存划分为多个热度区域；其中所述闪存中的每个热度区域的热度值均不相同；

计算每个分组的平均热度值，并根据所述每个分组的平均热度值与所述每个热度区域的热度值将所述每个分组中的数据写入对应的热度区域。

在第一方面的第一种可能的实现方式中，所述计算所述目标页面集合中每个页面的热度值具体包括：

在预设时间段内统计所述页面集合中每个页面的擦写次数；

根据所述每个页面的擦写次数计算所述每个页面的热度值。

根据第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，所述根据所述每个页面的擦写次数计算所述每个页面的热度值具体包括：

若在所述预设时间段内所述页面集合中的任一页面的擦写次数为0，则将所述文件对象中所有页面写入次数的期望值作为所述任一页面的热度值；

或者，

若在所述预设时间段内所述页面集合中的任一页面的擦写次数不为0，则根据页面热度计算公式计算所述任一页面的热度值；所述页面热度计算公式为：所述W_p为所述任一页面的擦写次数；所述T为当前时间；所述为所述任一页面最后的修改时间；

其中，所述任一页面为所述页面集合中的一个页面。

在第一方面的第三种可能的实现方式中，所述根据所述页面集合中每个页面的热度值将所述页面集合中的页面进行聚类分组具体包括：

将所述页面集合中的每个页面分为一个分组，并将所有分组组成一个第一集合；

根据所述第一集合的每个分组中每个页面的热度值计算所述第一集合的第一权重；

选择所述第一集合中相邻的一对分组进行合并，得到第二集合，并根据所述第二集合的每个分组中每个页面的热度值计算所述第二集合的第二权重，继续将所述第一集合中其他相邻的分组依次进行合并，并分别计算所述其他相邻的分组合并后得到的第二集合的第二权重；

计算所述第一集合的第一权重相对于每次合并后得到的第二集合的第二权重的权重降低量；

若当前所有的权重降低量都不小于0，则将所述当前所有的权重降低量中最大的权重降低量对应的第二集合作为新的第一集合，并重新根据所述新的第一集合的每个分组中每个页面的热度值计算所述新的第一集合的第一权重。

根据第一方面的第三种可能的实现方式，在第一方面的第四种可能的实现方式中，所述计算所述第一集合的第一权重相对于每次合并后得到的第二集合的第二权重的权重降低量之后，所述方法还包括：

若当前所有的权重降低量均小于0，则结束当前聚类分组操作，并将所述第一集合或所述新的第一集合作为最终集合。

根据第一方面的第三种可能的实现方式，在第一方面的第五种可能的实现方式中，所述根据所述第一集合的每个分组中每个页面的热度值计算所述第一集合的第一权重具体包括：

根据所述第一集合的每个分组中每个页面的热度值中每个页面的热度值与权重计算公式计算所述第一集合分组的第一权重；所述权重计算公式为： $W_g={\mathrm{\Σ}}_{i=1}^k\mathrm{\σ}\left(G_i\right)+f\left(k\right);$

其中，所述 $\mathrm{\σ}\left(G_i\right)=\frac{1}{m}{\mathrm{\Σ}}_{p\∈G_i}|h\left(p\right)-h_i|,$ 所述σ(G_i)为所述第一集合中任一分组内第一分组内的页面的方差，用于表示所述任一分组的热度方差和，所述h(p)为所述任一分组的平均热度值，所述h_i为第i个页面的热度值，所述m为所述任一分组的页面数；所述f(k)为所述第一集合的分组数目权重，所述K为所述第一集合的分组数。

第二方面，提供一种闪存数据管理装置，包括：

获取单元，用于从闪存中选择一个文件对象，并获取所述文件对象的页面集合；其中所述页面集合包含所述文件对象的全部页面；

计算单元，用于计算所述获取单元获得的所述页面集合中每个页面的热度值；

聚类单元，用于根据所述计算单元得到的所述页面集合中每个页面的热度值将所述页面集合中的页面进行聚类分组；

划分单元，用于将所述闪存划分为多个热度区域；其中所述闪存中的每个热度区域的热度值均不相同；

调度单元，用于计算每个分组的平均热度值，并根据所述计算单元得到的所述每个分组的平均热度值与所述划分单元划分出的所述每个热度区域的热度值将所述每个分组中的数据写入对应的热度区域。

在第二方面的第一种可能的实现方式中，所述计算单元具体包括：

统计模块，用于在预设时间段内统计所述页面集合中每个页面的擦写次数；

计算模块，用于根据所述统计模块统计的所述每个页面的擦写次数计算所述每个页面的热度值。

根据第二方面的第一种可能的实现方式，在第二方面的第二种可能的实现方式中：

所述计算模块具体用于：若在所述预设时间段内所述页面集合中的任一页面的擦写次数为0，则将所述文件对象中所有页面写入次数的期望值作为所述任一页面的热度值；

或者，

若在所述预设时间段内所述页面集合中的任一页面的擦写次数不为0，则根据页面热度计算公式计算所述任一页面的热度值；所述页面热度计算公式为：所述W_p为所述任一页面的擦写次数；所述T为当前时间；所述为所述任一页面最后的修改时间；

其中，所述任一页面为所述页面集合中的一个页面。

在第二方面的第三种可能的实现方式中，所述聚类单元具体包括：

分组模块，用于将所述页面集合中的每个页面分为一个分组，并将所有分组组成一个第一集合；

第一计算模块，用于根据所述第一集合的每个分组中每个页面的热度值计算所述分组模块得到的所述第一集合的第一权重；

第二计算模块，用于选择所述第一集合中相邻的一对分组进行合并，得到第二集合，并根据所述第二集合的每个分组中每个页面的热度值计算所述第二集合的第二权重，继续将所述第一集合中其他相邻的分组依次进行合并，并分别计算所述其他相邻的分组合并后得到的第二集合的第二权重；

第三计算模块，用于计算所述第一计算模块得到的所述第一集合的第一权重相对于所述第二计算模块得到的每次合并后得到的第二集合的第二权重的权重降低量；

所述第一计算模块，还用于若所述第三计算模块得到的当前所有的权重降低量都不小于0，则将所述当前所有的权重降低量中最大的权重降低量对应的第二集合作为新的第一集合，并重新根据所述新的第一集合的每个分组中每个页面的热度值计算所述新的第一集合的第一权重。

根据第二方面的第三种可能的实现方式，在第二方面的第四种可能的实现方式中，所述聚类单元，还包括：

输出模块，用于若所述第三计算模块得到的当前所有的权重降低量均小于0，则结束当前聚类分组操作，并将所述第一集合或所述新的第一集合作为最终集合。

根据第二方面的第三种可能的实现方式，在第二方面的第五种可能的实现方式中：

所述第一计算模块具体用于：

根据所述第一集合的每个分组中每个页面的热度值中每个页面的热度值与权重计算公式计算所述第一集合分组的第一权重；所述权重一分组内第一分组内的页面的方差，用于表示所述任一分组的热度方差和，所述h(p)为所述任一分组的平均热度值，所述h_i为第i个页面的热度值，所述m为所述任一分组的页面数；所述f(k)为所述第一集合的分组数目权重，所述K为所述第一集合的分组数。

本发明的实施例提供的闪存数据管理方法及装置，通过计算预选文件对象的页面集合中每个页面的热度值，并根据计算出的每个页面的热度值将该页面集合中的页面进行聚类分组，从而根据每个分组的平均热度值与对闪存划分后得到的每个热度区域的热度值将每个分组中的数据写入对应的热度区域，相比于现有技术中通过闪存控制器中的FLT能将闪存数据中的静态数据和动态数据进行分离的过程，本发明在去掉FTL映射表的前提下，无需通过FTL进行转换，通过对同一文件的闪存页面进行优化布局，从而提高了垃圾回收效率和闪存访问效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的实施例提供的一种闪存数据管理方法的流程示意图；

图2为本发明的实施例提供的另一种闪存数据管理方法的流程示意图；

图3为本发明的实施例提供的一种闪存数据管理装置的结构示意图；

图4为本发明的实施例提供的另一种闪存数据管理装置的结构示意图；

图5为本发明的另一实施例提供的一种闪存数据管理装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的实施例提供一种闪存数据管理方法，如图1所示，该方法具体包括如下步骤：

101、闪存数据管理装置从闪存中选择一个文件对象，并获取该文件对象的页面集合。

示例性的，本发明的实施例中的闪存可以是以闪存为介质的其他相关设备，如固态硬盘、U盘等。

其中，上述的文件对象是闪存中存储的文件对象中的任意一个文件对象，而该文件对象的数据存储在至少一个闪存块中，而每个闪存块中包含多个页面。上述页面集合包含该文件对象的全部页面。

具体的，闪存数据管理装置从闪存中的所有文件对象中任意选取一个文件对象，并获取该文件对象的所有页面，从而将上述的所有页面整合为该文件对象的页面集合。

102、闪存数据管理装置计算页面集合中每个页面的热度值。

其中，上述的页面的热度值用于反映该页面修改的频繁程度。

103、闪存数据管理装置根据页面集合中每个页面的热度值将页面集合中的页面进行聚类分组。

具体的，闪存数据管理装置在对该页面集合中的页面进行聚类分组时，需要满足以下两个条件：使得每个分组内的页面的热度值尽可能的相近，及将冷热度不同的页面进行分离；使得分组后得到的组数尽可能的少，即保持同一个文件对象的页面仅可能连续地分布在相邻的闪存区域中。

104、闪存数据管理装置将闪存划分为多个热度区域。

其中，上述的闪存中的每个热度区域的热度值均不相同，即划分出的每个热度区域都有一个独有的热度值。

105、闪存数据管理装置计算每个分组的平均热度值，并根据每个分组的平均热度值与每个热度区域的热度值将每个分组中的数据写入对应的热度区域。

具体的，闪存数据管理装置获取对页面集合的页面进行聚类分组后得到的分组，根据每个分组中所有页面的热度值计算每个分组的平均热度值，将上述得到的每个分组的平均热度值与每个热度区域的热度值进行匹配，从而找到与每个分组的平均热度值最相近的热度区域，进而将每个分组中的数据写入对应的热度区域。

需要说明的是，本发明的实施例提供的是对该闪存中的任一文件对象的页面进行优化布局的方法，而该闪存中的其他文件对象则可以按照本发明所提供的页面优化布局方法并行或依次进行优化，从而使得该闪存中的同一文件对象的闪存页面尽量分布在同一闪存块中，从而提高了垃圾回收效率和闪存访问效率。

本发明的实施例提供的闪存数据管理方法，通过计算预选文件对象的页面集合中每个页面的热度值，并根据计算出的每个页面的热度值将该页面集合中的页面进行聚类分组，从而根据每个分组的平均热度值与闪存划分后得到的每个热度区域的热度值将每个分组中的数据写入对应的热度区域，相比于现有技术中通过闪存控制器中的FLT能将闪存数据中的静态数据和动态数据进行分离的过程，本发明在去掉FTL映射表的前提下，无需通过FTL进行转换，通过对同一文件的闪存页面进行优化布局，从而提高了垃圾回收效率和闪存访问效率。

本发明的实施例提供一种闪存数据管理方法，如图1所示，该方法具体包括如下步骤：

201、闪存数据管理装置从闪存中选择一个文件对象，并获取该文件对象的页面集合。

示例性的，本发明的实施例中的闪存可以是以闪存为介质的其他相关设备，如固态硬盘、U盘等。

其中，上述的文件对象是闪存中存储的文件对象中的任意一个文件对象，而该文件对象的数据存储在至少一个闪存块中，而每个闪存块中包含多个页面。上述页面集合包含该文件对象的全部页面。

具体的，闪存数据管理装置从闪存中的所有文件对象中任意选取一个文件对象，并获取该文件对象的所有页面，从而将上述的所有页面整合为该文件对象的页面集合。

202、闪存数据管理装置计算页面集合中每个页面的热度值。

其中，上述的页面的热度值用于反映该页面修改的频繁程度。

可选的，步骤202具体包括如下步骤：

202a、闪存数据管理装置在预设时间段内统计该页面集合中每个页面的擦写次数。

202b、闪存数据管理装置根据每个页面的擦写次数计算每个页面的热度值。

进一步可选的，步骤202b具体可以包括如下内容：

a1、若在预设时间段内页面集合中的任一页面的擦写次数为0，则闪存数据管理装置将文件对象中所有页面写入次数的期望值作为任一页面的热度值。

或者，

b1、若在预设时间段内页面集合中的任一页面的擦写次数不为0，则闪存数据管理装置根据页面热度计算公式计算任一页面的热度值。

其中，上述的页面热度计算公式为：W_p为任一页面的擦写次数；上述的T为当前时间；上述的为任一页面最后的修改时间。

其中，上述的任一页面为该页面集合中的一个页面。具体的，闪存数据管理装置在计算该文件对象中的每个页面的热度值时，可以并行同时计算出每个页面的热度值，也可以依次计算该文件对象中的每个页面的热度值。

203、闪存数据管理装置根据页面集合中每个页面的热度值将页面集合中的页面进行聚类分组。

可选的，步骤203具体包括如下步骤：

203a、闪存数据管理装置将页面集合中的每个页面分为一个分组，并将所有分组组成一个第一集合。

203b、闪存数据管理装置根据第一集合的每个分组中每个页面的热度值计算第一集合的第一权重。

具体的，上述的第一集合的第一权重包括两部分：热度权重和组数权重，其中，上述的热度权重反映了闪存页面热度的离散程度，而上述的组数权重反映的对页面集合中的页面进行聚类分组后的第一集合或新的第一集合的分组数目。

可选的，步骤203b具体包括如下内容：闪存数据管理装置根据第一集合的每个分组中每个页面的热度值中每个页面的热度值与权重计算公式计算第一集合分组的第一权重。

其中，上述的权重计算公式为： $W_g={\mathrm{\Σ}}_{i=1}^k\mathrm{\σ}\left(G_i\right)+f\left(k\right);$ 上述的 $\mathrm{\σ}\left(G_i\right)=\frac{1}{m}{\mathrm{\Σ}}_{p\∈G_i}|h\left(p\right)-h_i|,$ 上述的σ(G_i)为第一集合中任一分组内第一分组内的页面的方差，用于表示该任一分组的热度方差和，上述的h(p)为该任一分组的平均热度值，上述的h_i为第i个页面的热度值，上述的m为该任一分组的页面数；上述的f(k)为该第一集合的分组数目权重，且f(K)=λK²，上述的K为该第一集合的分组数，而上述的λ为常数。

203c、闪存数据管理装置选择第一集合中相邻的一对分组进行合并，得到第二集合，并根据第二集合的每个分组中每个页面的热度值计算第二集合的第二权重，继续将第一集合中其他相邻的分组依次进行合并，并分别计算其他相邻的分组合并后得到的第二集合的第二权重。

203d、闪存数据管理装置计算第一集合的第一权重相对于每次合并后得到的第二集合的第二权重的权重降低量。

示例性的，这里将上述的页面集合中的页面数若以L为例，则上述第一集合中的分组数为L，且分别为G1,G2,G3...Gk。而上述的第一集合的权重设为W_g，上述的第二集合的权重设为W_g+1，则第一集合的第一权重相对于每次合并后得到的第二集合的第二权重的权重降低量Δ_j的计算过程如下式。

Δ_j=W_g-W_g+1=

σ(G_a)+σ(G_b)-σ(G_c)+f(K_j+1)-f(K_j)=σ(G_a)+σ(G_b)-σ(G_c)+2λK_j-λ

若步骤203d中计算出的当前所有的权重降低量都不小于0，则转向步骤203e，若步骤203d中计算出的当前所有的权重降低量均小于0，则转向步骤203f。

203e、闪存数据管理装置将当前所有的权重降低量中最大的权重降低量对应的第二集合作为新的第一集合，并重新根据该新的第一集合的每个分组中每个页面的热度值计算该新的第一集合的第一权重。

203f、闪存数据管理装置结束当前聚类分组操作，并将第一集合或新的第一集合作为最终集合。

具体的，闪存数据管理装置在对该页面集合中的页面进行聚类分组时，需要满足以下两个条件：1、使得每个分组内的页面的热度值尽可能的相近，及将冷热度不同的页面进行分离；2、使得分组后得到的组数尽可能的少，即保持同一个文件对象的页面仅可能连续地分布在相邻的闪存区域中。若满足上述条件1，则需使得最小，而若满足上述条件2，则需使得f(K)最小。结合上述内容，若要满足上述两个条件，即需要找到一个分类，使得集合在这个分类下总权重 $W_g={\mathrm{\Σ}}_{i=1}^k\mathrm{\σ}\left(G_i\right)+f\left(k\right)$ 最小。

204、闪存数据管理装置将闪存划分为多个热度区域。

其中，上述的闪存中的每个热度区域的热度值均不相同，即划分出的每个热度区域都有一个独有的热度值。

205、闪存数据管理装置计算每个分组的平均热度值，并根据每个分组的平均热度值与每个热度区域的热度值将每个分组中的数据写入对应的热度区域。

具体的，闪存数据管理装置获取对页面集合的页面进行聚类分组后得到的分组，根据每个分组中所有页面的热度值计算每个分组的平均热度值，将上述得到的每个分组的平均热度值与每个热度区域的热度值进行匹配，从而找到与每个分组的平均热度值最相近的热度区域，进而将每个分组中的数据写入对应的热度区域。

需要说明的是，本发明的实施例提供的是对该闪存中的任一文件对象的页面进行优化布局的方法，而该闪存中的其他文件对象则可以按照本发明所提供的页面优化布局方法并行或依次进行优化，从而使得该闪存中的同一文件对象的闪存页面尽量分布在同一闪存块中，从而提高了垃圾回收效率和闪存访问效率。

本发明的实施例提供的闪存数据管理方法，通过计算预选文件对象的页面集合中每个页面的热度值，并根据计算出的每个页面的热度值将该页面集合中的页面进行聚类分组，从而根据每个分组的平均热度值与闪存划分后得到的每个热度区域的热度值将每个分组中的数据写入对应的热度区域，相比于现有技术中通过闪存控制器中的FLT能将闪存数据中的静态数据和动态数据进行分离的过程，本发明在去掉FTL映射表的前提下，无需通过FTL进行转换，通过对同一文件的闪存页面进行优化布局，从而提高了垃圾回收效率和闪存访问效率。

本发明的实施例提供一种闪存数据管理装置，如图3所示，该闪存数据管理装置用于实现上述的闪存数据管理方法，该闪存数据管理装置3包括：获取单元31、计算单元32、聚类单元33、划分单元34和调度单元35，其中：

获取单元31，用于从闪存中选择一个文件对象，并获取该文件对象的页面集合。

其中，上述的页面集合包含该文件对象的全部页面。

计算单元32，用于计算获取单元31获得的该页面集合中每个页面的热度值。

聚类单元33，用于根据计算单元32得到的页面集合中每个页面的热度值将页面集合中的页面进行聚类分组。

划分单元34，用于将闪存划分为多个热度区域。

其中，上述的闪存中的每个热度区域的热度值均不相同。

调度单元35，用于计算每个分组的平均热度值，并根据计算单元32得到的每个分组的平均热度值与划分单元34划分出的每个热度区域的热度值将每个分组中的数据写入对应的热度区域。

本发明的实施例提供的闪存数据管理装置，通过计算预选文件对象的页面集合中每个页面的热度值，并根据计算出的每个页面的热度值将该页面集合中的页面进行聚类分组，从而根据每个分组的平均热度值与闪存划分后得到的每个热度区域的热度值将每个分组中的数据写入对应的热度区域，相比于现有技术中通过闪存控制器中的FLT能将闪存数据中的静态数据和动态数据进行分离的过程，本发明在去掉FTL映射表的前提下，无需通过FTL进行转换，通过对同一文件的闪存页面进行优化布局，从而提高了垃圾回收效率和闪存访问效率。

可选的，如图4所示，该计算单元32具体包括：统计模块321和计算模块322，其中：

统计模块321，用于在预设时间段内统计页面集合中每个页面的擦写次数。

计算模块322，用于根据统计模块321统计的每个页面的擦写次数计算每个页面的热度值。

进一步可选的，该计算模块322具体用于：若在预设时间段内该页面集合中的任一页面的擦写次数为0，则将文件对象中所有页面写入次数的期望值作为该任一页面的热度值。

或者，

若在预设时间段内页面集合中的任一页面的擦写次数不为0，则根据页面热度计算公式计算该任一页面的热度值；上述的页面热度计算公式为：上述的W_p为该任一页面的擦写次数；上述的T为当前时间；上述的为该任一页面最后的修改时间。

其中，上述的任一页面为该页面集合中的一个页面。

可选的，如图4所示，该聚类单元33具体包括：分组模块331、第一计算模块332、第二计算模块333和第三计算模块334，其中：

分组模块331，用于将页面集合中的每个页面分为一个分组，并将所有分组组成一个第一集合。

第一计算模块332，用于根据第一集合的每个分组中每个页面的热度值计算分组模块331得到的第一集合的第一权重。

第二计算模块333，用于选择第一集合中相邻的一对分组进行合并，得到第二集合，并根据第二集合的每个分组中每个页面的热度值计算第二集合的第二权重，继续将第一集合中其他相邻的分组依次进行合并，并分别计算其他相邻的分组合并后得到的第二集合的第二权重。

第三计算模块334，用于计算第一计算模块332得到的第一集合的第一权重相对于第二计算模块333得到的每次合并后得到的第二集合的第二权重的权重降低量。

第一计算模块332，还用于若第三计算模块334得到的当前所有的权重降低量都不小于0，则将当前所有的权重降低量中最大的权重降低量对应的第二集合作为新的第一集合，并重新根据新的第一集合的每个分组中每个页面的热度值计算新的第一集合的第一权重。

可选的，如图4所示，该聚类单元还包括：输出模块335，其中：

输出模块335，用于若第三计算模块335得到的当前所有的权重降低量均小于0，则结束当前聚类分组操作，并将第一集合或新的第一集合作为最终集合。

进一步可选的，上述的第一计算模块具体用于：

根据第一集合的每个分组中每个页面的热度值中每个页面的热度值与权重计算公式计算第一集合分组的第一权重；上述的权重计算公式为： $W_g={\mathrm{\Σ}}_{i=1}^k\mathrm{\σ}\left(G_i\right)+f\left(k\right);$

其中，上述的 $\mathrm{\σ}\left(G_i\right)=\frac{1}{m}{\mathrm{\Σ}}_{p\∈G_i}|h\left(p\right)-h_i|,$ 上述的σ(G_i)为该第一集合中任一分组内第一分组内的页面的方差，用于表示该任一分组的热度方差和，上述的h(p)该任一分组的平均热度值，上述的h_i为第i个页面的热度值，上述的m为该任一分组的页面数；上述的f(k)为该第一集合的分组数目权重，上述的K为该第一集合的分组数。

本发明的实施例提供的闪存数据管理装置，通过计算预选文件对象的页面集合中每个页面的热度值，并根据计算出的每个页面的热度值将该页面集合中的页面进行聚类分组，从而根据每个分组的平均热度值与闪存划分后得到的每个热度区域的热度值将每个分组中的数据写入对应的热度区域，相比于现有技术中通过闪存控制器中的FLT能将闪存数据中的静态数据和动态数据进行分离的过程，本发明在去掉FTL映射表的前提下，无需通过FTL进行转换，通过对同一文件的闪存页面进行优化布局，从而提高了垃圾回收效率和闪存访问效率。

需要说明的是，本发明以上各个实施例中的闪存数据管理装置中的处理器的实现方式和交互过程可以参考相应方法实施例中的相关描述。

本发明的实施例提供一种闪存数据管理装置，如图5所示，该闪存数据管理装置用于实现上述的闪存数据管理方法，具体的，该闪存数据管理装置4包括：处理器41和存储器42。处理器41与其他各个部件是通过总线连接。该总线可以是工业标准体系结构（IndustryStandard Architecture，简称ISA）总线、外部设备互连（PeripheralComponent，简称PCI）总线或扩展工业标准体系结构（ExtendedIndustry Standard Architecture，简称EISA）总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。其中：

处理器41可以是：通用中央处理器（central procession unit，简称CPU）、专用集成电路(application specific integrated circuit,简称ASIC)、现成可编程门阵列（FPGA）或其他可编程逻辑器件。该存储器42可以是计算机能够存取的任何可用介质，包括但不限于：随机存储器(random access memory,简称RAM)、或磁盘存储（diskstorage）、闪存、可编程只读存储器或电可擦写可编程存储器、寄存器等本领域熟悉的存储介质。

存储器42存储执行指令，当闪存数据管理装置运行时，处理器41与存储器42之间通信，处理器41执行所述执行指令使得所述闪存数据管理装置执行如下方法：

从闪存中选择一个文件对象，并获取该文件对象的页面集合；其中，上述的页面集合包含该文件对象的全部页面。

计算该页面集合中每个页面的热度值。

根据该页面集合中每个页面的热度值将该页面集合中的页面进行聚类分组。

将该闪存划分为多个热度区域；其中上述的闪存中的每个热度区域的热度值均不相同。

计算每个分组的平均热度值，并根据每个分组的平均热度值与每个热度区域的热度值将每个分组中的数据写入对应的热度区域。

可选的，处理器41执行的方法中，所述计算目标页面集合中每个页面的热度值具体包括：在预设时间段内统计页面集合中每个页面的擦写次数；根据每个页面的擦写次数计算每个页面的热度值。

可选的，处理器41执行的方法中，所述根据每个页面的擦写次数计算每个页面的热度值具体包括：

若在预设时间段内页面集合中的任一页面的擦写次数为0，则将文件对象中所有页面写入次数的期望值作为任一页面的热度值；或者，若在预设时间段内页面集合中的任一页面的擦写次数不为0，则根据页面热度计算公式计算任一页面的热度值；上述的页面热度计算公式为：上述的W_p为该任一页面的擦写次数；上述的T为当前时间；上述的为该任一页面最后的修改时间。

其中，上述的任一页面为该页面集合中的一个页面。

可选的，处理器41执行的方法中，所述根据页面集合中每个页面的热度值将页面集合中的页面进行聚类分组具体包括：

将页面集合中的每个页面分为一个分组，并将所有分组组成一个第一集合；根据第一集合的每个分组中每个页面的热度值计算第一集合的第一权重；选择第一集合中相邻的一对分组进行合并，得到第二集合，并根据第二集合的每个分组中每个页面的热度值计算第二集合的第二权重，继续将第一集合中其他相邻的分组依次进行合并，并分别计算其他相邻的分组合并后得到的第二集合的第二权重；计算第一集合的第一权重相对于每次合并后得到的第二集合的第二权重的权重降低量；若当前所有的权重降低量都不小于0，则将当前所有的权重降低量中最大的权重降低量对应的第二集合作为新的第一集合，并重新根据该新的第一集合的每个分组中每个页面的热度值计算该新的第一集合的第一权重。

可选的，处理器41执行的方法中，所述计算第一集合的第一权重相对于每次合并后得到的第二集合的第二权重的权重降低量之后，所述方法还包括：

若当前所有的权重降低量均小于0，则结束当前聚类分组操作，并将第一集合或新的第一集合作为最终集合。

可选的，处理器41执行的方法中，所述根据第一集合的每个分组中每个页面的热度值计算第一集合的第一权重具体包括：

根据第一集合的每个分组中每个页面的热度值中每个页面的热度值与权重计算公式计算第一集合分组的第一权重；上述的权重计算公式为： $W_g={\mathrm{\Σ}}_{i=1}^k\mathrm{\σ}\left(G_i\right)+f\left(k\right);$

其中，上述的 $\mathrm{\σ}\left(G_i\right)=\frac{1}{m}{\mathrm{\Σ}}_{p\∈G_i}|h\left(p\right)-h_i|,$ 上述的σ(G_i)为该第一集合中任一分组内第一分组内的页面的方差，用于表示该任一分组的热度方差和，上述的h(p)为该任一分组的平均热度值，上述的h_i为第i个页面的热度值，上述的m为该任一分组的页面数；上述的f(k)为该第一集合的分组数目权重，上述的K为该第一集合的分组数。

本发明的实施例提供的闪存数据管理装置，通过计算预选文件对象的页面集合中每个页面的热度值，并根据计算出的每个页面的热度值将该页面集合中的页面进行聚类分组，从而根据每个分组的平均热度值与闪存划分后得到的每个热度区域的热度值将每个分组中的数据写入对应的热度区域，相比于现有技术中通过闪存控制器中的FLT能将闪存数据中的静态数据和动态数据进行分离的过程，本发明在去掉FTL映射表的前提下，无需通过FTL进行转换，通过对同一文件的闪存页面进行优化布局，从而提高了垃圾回收效率和闪存访问效率。

需要说明的是，本发明以上各个实施例中的闪存数据管理装置中的处理器的实现方式和交互过程可以参考相应方法实施例中的相关描述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (12)

1.一种闪存数据管理方法，其特征在于，包括：

从闪存中选择一个文件对象，并获取所述文件对象的页面集合；其中所述页面集合包含所述文件对象的全部页面；

计算所述页面集合中每个页面的热度值；

根据所述页面集合中每个页面的热度值将所述页面集合中的页面进行聚类分组；

将所述闪存划分为多个热度区域；其中所述闪存中的每个热度区域的热度值均不相同；

计算每个分组的平均热度值，并根据所述每个分组的平均热度值与所述每个热度区域的热度值将所述每个分组中的数据写入对应的热度区域。

2.根据权利要求1所述的方法，其特征在于，所述计算所述目标页面集合中每个页面的热度值具体包括：

在预设时间段内统计所述页面集合中每个页面的擦写次数；

根据所述每个页面的擦写次数计算所述每个页面的热度值。

3.根据权利要求2所述的方法，其特征在于，所述根据所述每个页面的擦写次数计算所述每个页面的热度值具体包括：

若在所述预设时间段内所述页面集合中的任一页面的擦写次数为0，则将所述文件对象中所有页面写入次数的期望值作为所述任一页面的热度值；

或者，

若在所述预设时间段内所述页面集合中的任一页面的擦写次数不为0，则根据页面热度计算公式计算所述任一页面的热度值；所述页面热度计算公式为：所述W_p为所述任一页面的擦写次数；所述T为当前时间；所述为所述任一页面最后的修改时间；

其中，所述任一页面为所述页面集合中的一个页面。

4.根据权利要求1所述的方法，其特征在于，所述根据所述页面集合中每个页面的热度值将所述页面集合中的页面进行聚类分组具体包括：

将所述页面集合中的每个页面分为一个分组，并将所有分组组成一个第一集合；

根据所述第一集合的每个分组中每个页面的热度值计算所述第一集合的第一权重；

选择所述第一集合中相邻的一对分组进行合并，得到第二集合，并根据所述第二集合的每个分组中每个页面的热度值计算所述第二集合的第二权重，继续将所述第一集合中其他相邻的分组依次进行合并，并分别计算所述其他相邻的分组合并后得到的第二集合的第二权重；

计算所述第一集合的第一权重相对于每次合并后得到的第二集合的第二权重的权重降低量；

若当前所有的权重降低量都不小于0，则将所述当前所有的权重降低量中最大的权重降低量对应的第二集合作为新的第一集合，并重新根据所述新的第一集合的每个分组中每个页面的热度值计算所述新的第一集合的第一权重。

5.根据权利要求4所述的方法，其特征在于，所述计算所述第一集合的第一权重相对于每次合并后得到的第二集合的第二权重的权重降低量之后，所述方法还包括：

若当前所有的权重降低量均小于0，则结束当前聚类分组操作，并将所述第一集合或所述新的第一集合作为最终集合。

6.根据权利要求4所述的方法，其特征在于，所述根据所述第一集合的每个分组中每个页面的热度值计算所述第一集合的第一权重具体包括：

根据所述第一集合的每个分组中每个页面的热度值中每个页面的热度值与权重计算公式计算所述第一集合分组的第一权重；所述权重计算公式为： $W_g={\mathrm{\Σ}}_{i=1}^k\mathrm{\σ}\left(G_i\right)+f\left(k\right);$

其中，所述 $\mathrm{\σ}\left(G_i\right)=\frac{1}{m}{\mathrm{\Σ}}_{p\∈G_i}|h\left(p\right)-h_i|,$ 所述σ(G_i)为所述第一集合中任一分组内第一分组内的页面的方差，用于表示所述任一分组的热度方差和，所述h(p)为所述任一分组的平均热度值，所述h_i为第i个页面的热度值，所述m为所述任一分组的页面数；所述f(k)为所述第一集合的分组数目权重，所述K为所述第一集合的分组数。

7.一种闪存数据管理装置，其特征在于，包括：

获取单元，用于从闪存中选择一个文件对象，并获取所述文件对象的页面集合；其中所述页面集合包含所述文件对象的全部页面；

计算单元，用于计算所述获取单元获得的所述页面集合中每个页面的热度值；

聚类单元，用于根据所述计算单元得到的所述页面集合中每个页面的热度值将所述页面集合中的页面进行聚类分组；

划分单元，用于将所述闪存划分为多个热度区域；其中所述闪存中的每个热度区域的热度值均不相同；

调度单元，用于计算每个分组的平均热度值，并根据所述计算单元得到的所述每个分组的平均热度值与所述划分单元划分出的所述每个热度区域的热度值将所述每个分组中的数据写入对应的热度区域。

8.根据权利要求7所述的装置，其特征在于，所述计算单元具体包括：

统计模块，用于在预设时间段内统计所述页面集合中每个页面的擦写次数；

计算模块，用于根据所述统计模块统计的所述每个页面的擦写次数计算所述每个页面的热度值。

9.根据权利要求8所述的装置，其特征在于：

所述计算模块具体用于：若在所述预设时间段内所述页面集合中的任一页面的擦写次数为0，则将所述文件对象中所有页面写入次数的期望值作为所述任一页面的热度值；

或者，

若在所述预设时间段内所述页面集合中的任一页面的擦写次数不为0，则根据页面热度计算公式计算所述任一页面的热度值；所述页面热度计算公式为：所述W_p为所述任一页面的擦写次数；所述T为当前时间；所述为所述任一页面最后的修改时间；

其中，所述任一页面为所述页面集合中的一个页面。

10.根据权利要求7所述的装置，其特征在于，所述聚类单元具体包括：

分组模块，用于将所述页面集合中的每个页面分为一个分组，并将所有分组组成一个第一集合；

第一计算模块，用于根据所述第一集合的每个分组中每个页面的热度值计算所述分组模块得到的所述第一集合的第一权重；

第二计算模块，用于选择所述第一集合中相邻的一对分组进行合并，得到第二集合，并根据所述第二集合的每个分组中每个页面的热度值计算所述第二集合的第二权重，继续将所述第一集合中其他相邻的分组依次进行合并，并分别计算所述其他相邻的分组合并后得到的第二集合的第二权重；

第三计算模块，用于计算所述第一计算模块得到的所述第一集合的第一权重相对于所述第二计算模块得到的每次合并后得到的第二集合的第二权重的权重降低量；

所述第一计算模块，还用于若所述第三计算模块得到的当前所有的权重降低量都不小于0，则将所述当前所有的权重降低量中最大的权重降低量对应的第二集合作为新的第一集合，并重新根据所述新的第一集合的每个分组中每个页面的热度值计算所述新的第一集合的第一权重。

11.根据权利要求10所述的装置，其特征在于，所述聚类单元，还包括：

输出模块，用于若所述第三计算模块得到的当前所有的权重降低量均小于0，则结束当前聚类分组操作，并将所述第一集合或所述新的第一集合作为最终集合。

12.根据权利要求10所述的装置，其特征在于：

所述第一计算模块具体用于：

根据所述第一集合的每个分组中每个页面的热度值中每个页面的热度值与权重计算公式计算所述第一集合分组的第一权重；所述权重计算公式为： $W_g={\mathrm{\Σ}}_{i=1}^k\mathrm{\σ}\left(G_i\right)+f\left(k\right);$

其中，所述 $\mathrm{\σ}\left(G_i\right)=\frac{1}{m}{\mathrm{\Σ}}_{p\∈G_i}|h\left(p\right)-h_i|,$ 所述σ(G_i)为所述第一集合中任一分组内第一分组内的页面的方差，用于表示所述任一分组的热度方差和，所述h(p)为所述任一分组的平均热度值，所述h_i为第i个页面的热度值，所述m为所述任一分组的页面数；所述f(k)为所述第一集合的分组数目权重，所述K为所述第一集合的分组数。