CN103473335A

CN103473335A - 一种热点数据检测方法及装置

Info

Publication number: CN103473335A
Application number: CN2013104305875A
Authority: CN
Inventors: 李伟国; 吕烁
Original assignee: Inspur Beijing Electronic Information Industry Co Ltd
Current assignee: Inspur Beijing Electronic Information Industry Co Ltd
Priority date: 2013-09-18
Filing date: 2013-09-18
Publication date: 2013-12-25
Anticipated expiration: 2033-09-18
Also published as: CN103473335B

Abstract

本发明公开了一种热点数据检测方法及装置，该方法包括：根据数据块k与一个或多个数据块的相关系数以及数据块k的读写频次确定数据块k的价值，所述相关系数表示两个数据块之间的读写关联程度；根据所述数据块k的价值及预先设定的数据迁移策略确定所述数据块k是否为热点数据。本发明根据数据块的相关系数确定数据块的价值，根据数据块的价值确定数据块是否为热点数据，能使热点数据检测比传统方法更加精准与可靠，增强数据迁移的效率，在不增加硬件成本的前提下，实现了热点数据按价值高低在磁盘内磁道与外磁道进行迁移，能有效提高磁盘的访问性能，从而极大提高磁盘阵列的整体性能。

Description

一种热点数据检测方法及装置

技术领域

本发明涉及磁盘阵列领域，尤其涉及一种热点数据检测方法及装置。

背景技术

在实际应用中对大容量存储的需求促使RAID（Redundant Arrays ofInexpensive Disks，磁盘阵列）技术诞生，并形成了磁盘阵列产品。随着云计算、云存储等技术的不断发展，信息存储容量呈爆炸式增长，磁盘阵列的需求日益扩大，存储系统作为一种共享资源，需要同时向多种不同类型的应用提供服务，这些不同类型的应用具有不同的负载特征和性能需求，许多应用在访问存储系统时，对随机IO并发性有很高的要求。为了满足应用的要求，提高存储系统的每秒钟处理IO请求（I/O per second，IOPS）的能力，引入了热点数据迁移、二级缓存等新技术，但这些技术都依赖于热点数据识别技术。

现有的热点数据识别技术主要包括，将存储区域划分为若干数据块，对所有数据块做精细化统计，统计每个数据块被访问的次数，根据被访问的次数计算被访问的频率，再根据数据块的被访问的频率判断其是否是热点数据区域。

在现有的方法中，只考虑了访问的频率，在实际的应用中由于应用数据读写的相关性，只单纯地考虑IO频繁程度和块粒度具有一定的局限性。

发明内容

本发明要解决的技术问题是提供一种热点数据检测方法及装置，能够使热点数据检测更加精准与可靠，增强数据迁移的的效率。

为解决上述技术问题，本发明的一种热点数据检测方法，包括：

根据数据块k与一个或多个数据块的相关系数以及数据块k的读写频次确定数据块k的价值，所述相关系数表示两个数据块之间的读写关联程度；

根据所述数据块k的价值及预先设定的数据迁移策略确定所述数据块k是否为热点数据。

进一步地，所述根据数据块k与一个或多个数据块的相关系数以及数据块k的读写频次确定数据块k的价值，包括：

根据

确定数据块k的价值，其中，RL_kj为数据块k与数据块j的相关系数，M为与数据块k相关的数据块的数量，W_i和R_i分别为数据块k在第i时间段的写频次和读频次，P_i为数据块k第i时间段的平均读写粒度，N为时间段的总数量。

进一步地，所述RL_kj为根据

确定，其中，Q_k为数据块k的读写次数向量，表示为Q_k(q_k1，q_k2，....q_kN)，Q_k中的元素表示数据块k在第i时间段的写频次与读频次之和，Q_j为数据块j的读写次数向量，表示为Q_j(q_j1，q_j2，....q_jN)，Q_j中的元素表示数据块j在第i时间段的写频次与读频次之和。

进一步地，在确定数据块k的价值前，判断所述数据块k与所述一个或多个数据块是否具有相关性，包括：判断两数据块在每个时间段上是否具有相同的读写变化。

进一步地，所述判断两数据块在每个时间段上是否具有相同的读写变化，包括：

对两数据块的操作标记向量进行匹配，所述操作标记向量为N维，操作标记向量的元素表示数据块在相应时间段上是否有读/写操作，如果两数据块的操作标记向量的每个元素均匹配，则判断两数据块具有相同的读写变化。

进一步地，所述方法还包括：

在确定数据块k的价值前，截取应用的IO请求，确定请求读写的数据块，统计数据块的读写频次，按照数据块的读写频次更新数据块的读写次数向量，并更新数据块的操作标记向量。

进一步地，一种热点数据检测装置，包括：热点数据关联度计算模块和策略模块，其中：

所述热点数据关联度计算模块，用于根据数据块k与一个或多个数据块的相关系数以及数据块k的读写频次确定数据块k的价值，所述相关系数表示两个数据块之间的读写关联程度；

所述策略模块，用于根据所述数据块k的价值及预先设定的数据迁移策略确定所述数据块k是否为热点数据。

进一步地，所述热点数据关联度计算模块根据数据块k与一个或多个数据块的相关系数以及数据块k的读写频次确定数据块k的价值，包括：

根据

进一步地，所述热点数据关联度计算模块根据确定所述RL_kj，其中，Q_k为数据块k的读写次数向量，表示为Q_k(q_k1，q_k2，....q_kN)，Q_k中的元素表示数据块k在第i时间段的写频次与读频次之和，Q_j为数据块j的读写次数向量，表示为Q_j(q_j1，q_j2，....q_jN)，Q_j中的元素表示数据块j在第i时间段的写频次与读频次之和。

进一步地，还包括IO截获模块，其中：

所述热点数据关联度计算模块在确定数据块k的价值前，判断所述数据块k与所述一个或多个数据块是否具有相关性，包括：对两数据块的操作标记向量进行匹配，所述操作标记向量为N维，操作标记向量的元素表示数据块在相应时间段上是否有读/写操作，如果两数据块的操作标记向量的每个元素均匹配，则判断两数据块具有相同的读写变化；

所述IO截获模块，用于在确定数据块k的价值前，截取应用的IO请求，确定请求读写的数据块，统计数据块的读写频次，按照数据块的读写频次更新数据块的读写次数向量，并更新数据块的操作标记向量。

综上所述，本发明根据数据块的相关系数确定数据块的价值，根据数据块的价值确定数据块是否为热点数据，能使热点数据检测比传统方法更加精准与可靠，增强数据迁移的的效率，在不增加硬件成本的前提下，实现了热点数据按价值高低在磁盘内磁道与外磁道进行迁移，能有效提高磁盘的访问性能，从而极大提高磁盘阵列的整体性能。

附图说明

图1为本发明实施方式的热点数据检测方法的流程图；

图2为本发明实施方式的热点数据检测装置的架构图。

具体实施方式

本申请中考虑到，比如，在图书馆管理应用中，首次录入包括书名、出版年月和编号等信息，在具体的图书借阅活动中，记录了借书人的姓名、书名和编号等，以后每次查询本书的使用时，同时会索引出借书人的信息，这样此两类数据便存在了关联，本申请中在识别热点数据时，考虑数据之间的相关性。

本申请中考虑数据块之间的相关性，如数据块A、数据块B、数据块C及数据块D有相同的访问频率，而数据块A和数据块B之间具有相关性，如在访问数据块A时也会访问到数据块B，则认为数据块A和数据块B的优先级会更高，迁移时会优先将数据块A和数据块B迁移，从而可以指导分层存储策略，通过对多个数据块之间相关性的评估，预测存储系统整体的变化趋势，进而提前更准确地确定数据迁移对象和迁移范围，避免反复迁移等系统震荡现象的发生，提高存储管理的自主性和智能性。

本申请中通过考察数据块之间的关联性，确定存储系统中的热点数据，从而确定数据迁移对象，能够使迁移范围更准确，本申请采用具有预测性的分层存储策略，避免了反复迁移等颠簸现象的发生，使得自动分层更具有智能性和自主性。本申请中数据块之间的关联性是指某一数据块在以某种规律或特性被读写的时间段内，另外的一个或几个数据块上也呈现出相同的读写规律或特性。

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，申请中的实施例及实施例中的特征可以相互任意组合。

为实现本实施方式的热点数据检测方法，需要截取来自应用的IO请求，获得请求读写的数据块的大小、偏移量以及读写类型，进行数据块读写频次和数据块大小的统计分析，按照数据块的读写频次更新数据块的读写次数向量，并更新数据块的操作标记向量。

本实施方式中采用Q表示数据块的读写次数向量，表示为Q(q₁，q₂，....q_N)，Q中的元素表示数据块在第i（i取1～N）时间段的写频次与读频次之和。

操作标记向量可以采用F表示，F为N维，操作标记向量的元素表示数据块在相应时间段上是否有读/写操作。

可以根据硬件定时器或者软件定时器，定期截取IO请求，统计读写频次，将每个数据块的读写频次记录在数据块的读写次数向量，并更新操作标记向量F。

如图1所示，本实施方式的热点数据检测方法，包括：

步骤101：计算数据块k与一个或多个数据块的相关系数；

数据块之间的相关系数，是衡量两个数据块，如数据块k和数据块j之间的读写关联程度的数学模型，用RL_kj表示，当数据块k在时间区间T上的任意第i时间段内有读写操作时，在数据块j上也有读写操作时，则认为数据块j和数据块k相关。

相关系数的计算方法如下：

根据确定RL_kj，其中，Q_k为数据块k的读写次数向量，读写次数向量Q_k(q_k1，q_k2，....q_kN)记录数据块k在时间区间[t-B*l，t]上的读写情况，其中q_ki表示在第i时间段内的读频次与写频次之和，Q_j为数据块j的读写次数向量，读写次数向量Q_j表示为Q_j(q_j1，q_j2，....q_jN)，Q_j中的元素q_ji表示数据块j在第i时间段的写频次与读频次之和。

{RL}_{kj} = \frac{Q_{k} \cdot Q_{j}}{| Q_{k} | | Q_{j} |}

中的

Q_{k} \cdot Q_{j} = Σ_{i = 1}^{N} q_{ki} q_{ji}, | Q_{k} | = \sqrt{Σ_{i = 1}^{N} {q_{ki}}^{2}}, | Q_{j} | = \sqrt{Σ_{i = 1}^{N} {q_{ji}}^{2}} .

步骤102：根据数据块k与一个或多个数据块的相关系数以及数据块k的读写频次确定数据块k的价值；

数据块的价值模型如下：

其中，V_t(k)表示数据块k在t时刻的价值，M为与数据块k相关的数据块的数量，，W_i和R_i分别表示数据块k在第i时间段的写频次和读频次，P_i为数据块k在第i时间段的平均读写粒度，N为时间段的总数量。在评价时间区间内，如果一个数据块有M个相关联的数据块，则将所有的M个相关系数之和作为该数据块价值的一个评价因子。

步骤103：根据数据块k的价值及预先设定的数据迁移策略确定数据块k是否为热点数据。

数据迁移策略中可以配置价值阈值，在数据块k的价值大于价值阈值时，确定数据块k为热点数据；否则，确定数据块k不为热点数据。

数据迁移策略还可以包含数据迁移的时机以及数据迁移的位置等。在确定数据块k为热点数据后，可以按照数据迁移策略将数据块k在数据迁移策略指示的时间迁移到数据迁移策略指示的位置。

例如，可以将热点数据写到磁盘外圈上，将“冷”数据迁移到磁盘内圈上，来合理保存数据的分布。

不仅如此，本实施方式中，在确定数据块k的价值前，还可以判断数据块k与要计算相关系数的一个或多个数据块是否具有相关性，虽然，两个数据块的相关系数是根据读写次数向量计算，但判断两数据块是否具有相关性，即是否需要计算相关系数的依据是在指定的时间区间内的各个时间段上两数据块是否具有相同的读写变化。

本实施方式中判断两数据块在每个时间段上是否具有相同的读写变化，包括：对两数据块的操作标记向量进行匹配，如果两数据块的操作标记向量的每个元素均匹配，则判断两数据块具有相同的读写变化。

在截获IO请求后，为数据块在操作标记向量F中标记相应时间段的读写操作的有无，进而在时间区间T上，每个数据块获得一个N维的操作标记向量F，例如，若在任意的第i(i=1，2，......，N)时间段上有读/写操作就将该操作标记向量的第i维标记为1，否则标记为0，通过对数据块k和数据块j各自对应的操作标记向量F（F_k和F_j）按维做同或运算(F_k异或F_j)，当结果向量为全1时，则说明数据块k和数据块j相关联，需要进一步求解相关系数。

如图2所示，本实施方式的热点数据检测装置，包括：IO截获模块、热点数据关联度计算模块、策略模块和数据写入模块等，其中：

热点数据关联度计算模块，用于计算数据块k与一个或多个数据块的相关系数，根据相关系数以及数据块k的读写频次确定数据块k的价值；

热点数据关联度计算模块计算相关系数的方法如下：

根据

确定RL_kj，其中，Q_k为数据块k的读写次数向量，读写次数向量Q_k(q_k1，q_k2，....q_kN)记录数据块k在时间区间[t-B*l，t]上的读写情况，其中q_ki表示在第i时间段内的读频次与写频次之和，Q_j为数据块j的读写次数向量，读写次数向量Q_j表示为Q_j(q_j1，q_j2，....q_jN)，Q_j中的元素q_ji表示数据块j在第i时间段的写频次与读频次之和。

{RL}_{kj} = \frac{Q_{k} \cdot Q_{j}}{| Q_{k} | | Q_{j} |}

中的

Q_{k} \cdot Q_{j} = Σ_{i = 1}^{N} q_{ki} q_{ji}, | Q_{k} | = \sqrt{Σ_{i = 1}^{N} {q_{ki}}^{2}}, | Q_{j} | = \sqrt{Σ_{i = 1}^{N} {q_{ji}}^{2}} .

热点数据关联度计算模块根据相关系数以及数据块k的读写频次确定数据块k的价值，包括：

根据

其中，V_t(k)表示数据块k在t时刻的价值，M为与数据块k相关的数据块的数量，W_i和R_i分别表示数据块k在第i时间段的写频次和读频次，P_i为数据块k在第i时间段的平均读写粒度，N为时间段的总数量。在评价时间区间内，如果一个数据块有M个相关联的数据块，则将所有的M个相关系数之和作为该数据块价值的一个评价因子。

策略模块，用于设定数据迁移策略以及IO截获的频率、时间段i的长度等，根据数据块k的价值及预先设定的数据迁移策略确定数据块k是否为热点数据。

IO截获模块，用以截获来自上层应用的IO请求，并获取对应的数据块的大小、偏移量以及读写类型，进行数据块读写频次和数据块大小统计分析，按照数据块的读写频次更新数据块的读写次数向量，并更新数据块的操作标记向量。

数据写入模块，用于根据数据迁移策略将热点数据写入磁盘的内圈或者外圈。当进行迁移时，数据写入模块用来将数据写入到不同的存储介质中。

该装置还可以包含用户配置模块，用于对策略模块进行配置，如设置数据迁移策略以及IO截获的频率、时间段i的长度等。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现，相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本申请不限制于任何特定形式的硬件和软件的结合。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims

1.一种热点数据检测方法，包括：

2.如权利要求1所述的方法，其特征在于，所述根据数据块k与一个或多个数据块的相关系数以及数据块k的读写频次确定数据块k的价值，包括：

根据

3.如权利要求2所述的方法，其特征在于：

所述RL_kj为根据确定，其中，Q_k为数据块k的读写次数向量，表示为Q_k(q_k1，q_k2，....q_kN)，Q_k中的元素表示数据块k在第i时间段的写频次与读频次之和，Q_j为数据块j的读写次数向量，表示为Q_j(q_j1，q_j2，....q_jN)，Q_j中的元素表示数据块j在第i时间段的写频次与读频次之和。

4.如权利要求3所述的方法，其特征在于：

在确定数据块k的价值前，判断所述数据块k与所述一个或多个数据块是否具有相关性，包括：判断两数据块在每个时间段上是否具有相同的读写变化。

5.如权利要求4所述的方法，其特征在于，所述判断两数据块在每个时间段上是否具有相同的读写变化，包括：

6.如权利要求5所述的方法，其特征在于，所述方法还包括：

7.一种热点数据检测装置，包括：热点数据关联度计算模块和策略模块，其中：

8.如权利要求7所述的装置，其特征在于：

所述热点数据关联度计算模块根据数据块k与一个或多个数据块的相关系数以及数据块k的读写频次确定数据块k的价值，包括：

根据

9.如权利要求8所述的装置，其特征在于：

所述热点数据关联度计算模块根据

确定所述RL_kj，其中，Q_k为数据块k的读写次数向量，表示为Q_k(q_k1，q_k2，....q_kN)，Q_k中的元素表示数据块k在第i时间段的写频次与读频次之和，Q_j为数据块j的读写次数向量，表示为Q_j(q_j1，q_j2，....q_jN)，Q_j中的元素表示数据块j在第i时间段的写频次与读频次之和。

10.如权利要求9所述的装置，其特征在于，还包括IO截获模块，其中：