CN104572504A

CN104572504A - 一种实现数据预读的方法及装置

Info

Publication number: CN104572504A
Application number: CN201510053032.2A
Authority: CN
Inventors: 文中领; 张书宁; 徐旸; 刘友生; 吴庆民
Original assignee: Inspur Beijing Electronic Information Industry Co Ltd
Current assignee: Inspur Beijing Electronic Information Industry Co Ltd
Priority date: 2015-02-02
Filing date: 2015-02-02
Publication date: 2015-04-29
Anticipated expiration: 2035-02-02
Also published as: CN104572504B

Abstract

本发明公开了一种实现数据预读的方法及装置，包括：对单隐层神经网络进行训练获得预设层数的多隐层神经网络；基于训练完成的预设层数的多隐层神经网络对存储系统的数据预读到缓存。发明方法通过多隐层神经网络对存储系统的数据进行预读到缓存，实现了随机IO数据预读，保证了缓存中预读数据的准确性，提高了存储系统的性能。

Description

一种实现数据预读的方法及装置

技术领域

本发明涉及计算机技术，尤指一种实现数据预读的方法及装置。

背景技术

随着计算机技术的发展，存储系统逐渐从计算系统中迁移出来，并逐渐形成一种独立的设备。如今整个计算系统可以认为由计算节点、交换节点和存储节点三部分组成。随着计算节点计算容量的增加对存储节点的性能提出了越来越高的要求，存储系统时存储节点的主要形态。存储介质中，普通的机械硬盘由于受机械结构影响，整体性能普遍偏低，一般每秒进行读写操作的次数(IOPS)在100左右，即使企业级高速机械硬盘的IOPS也不会超过200。因此由机械硬盘组成的存储系统，整体性能受到极大的限制。

鉴于上述原因，为了提高存储系统的性能，在存储系统之上增加了缓存系统，缓存系统在系统内存中实现。由于CPU访问内存的速度是访问硬盘速度的百倍甚至千倍以上。加入缓存系统的存储系统在性能上得到了极大的提升。缓存系统极大的提高了访问硬盘的速度，从而提升了存储系统的工作性能，但，缓存系统存在缓存命中的问题，以读为例，只有尽量多的从缓存中读取到需要读取的数据，才能提高存储系统的性能，即，需要将存储系统预先将硬盘的数据读到缓存系统的缓存中。

目前，将硬盘数据预读到缓存主要基于输入输出(IO)随机特性，当IO随机特性判定为连续IO时，将连续IO数据后期可能被读的数据预读到缓存中。鉴于连续IO的可预知性，保证了将数据预读到缓存的正确性，即保证了缓存的预读数据的命中率。而对IO随机特性判定为随机IO时，由于随机IO具有非线性特性，采用现有的方法，无法预知后期可能被读取数据的IO具体位置，因此无法实现随机IO的数据预读。

发明内容

为了解决上述技术问题，本发明提供了一种实现数据预读的方法，能够对随机IO的具体位置进行预知，从而读取预知的随机IO位置的数据，提高缓存系统预读数据的命中率。

为了达到本发明目的，本发明提供了一种实现数据预读的方法，包括：

对单隐层神经网络进行训练获得预设层数的多隐层神经网络；

基于训练完成的预设层数的多隐层神经网络对存储系统的数据预读到缓存。

进一步地，在对单隐层神经网络进行训练之前，该方法还包括：

获取缓存读取的历史数据作为数据样本集，通过数据样本集训练生成单隐层神经网络；

所述单隐层神经网络包括输入层、输出层及一个隐层。

进一步地，训练获得预设层数的多隐层神经网络具体包括：

对所述单隐层神经网络，逐次训练以添加新的隐层，直至隐层数达到预设层数。

进一步地，添加新的隐层具体包括：

预先赋值所述单隐层神经网络中第一隐层的第一初始化权重；

将数据样本集的第一样本输入数据作为单隐层神经网络的输入，通过赋值为初始化权重第一隐层的处理后，完成第一输出层的输出；

根据第一输出层的输出与第一样本输入数据对应的第一样本输出，经由误差反向传播BP过程处理确定第一隐层的实际权重；

舍弃第i输出层，并在第i隐层和第i+1输出层之间添加第i+1隐层生层包含有i+1层隐层的神经网络；

预先赋值所述第i+1隐层的第i+1初始化权重；

将数据样本集的第i+1样本输入数据作为i+1层隐层的神经网络的输入，通过赋值为第i+1初始化权重第i+1隐层的处理后，完成第i+1输出层的输出；

根据第i+1输出层的输出与第i+1样本输入数据对应的第i+1样本输出，经由BP过程处理确定第i+1隐层的实际权重；

所述i∈[1，2…N]，其中N为所述预设层数的数值减1的正整数。

进一步地，基于训练完成的预设层数的多隐层神经网络对存储系统的数据预读到缓存具体包括：

将向存储系统缓存发送的请求读IO信息发送到所述训练完成的多隐层神经网络；

所述训练完成的多隐层神经网络计算获得将读取存储系统IO的位置信息；

根据IO的位置信息将相应的数据输出到缓存中，实现预读数据到缓存。

进一步地，该方法还包括：

根据对存储系统的实际读取的数据与预读到缓存的数据进行比对，根据比对差值进行BP过程处理，调整多隐层神经网络中第预设层数层的隐层的权重。

另一方面，本申请还提供一种实现数据预读的装置，包括：第一训练单元及数据预读单元；其中，

第一训练单元，用于对单隐层神经网络进行训练获得预设层数的多隐层神经网络；

数据预读单元，用于基于训练完成的预设层数的多隐层神经网络对存储系统的数据预读到缓存。

进一步地，该装置还包括第二训练单元，用于在对单隐层神经网络进行训练之前，获取缓存读取的历史数据作为数据样本集，通过数据样本集训练生成单隐层神经网络；

所述单隐层神经网络包括输入层、输出层及一个隐层。

进一步地，第一训练单元具体用于，对所述单隐层神经网络，逐次训练以添加新的隐层，直至隐层数达到预设层数。

进一步地，第一训练单元具体用于，

对所述单隐层神经网络，

预先赋值所述第i+1隐层的第i+1初始化权重；

逐次训练以添加新的隐层，直至隐层数达到预设层数；

进一步地，数据预读单元具体用于，

进一步地，该装置还包括权重调整单元，用于根据对存储系统的实际读取的数据与预读到缓存的数据进行比对，根据比对差值进行BP过程处理，调整多隐层神经网络中第预设层数层的隐层的权重。

与现有技术相比，本发明方案包括：对单隐层神经网络进行训练获得预设层数的多隐层神经网络；基于训练完成的预设层数的多隐层神经网络对存储系统的数据预读到缓存。本发明方法通过多隐层神经网络对存储系统的数据进行预读到缓存，实现了随机IO数据预读，保证了缓存中预读数据的准确性，提高了存储系统的性能。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1为本发明实现数据预读的方法的流程图；

图2为本发明多隐层神经网络的结构示意图；

图3为本发明实现数据预读的装置的结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

图1为本发明实现数据预读的方法的流程图，如图1所示，包括：

步骤100、对单隐层神经网络进行训练获得预设层数的多隐层神经网络；

本步骤之前还包括：

获取缓存读取的历史数据作为数据样本集，通过数据样本集训练生成单隐层神经网络；这里，单隐层神经网络包括输入层、输出层及一个隐层。

需要说明的是，这里历史数据作为数据样本集，可以提高神经网络训练的准确性，具体训练生成单隐层神经网络的方法属于本领域技术人员的公知常识。

训练获得预设层数的多隐层神经网络具体包括：

对单隐层神经网络，逐次训练以添加新的隐层，直至隐层数达到预设层数。

进一步的，包括：预先赋值所述单隐层神经网络中第一隐层的第一初始化权重；

预先赋值所述第i+1隐层的第i+1初始化权重；

i∈[1，2…N]，其中N为所述预设层数的数值减1的正整数。

需要说明的是，在实际应用中，一般多隐层神经网络采用3层就可以实现较高准确性的数据预读，在增加神经网络隐层时，需要更高的系统性能支持，因此，可以根据系统性能确定是否添加更多的隐层。例如Oracle数据库可以设置为3，普通Web服务设置为5。

步骤101、基于训练完成的预设层数的多隐层神经网络对存储系统的数据预读到缓存。

本步骤具体包括：

本发明方法还包括：

本发明利用多隐层神经网络(包含三个隐层的多隐层神经网络也较深层神经网络)的非线性拟合特性及有力的辨别能力，用于预测随机IO的读取数据的位置，将预读的随机IO位置上的数据读入缓存中，提高缓存命中率。增加了存储系统的工作性能。本发明充分考虑了存储系统中存储数据业务的用户的业务类型往往是特定的，计算服务器访问存储系统的IO数据具有一定的规律性的局部性的特点。虽然随机IO数据不是连续的，但随机特性往往有特定的规律。利用多隐层神经网络可以很好的对这种非线性规律进行预测，可以根据历史位置信息预测读取数据的随机IO的位置信息。

图2为本发明多隐层神经网络的结构示意图，示意图中多隐层神经网络由一层输入层、3层隐层和一层输出层构成，输入层、各隐层和输出层都包含有若干神经元，神经元之间互联，各隐层且有相应的权重。假设i和j代表相邻两层的结点，且i<j，则i和j之间实际是一个隐层，w_ji代表该隐层在神经网络中的权值，则结点j的输入为：

v_{j} = Σ_{i = 0}^{m} w_{ji} y_{i}

(式1)

其中，m代表第i层神经元的个数，w_j0代表从i层神经元到j层神经元的权值。其中i层神经元的输出y_j，

(式2)

其中，

输入信号按式2到达输出层后，再从输出层开始做反向传播过程，定义神经网络实际输出d_j与期望输出y_j的误差函数为：

e_j＝d_j-y_j (式3)

利用现有的梯度下降算法可以得到权值的调整值，具体的，节点i，j间的权值调整量的计算公式为为：

(式4)

其中，η为学习率。

通过上述过程，可以对生成的多隐层神经网络进行权重调整，使多隐层神经网络设置合理，在实际应用过程中，可以及时的进行调整，保证神经网络的工作性能。

图3为本发明实现数据预读的装置的结构框图，如图3所示，包括：第一训练单元及数据预读单元；其中，

本发明装置还包括第二训练单元，用于在对单隐层神经网络进行训练之前，获取缓存读取的历史数据作为数据样本集，通过数据样本集训练生成单隐层神经网络；

单隐层神经网络包括输入层、输出层及一个隐层。

第一训练单元具体用于，对所述单隐层神经网络，逐次训练以添加新的隐层，直至隐层数达到预设层数。

第一训练单元具体用于，

对所述单隐层神经网络，

预先赋值所述第i+1隐层的第i+1初始化权重；

逐次训练以添加新的隐层，直至隐层数达到预设层数；

数据预读单元具体用于，

本发明装置还包括权重调整单元，用于根据对存储系统的实际读取的数据与预读到缓存的数据进行比对，根据比对差值进行BP过程处理，调整多隐层神经网络中第预设层数层的隐层的权重。

虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims

1.一种实现数据预读的方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，在对单隐层神经网络进行训练之前，该方法还包括：

所述单隐层神经网络包括输入层、输出层及一个隐层。

3.如权利要求1或2所述的方法，其特征在于，所述训练获得预设层数的多隐层神经网络具体包括：

4.根据权利要求3所述的方法，其特征在于，所述添加新的隐层具体包括：

预先赋值所述第i+1隐层的第i+1初始化权重；

5.如权利要求1所述的方法，其特征在于，所述基于训练完成的预设层数的多隐层神经网络对存储系统的数据预读到缓存具体包括：

6.如权利要求5所述的方法，其特征在于，该方法还包括：

7.一种实现数据预读的装置，其特征在于，包括：第一训练单元及数据预读单元；其中，

8.如权利要求7所述的装置，其特征在于，该装置还包括第二训练单元，用于在对单隐层神经网络进行训练之前，获取缓存读取的历史数据作为数据样本集，通过数据样本集训练生成单隐层神经网络；

所述单隐层神经网络包括输入层、输出层及一个隐层。

9.如权利要求7或8所述的装置，其特征在于，所述第一训练单元具体用于，对所述单隐层神经网络，逐次训练以添加新的隐层，直至隐层数达到预设层数。

10.根据权利要求9所述的装置，其特征在于，所述第一训练单元具体用于，

对所述单隐层神经网络，

预先赋值所述第i+1隐层的第i+1初始化权重；

逐次训练以添加新的隐层，直至隐层数达到预设层数；

11.如权利要求7所述的装置，其特征在于，所述数据预读单元具体用于，

12.如权利要求10所述的装置，其特征在于，该装置还包括权重调整单元，用于根据对存储系统的实际读取的数据与预读到缓存的数据进行比对，根据比对差值进行BP过程处理，调整多隐层神经网络中第预设层数层的隐层的权重。4 -->