CN105306240B - 一种用于建立储存装置流量模型的方法与系统 - Google Patents

Abstract

本发明公开一种在软件定义储存下，用于储存装置流量模型的方法与系统。该方法包含以下步骤：在一段时间内，由一储存节点收集至少一个性能参数的观察值；由该观察值，学习该至少一个性能参数随时间变化的一趋势结构；及于未来某一特定的时间点提供某一性能参数的预测值。该储存节点由软件定义储存软件所运作，该趋势结构基于经过该段时间后收集的观察值而被调整，该预测值由调整后的趋势结构输出。

Description

一种用于建立储存装置流量模型的方法与系统

技术领域

本发明关于一种用于建立储存装置流量模型的方法与系统，特别是关于一种在软件定义储存下，用于建立储存装置流量模型的方法与系统。

背景技术

云端服务在最近十年中发展得非常普及。云端服务是基于云端计算，在不增加客户端的负担情形下，提供相关的服务或商品。云端计算涉及了大量的计算机主机，这些计算机主机彼此经由一个通信网络，比如因特网，而连接。它依赖资源的分享，以达成一致性与经济规模。云端计算的概念融合了网络基础设施以及资源共享的服务等形成的基础架构。在所有分享的服务中，内存与储存设备绝对是两个需求最大的项目。这是因为某些热门的应用，比如视频串流，需要巨大的数据量储存。当云端服务运作时，内存和储存设备管理是非常重要的，以为客户维持正常的服务质量。

举例而言，用来提供云端服务的服务器通常管理或连接到数个硬式磁盘上。客户使用该服务器，数据自该硬式磁盘读出或写入其中。但是，由于硬式磁盘系统的限制而往往产生响应时间的延迟，这会引起服务需求上的问题。在正常的硬式磁盘系统的操作下，当应用面所需求(即工作量)的访问速度超过硬式磁盘系统所能提供的速度时，延迟时间通常因此而产生。在过去，延迟时间可能不会造成困扰，因为云端服务提供商能供应用于可预期最大容量的基础架构。然而，当更多客户加入分享服务资源时，固定的基础架构可能就无法支持来自客户端的需求了。为了改善与加强基础架构，除了仅备妥较多的硬件外，也需要能够弹性调整基础架构。只为了未来某一时间点不确定的情况而准备额外大量的备用资源，是很不经济的。

另一个和云端服务一样地快速增长的需求是软件定义储存。软件定义储存指的是可从管理储存基础架构的软件中，独立出储存硬件的计算器数据储存技术。在软件定义储存下，可以启动一些功能选项，如重复数据删除、复制、自动精简配置、快照和备份，提供策略管理。通过软件定义储存技术，可满足基础架构的弹性调整需求，可以提供刚好足够的基础设施资源，而在基础设施中未使用的硬件可以是待机状态，以节省电力消耗，延长硬件的生命周期。除了基础架构的弹性调整，如果该系统能预测短期内的储存流量及进行本身调整以符合外在需要，该系统就能提供客户更好的服务。简言之，对于能预测在未来某一特定的时间点的系统，即本发明所谓的流量模型是存在着高度的需求。储存装置流量模型特别是本发明所关注的焦点。

参照美国专利公开案第20090138420号，该案揭露对前述需求有用的发明，一种用于建立网络流量模型的方法。在该方法中，一人工神经网络结构被使用来智能地和自适应地建立网络容量的模型。起初，网络流量被分解成多个类别，比如各别使用者、应用使用，或常见使用群组。人工神经网络的输入被定义为在许可带宽量预测和该许可带宽量下可能条件的组合。人工神经网络的输出则是与输入相对应的网络流量。举例而言，与各类别相关的多个带宽配置可以被界定。人工神经网络接着被构建，并以那些带宽配置来训练，然后用于预测未来网络的带宽需求。

用于带宽配置的预测的人工神经网络的应用是该发明的主要部分，同时也揭露了实现该发明的详细步骤。然而依照实施例，该发明基本上是用作预测飞机飞行时的带宽配置。在这种情况下，用于网络流量的基础设施几乎是固定的，仅接受不同的工作量，例如乘客使用来自不同群组的基础设施。在没有连接到任何云端服务的情况下，基础设施的硬件可能会依照不同的工作量设定而调整。同时，对于通过学习来自不同类别数据，云端服务应用面需求的预测是不容易做到的。精确地来说，该预测应基于来自一个来源不同的性能参数而做出。举例而言，通过学习硬式磁盘系统中每秒输入输出操作次数及过去一段时间内的延迟时间而预测未来每秒输入输出操作次数。

因此，基于人工神经网络，用于预测储存流量与提供软件定义储存系统流量模型的一种新的方法与系统，亟为业界应用所需。

发明内容

如前所述，现有技术并无法对现有云端服务的流量(尤其是使用软件定义储存系统)做有效的模型与预估以提供系统硬件基础设施适当调整的依据，需要一种新的方法与系统来满足该需求。

依照本发明的一种态样，一种用于在软件定义储存下建立储存装置流量模型的方法，包含以下步骤：在一段时间内，由一储存节点收集至少一个性能参数的观察值；由该观察值，学习该至少一个性能参数随时间变化的一趋势结构；及于未来某一特定的时间点提供某一性能参数的预测值。该储存节点由软件定义储存软件所运作，该趋势结构基于经过该段时间后收集的观察值而被调整，该预测值由调整后的趋势结构输出。该性能参数包含每秒输入输出操作次数、延迟时间、流通量(throughput)与队列。

本方法进一步包含以下步骤：在该特定的时间点，比较一输出的预测值与该性能参数的一被比较的观察值；及调整该趋势结构，以便对于在相同的特定的时间点，调整的趋势结构的另一预测值较为接近该被比较的观察值。

较佳的情况是该趋势结构具有一隐藏元件与一输出元件。该隐藏元件通过使用多个神经节点而建立，每一神经节点由找出权值与一第一偏置值及设定一第一激发函数而建立，并运作如下：将该权值与该观察值或该预测值相乘、将相乘结果与该第一偏置值相加而得一总和、输入该总和到该第一激发函数，及由该第一激发函数产生一转换值。该趋势结构通过修改该权值、该第一偏置值，及/或该第一激发函数中的参数至少其中一个而调整。该第一激发函数为一S型函数、线性函数、双曲正切函数、符号函数或阶跃函数。一个合适的值将会被用来取得最好的预测结果。

该输出元件由找出一权值与一第二偏置值，及设定一第二激发函数而建立，并运作如下：将该权值与该隐藏元件每一神经节点的转换值相乘，将相乘结果与该第二偏置值相加而得一总和，输入该总和到第二激发函数，及由该第二激发函数产生该预测值。该趋势结构由修改该权值、该第二偏置值及/或该第二激发函数的参数而调整。该第二激发函数为一S型函数、线性函数、双曲正切函数、符号函数或阶跃函数。

依照本发明的另一种态样，一种用于在软件定义储存下建立储存装置流量模型的系统，包含：一流量监测模块，用以在一段时间内，由一储存节点收集至少一个性能参数的观察值；及一神经网络预测模块，用以由该观察值学习该至少一个性能参数随时间变化的一趋势结构，及于未来某一特定的时间点提供某一性能参数的预测值。该储存节点由软件定义储存软件所运作，该趋势结构基于经过该段时间后收集的观察值而被调整，该预测值由调整后的趋势结构输出。该性能参数包含每秒输入输出操作次数、延迟时间、流通量与队列。

该神经网络预测模块进一步在该特定的时间点，比较一输出的预测值与该性能参数的一被比较的观察值；及调整该趋势结构，以便对于在相同的特定的时间点，调整的趋势结构的另一预测值较为接近该被比较的观察值。依照本案构想，该趋势结构具有一隐藏元件与一输出元件。

该隐藏元件通过使用多个神经节点而建立，每一神经节点运作如下：将该权值与该观察值或来自该输出元件的一预测值相乘、将相乘结果与该第一偏置值相加而得一总和、输入该总和到该第一激发函数，及由该第一激发函数产生一转换值。

该隐藏元件通过使用多个神经节点而建立，每一神经节点运作如下：将该权值与该观察值或来自该输出元件的一预测值相乘、将相乘结果与该第一偏置值相加而得一总和、输入该总和到该第一激发函数，及由该第一激发函数产生一转换值。该趋势结构由修改该权值、该第一偏置值，及/或该第一激发函数的参数中至少一个而调整。该第一激发函数为一S型函数、线性函数、双曲正切函数、符号函数或阶跃函数。该输出元件将一权值与该隐藏元件每一神经节点的转换值相乘、提供一第二偏置值、将相乘结果与该第二偏置值相加而得一总和，及输入该总和至该第二激发函数，以由该第二激发函数产生该预测值。该趋势结构由修改权值、该第二偏置值，及/或该第二激发函数的参数而调整。该第二激发函数为一S型函数、线性函数、双曲正切函数、符号函数或阶跃函数。

该流量监测模块或神经网络预测模块为硬件，或为于该储存节点中的至少一个处理器上执行的软件。通过趋势结构的建立及自动学习的进行，可以达成预测储存流量与提供软件定义储存系统流量模型的目的。

附图说明

图1为本发明提供的用于建立储存装置流量模型方法的流程图；

图2为本发明一实施例的用于建立储存装置流量模型的系统的结构示意图；

图3为一储存节点的架构；

图4为本发明一实施例中的该系统内的一趋势结构的示意图；

图5为由该系统收集的用于学习与预测值的观察值；

图6为本发明一实施例中的该系统内的另一趋势结构的示意图。

附图标记说明：10-系统；100-储存节点；102-管理服务器；104-硬式磁盘；106-固态硬盘；120-流量监控模块；140-神经网络预测模块。

具体实施方式

本发明将通过参照下列的实施方式而更具体地描述。

请参阅图1到图4，本发明的一实施例公开于此。图1为依照本发明提供的用于建立储存装置流量模型方法的流程图。图2为本发明一实施例中应用该方法的一系统10。系统10能被用来预测性能参数，比如用于一网络中的软件定义储存系统的每秒输入输出操作次数、延迟时间、流通量(throughput)及队列。

在本实施例中，软件定义储存系统为一储存节点100。该网络可以是因特网。因而，储存节点100可以是一数据库服务器，管理众多的储存设备及提供客户云端服务。它也可以是一个文件服务器或邮件服务器，具有专属使用的储存设备。该网络也可能用于实验室的局域网络，或用于跨国企业的广域网，本发明并未限定储存节点100的应用。然而，储存节点100必须是软件定义储存。换句话说，储存节点100的硬件(储存设备)应该能与管理储存节点100的软件分离。储存节点100由软件定义储存的软件所运作。因此，储存节点100中储存装置的重配置能通过各别的软件或硬件来实现。传统上，如图3所示，储存节点100可包含一管理服务器102、数个硬式磁盘104与固态硬盘106。管理服务器102能接收指令，以进行硬式磁盘104与固态硬盘106的重配置。因此，仅一部分硬式磁盘104与固态硬盘106用为特定应用(即工作量)需求上，其余系统10的硬件在待机状态下，因此可以节省电能。本发明不仅能应用在具有各式储存设备重配置状态的储存节点100上，也能应用在具有固定设施的其它储存节点。

系统10包括一流量监测模块120与一神经网络预测模块140。应注意的是该流量监测模块120或该神经网络预测模块140不限于硬件，也可以是软件，通过储存节点100内的至少一个处理器而执行。神经网络预测模块140能基于任何神经网络技术而运作，本发明实现用于软件定义储存系统的神经网络技术来提供性能参数的预测，以便获得一流量模型。

流量监测模块120用来在一段时间内，由储存节点100收集至少一个性能参数的观察值。如前所述，该性能参数可以是在储存节点100的每秒输入输出操作次数、延迟时间，流通量或队列。在本实施例中，性能参数，例如延迟时间的观察值通过神经网络预测模块140收集后供学习之用，因而能提供延迟时间的预测值于未来某一特定的时间点。依照本发明，性能参数的观察值能于未来特定的时间点，被用来预测该参数本身的数值。在之后叙明的另一实施例中，多性能参数的预测值能于未来的特定的时间点，被用来预测某一性能参数值。

进一步来说，神经网络预测模块140由观察值学习该至少一个性能参数随时间变化的一趋势结构，基于学习的结果，可于未来某一特定的时间点提供某一性能参数的预测值。如前所述，该观察值与预测值都是延迟时间。神经网络预测模块140可在特定的时间点，比较一输出的延迟时间与延迟时间的一被比较的观察值。它能调整该趋势结构，以便来自调整后的趋势结构的延迟时间的另一预测值，对于相同的特定时间点，会更接近被比较的观察值。举例而言，当基于过去120秒的延迟时间的观察值，一个预测30秒后的延迟时间为2.0秒时，一个30秒后被比较的延迟时间为2.5秒。从而，该趋势结构必须被调整。由上面的描述推断，趋势结构可以是硬件，或在储存节点100中的至少一个处理器执行的软件。无论它的型态为何，为了有较佳的理解，该趋势结构说明于图4中。

如图4所示，趋势结构包括一隐藏元件与一输出元件。该隐藏元件通过使用多个神经节点而建立，每一神经节点将该权值与观察值或来自输出元件的预测值相乘。

在本实施例中，隐藏元件中有2个神经节点。事实上，神经节点的数量可以大于2个，较多的性能参数能被用来于未来预测某一特定的性能参数。关于这一部分，将于稍后另一实施例中说明。其中一个神经节点将延迟时间的观察值与一群权值(w1)，相乘，另一个将延迟时间的预测值与一群权值(w2)相乘。同时，隐藏元件能将前述的相乘结果与一第一偏置值(b1)相加而得一总和，并输出该总和到第一激发函数以由第一激发函数产生一转换值。在本实施例中，第一激发函数为一S型函数。然而，实作上它并不限于S型函数，而可以是任何其它的函数，包含线性函数、双曲正切函数、符号函数或阶跃函数。一个合适的值将会被用来取得最好的预测结果。因而，输出元件能使用该转换值于进一步的计算。

输出元件将一权值(w3)与隐藏元件每一神经节点的转换值相乘，并提供一第二偏置值(b2)。它将相乘结果与b2相加而得一总和、输出该总和到第二激发函数，并接着由第二激发函数产生该预测值。第二激发函数通常为一线性函数，但也可以是任何其它的函数，包含S型函数、双曲正切函数、符号函数或阶跃函数。

如前所述，趋势结构能被调整。趋势结构通过修改权值、第一偏置值、第二偏置值，及/或第一激发函数或第二激发函数的参数其中至少一个而调整。修正量可以由经验或其他计算来选择，任何方法都可行，只要对于在相同的特定的时间点，调整的趋势结构的另一预测值较为接近该被比较的观察值。然而，趋势结构必须是基于经过该段时间后收集的观察值而被调整。对此，另一实施例将稍后详述。因而，该预测值由调整后的趋势结构输出。

回到图1。依照以上的描述，能总结依照本发明的一种用于建立储存装置流量模型的方法。该方法包含步骤：在一段时间内，由一储存节点收集至少一个性能参数的观察值(S01)；由该观察值，学习该至少一个性能参数随时间变化的一趋势结构(S02)；及于未来某一特定的时间点提供某一性能参数的预测值(S03)。本方法能应用于由软件定义储存软件所运作的储存节点，该趋势结构基于经过该段时间后收集的观察值而被调整，该预测值由调整后的趋势结构输出。每秒输入输出操作次数、延迟时间、流通量与队列都包含于性能参数中。

为了获得较精准的预测值，本方法进一步包含以下步骤：在该特定的时间点，比较一输出的预测值与该性能参数的一被比较的观察值(S04)；及调整该趋势结构，以便对于在相同的特定的时间点，调整的趋势结构的另一预测值较为接近该被比较的观察值(S05)。

基于本方法，可以进一步于趋势结构中，界定一隐藏元件与一输出元件。隐藏元件通过使用多个神经节点而建立，每一神经节点由找出权值与一第一偏置值及设定一第一激发函数而建立。隐藏元件运作如下：将该权值与该观察值或该预测值相乘、将相乘结果与该第一偏置值相加而得一总和、输入该总和到该第一激发函数，及由该第一激发函数产生一转换值。输出元件由找出一权值与一第二偏置值，及设定一第二激发函数而建立，并运作如下：将该权值与该隐藏元件每一神经节点的转换值相乘，将相乘结果与该第二偏置值相加而得一总和，输入该总和到第二激发函数，及由该第二激发函数产生该预测值。

在本实施例中，第一激发函数为一S型函数，第二激发函数为一线性函数。它们可以是任何其它的函数，包括S型函数、双曲正切函数、符号函数或阶跃函数。趋势结构通过修改权值、第一偏置值，及/或第一激发函数或第二激发函数中的参数的至少其中一个而调整。

依照本发明的精神，收集的观察值与该预测值可以是相同的性能参数，另一实施例用来说明这一点。请见图5，在过去的时间里，延迟时间的观察值被收集，且获得一趋势结构。该观察值是在第0秒到第30秒间收集的。在学习过程后，神经网络预测模块能提供未来某一特定的时间点，延迟时间的预测。设定该预测值于第31秒产生，延迟时间的另一观察值于第31秒获得，该观察值与预测值进行比较。如前所述，两者的差异被用来调整该趋势结构，可以改变权值或任何的偏置值。在第32秒，另一个比较与调整持续进行。在尝试与错误后，于第50秒，趋势结构开始预测第50秒后的延迟时间。当然，在本实施例中所设定的时间点，例如第31秒与第50秒，并不因此限定本发明应用时的设定。对任何系统而言，该时间点可以是任何时间。

来自趋势结构的延迟时间的预测值以点状标明于图5中。当然，该趋势结构可安全地提供一个上限与一个下限(如图所示的虚线)，用于预测中。使用者可以之作为使用预测值的参考。应注意的是该趋势结构仍通过在第50秒后新收集的观察值不断进行学习与调整。也就是说，在预测开始后，学习与调整从不停止。

依照本发明的精神，多性能参数观察值能被收集，以在未来提供某一性能参数值。同时，隐藏元件的权值可不必要与来自输出元件的预测值相乘。请参阅图6。有2个性能参数，每秒输入输出操作次数与延迟时间，被用来预测未来的延迟时间。该隐藏元件包括2个神经节点。其中一个将每秒输入输出操作次数的观察值与一群权值(w4)相乘，另一个将延迟时间的观察值与一群权值(w5)相乘。接着，隐藏元件将相乘结果与一第一偏置值(b3)相加成为一总和，并输入该总和到第一激发函数，以产生一转换值。在本实施例中，第一激发函数为S型函数，也可以是任何其它函数，包括线性函数、双曲正切函数、符号函数，或阶跃函数。在本实施例中以上描述里，每秒输入输出操作次数的观察值取代了来自输出元件的预测值。输出元件的功能不改变。输出元件将一权值(w6)与隐藏元件神经节点的转换值相乘，并将相乘结果与一第二偏置值(b4)相加为一总和。输出元件更进一步输出该总和到第二激发函数并由第二激发函数产生该预测值。

虽然本发明已以实施方式揭露如上，然其并非用以限定本发明，任何所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作些许更动与润饰，因此本发明的保护范围当视权利要求所界定为准。

Claims (15)

1.一种用于在软件定义储存下建立储存装置流量模型的方法，其特征在于，包含以下步骤：

在一段时间内，由一储存节点收集至少一个性能参数的观察值；

由该观察值，学习该至少一个性能参数随时间变化的一趋势结构；及

于未来一特定的时间点提供该特定的时间点的一性能参数的预测值，

其中该储存节点由软件定义储存软件所运作，该趋势结构基于经过该段时间后收集的观察值而被调整，该预测值由调整后的趋势结构输出，

其中该趋势结构具有一隐藏元件与一输出元件，

其中该隐藏元件通过使用多个神经节点而建立，每一神经节点由找出一权值与一第一偏置值及设定一第一激发函数而建立，并运作如下：将该权值与该观察值或该预测值相乘、将相乘结果与该第一偏置值相加而得一总和、输入该总和到该第一激发函数，及由该第一激发函数产生一转换值，

其中该输出元件由找出一权值与一第二偏置值，及设定一第二激发函数而建立，并运作如下：将该权值与该隐藏元件每一神经节点的转换值相乘，将相乘结果与该第二偏置值相加而得一总和，输入该总和到第二激发函数，及由该第二激发函数产生该预测值。

2.如权利要求1所述的方法，其中该性能参数包含每秒输入输出操作次数、延迟时间、流通量与队列。

3.如权利要求1所述的方法，进一步包含步骤：

在该特定的时间点，比较一输出的预测值与该性能参数的一被比较的观察值；及

调整该趋势结构，以便对于在相同的特定的时间点，调整的趋势结构的另一预测值较为接近该被比较的观察值。

4.如权利要求1所述的方法，其中该趋势结构进一步通过修改该权值、该第一偏置值，及/或该第一激发函数中的参数至少其中一个而调整。

5.如权利要求1所述的方法，其中该第一激发函数为一S型函数、线性函数、双曲正切函数、符号函数或阶跃函数。

6.如权利要求1所述的方法，其中该趋势结构进一步由修改该权值、该第二偏置值及/或该第二激发函数的参数而调整。

7.如权利要求1所述的方法，其中该第二激发函数为一S型函数、线性函数、双曲正切函数、符号函数或阶跃函数。

8.一种用于在软件定义储存下建立储存装置流量模型的系统，其特征在于，包含：

一流量监测模块，用以在一段时间内，由一储存节点收集至少一个性能参数的观察值；及

一神经网络预测模块，用以由该观察值学习该至少一个性能参数随时间变化的一趋势结构，及于未来一特定的时间点提供该特定的时间点的一性能参数的预测值，

其中该储存节点由软件定义储存软件所运作，该趋势结构基于经过该段时间后收集的观察值而被调整，该预测值由调整后的趋势结构输出，

其中该趋势结构具有一隐藏元件与一输出元件，

其中该隐藏元件通过使用多个神经节点而建立，每一神经节点运作如下：将一权值与该观察值或来自该输出元件的一预测值相乘、将相乘结果与一第一偏置值相加而得一总和、输入该总和到一第一激发函数，及由该第一激发函数产生一转换值，

其中该输出元件将一权值与该隐藏元件每一神经节点的转换值相乘、提供一第二偏置值、将相乘结果与该第二偏置值相加而得一总和，及输入该总和至一第二激发函数，以由该第二激发函数产生该预测值。

9.如权利要求8所述的系统，其中该性能参数包含每秒输入输出操作次数、延迟时间、流通量与队列。

10.如权利要求8所述的系统，其中该神经网络预测模块进一步在该特定的时间点，比较一输出的预测值与该性能参数的一被比较的观察值；及调整该趋势结构，以便对于在相同的特定的时间点，调整的趋势结构的另一预测值较为接近该被比较的观察值。

11.如权利要求8所述的系统，其中该趋势结构进一步由修改该权值、该第一偏置值，及/或该第一激发函数的参数中至少一个而调整。

12.如权利要求8所述的系统，其中该第一激发函数为一S型函数、线性函数、双曲正切函数、符号函数或阶跃函数。

13.如权利要求8所述的系统，其中该趋势结构进一步由修改权值、该第二偏置值，及/或该第二激发函数的参数而调整。

14.如权利要求8所述的系统，其中该第二激发函数为一S型函数、线性函数、双曲正切函数、符号函数或阶跃函数。

15.如权利要求8所述的系统，其中该流量监测模块或神经网络预测模块为硬件，或于该储存节点中的至少一个处理器上执行的软件。