CN104717439B - 视频存储系统中数据流量控制方法及其装置 - Google Patents

Abstract

本发明涉及视频存储系统，公开一种视频存储系统中数据流量控制方法及其装置。本发明数据流量控制方法包括以下步骤：采集数据节点的与数据流控相关的数据样本；SVR支持向量回归机对数据样本进行训练以分析样本，建立数据流量控制SVR回归模型；SVR回归模型根据预设的限定参数，预测数据节点的输出连接数上限和预期输出流量；根据输出连接数上限和预期输出流量调控数据节点的输出连接数和每个连接的输出流量。本发明中，对与流控相关的样本数据进行采集并建立预测模型，通过模型得出流控目标值并据此自适应地调控数据流量，充分发挥视频存储系统的数据输出效能，既能最大限度地响应外部请求，又避免了系统运行过载和资源不足的问题。

Description

视频存储系统中数据流量控制方法及其装置

技术领域

本发明涉及视频存储系统，特别涉及视频存储系统中数据流量控制方法及其装置。

背景技术

视频存储系统基于网络技术和分布式技术等，通过软件将网络中的存储设备集合起来协同工作，对外提供视频数据存储和业务访问功能的系统。视频存储系统中，数据输出是通过网络传输完成的，系统处理能力和网络带宽总是有限的，而某一时刻系统外部请求是不确定的。如何最大限度地响应外部请求，又能使系统正常运行，避免过载和资源不足，是一个矛盾。存储系统通常都有一些控制参数，针对每个数据节点的控制参数一般有：输出连接数上限、发送数据包大小、发送时间间隔。这些参数决定了系统的最大处理效能，然而这些参数要么直接固化在程序代码中，要么写在系统配置文件中，一旦整个系统启动运行，就会严格按照这些设定的参数来工作。现场的环境是变化的，不论输出请求的连接数大小，都采用相同的发送数据包大小和发送时间间隔是显然是不合理的。

发明内容

本发明的目的在于提供一种视频存储系统中数据流量控制方法及其装置，充分发挥视频存储系统的数据输出效能，在最大限度地响应外部请求的同时，避免系统运行过载和资源不足的问题。

为解决上述技术问题，本发明的实施方式公开了一种视频存储系统中数据流量控制方法，视频存储系统包括管理节点和数据节点，管理节点根据外部数据输入输出请求，选择分配相应的数据节点与外部连接并进行数据存取，数据流量控制方法包括以下步骤：

采集数据节点的与数据流量控制相关的数据样本；

SVR支持向量回归机（Support Vector Regression）对数据样本进行训练以分析数据样本，建立得到数据流量控制的SVR回归模型；

SVR回归模型根据数据节点预设的限定参数，预测数据节点的输出连接数上限和预期输出流量；

管理节点根据输出连接数上限调控数据节点的输出连接数，数据节点根据预期输出流量调控自身每个连接的输出流量。

本发明的实施方式还公开了一种视频存储系统中数据流量控制装置，数据流量控制装置包括以下模块：

采集模块，用于采集数据节点的与数据流量控制相关的数据样本；

样本训练模块，用于使用SVR支持向量回归机对数据样本进行训练以分析数据样本，建立得到数据流量控制的SVR回归模型；

预测模块，用于基于SVR回归模型，并根据数据节点预设的限定参数，预测数据节点的输出连接数上限和预期输出流量；

输出连接数调控模块，用于根据输出连接数上限调控数据节点的输出连接数；

输出流量调控模块，用于根据预期输出流量调控数据节点每个连接的输出流量。

本发明实施方式与现有技术相比，主要区别及其效果在于：

本发明对视频存储系统运行过程中与流控相关的样本数据进行采集并建立预测模型，通过该预测模型得出流控目标值并据此自适应地调控数据流量，充分发挥了视频存储系统的数据输出效能，在最大限度地响应外部请求的同时，避免了系统运行过载和资源不足的问题。

进一步地，通过对范围过大或者过小的原始样本数据进行预处理，有助于SVR回归模型参数的选取和建立SVR模型的速度。

进一步地，选择径向基核函数RBF作为SVR支持向量回归机的核函数，可以将数据样本映射到一个更高维的空间，可以处理类别标签和特征之间的关系是非线性时的样本，且与多项式核函数相比，RBF需要确定的参数少，从而减少模型的复杂度。

进一步地，根据每个连接所在的连接区间不同，确定该连接的数据发送时间间隔和输出发送数据包大小，有利于降低磁盘的读取压力，并有利于将数据输出分散在不同的时间段，避免了数据输出集中在某一时间段而造成过载和资源不足的问题。

附图说明

图1是本发明第一实施方式中一种视频存储系统中数据流量控制方法的流程示意图；

图2是本发明第一实施方式中一种视频存储系统中数据流量控制方法的优选例操作流程图；

图3是本发明第一实施方式中一种视频存储系统中数据流量控制方法的控制数据节点输出连接压力的流程图；

图4是本发明第一实施方式中一种视频存储系统中数据流量控制方法的调节数据节点每个连接的输出流量的流程图；

图5是本发明第二实施方式中一种视频存储系统中数据流量控制装置的结构示意图。

具体实施方式

在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。

本发明第一实施方式涉及一种视频存储系统中数据流量控制方法，视频存储系统包括管理节点和数据节点，管理节点根据外部数据输入输出请求，选择分配相应的数据节点与外部连接并进行数据存取，图1是该视频存储系统中数据流量控制方法的流程示意图。

可以理解，管理节点是存储系统资源管理和调度的控制者，保存着数据节点上存储数据的相关索引信息，根据外部输入输出请求，选择分配相应的数据节点进行数据存取。

数据节点作为存储系统视频数据的存储者，是数据输入输出的业务对象。数据节点挂接存储设备，负责与外部建立数据连接通道，当有数据输入请求时，将数据写入存储设备。当有数据输出请求时，将数据从存储设备取出并发送给请求者。数据节点还需将存储数据的索引信息以及与外部建立数据连接的负载信息上报给管理节点。

系统数据输出的流控涉及到输出连接数上限、输出流量控制，而系统另外一些运行参数与之密切相关，影响着流控。通过采集这些流控相关数据样本，进行样本分析，找出数据间的相关性，建立系统流控数学模型。据此模型，在系统运行中适时调整流控目标值，相比固定或者手动配置输出连接数上限、发送数据包大小和时间间隔的存储系统，具有较强的自适应性、提高了整个系统的工作效能。

具体地说，如图1所示，数据流量控制方法包括以下步骤：

在步骤101中，采集数据节点的与数据流量控制相关的数据样本。

优选地，在步骤101中，数据节点的与数据流量控制相关的数据样本包括：数据节点输出连接数，网络输出流量，CPU使用率，内存使用率，系统输入输出压力值，输出业务流程执行时间。

优选地，在采集数据节点的与数据流量控制相关的数据样本的步骤101之后，还包括步骤：

对数据样本进行预处理，预处理包括对数据样本组成的特征向量中的特征值进行缩放处理。

通过对范围过大或者过小的原始样本数据进行预处理，有助于SVR回归模型参数的选取和建立SVR模型的速度。

此后进入步骤102，SVR支持向量回归机对数据样本进行训练以分析数据样本，建立得到数据流量控制的SVR回归模型。

SVR支持向量回归机用于回归估计，即SVR支持向量回归算法，算法主要是通过升维后，在高维空间中构造线性决策函数来实现线性回归。

优选地，在步骤102之前，还包括步骤：

选择SVR支持向量回归机的核函数为径向基核函数；

采用交叉验证的方法优化参数选择，参数包括SVR支持向量回归机对应的惩罚参数和核函数对应的松弛参数。

此外，可以理解，SVM支持向量机（Support Vector Machine）常用的核函数有4种：线性核函数(linear)、多项式核函数(polynomial)、径向基核函数(RBF)和Sigmoid核函数。

选择径向基核函数RBF作为SVR支持向量回归机的核函数，可以将数据样本映射到一个更高维的空间，可以处理类别标签和特征之间的关系是非线性时的样本，且与多项式核函数相比，RBF需要确定的参数少，从而减少模型的复杂度。

此外，可以理解，在本发明的其他实施方式中，也可以选取其他的核函数，而不局限于径向基核函数。

此后进入步骤103，SVR回归模型根据数据节点预设的限定参数，预测数据节点的输出连接数上限和预期输出流量。

优选地，在此步骤中，预设的限定参数和步骤101中与数据流量控制相关的数据样本相对应。

具体来说，当预测数据节点输出连接数上限时，数据节点预设的限定参数包括根据网络带宽确定的网络输出流量上限、CPU使用率上限、内存使用率上限、系统输入输出压力值上限、输出业务流程执行时间上限。将节点的这些上限值组成特征向量，通过训练产生的回归模型，预测得到目标值，即数据节点输出连接数上限；当预测数据节点输出流量时，在数据节点的连接数发生变化时（连接建立或连接断开），将数据节点当前连接数、以及预先设定的CPU使用率上限、内存使用率上限、系统输入输出压力值上限、输出业务流程执行时间上限，组成一个特征向量，通过训练产生的回归模型，预测得到目标值，即数据节点预期输出流量。

此后进入步骤104，管理节点根据输出连接数上限调控数据节点的输出连接数，数据节点根据预期输出流量调控自身每个连接的输出流量。

管理节点根据输出连接数上限调控数据节点的输出连接数的步骤包括以下子步骤：

数据节点向管理节点上报输出连接数上限，管理节点收到输出连接数上限并保存；

当外部向管理节点请求输出数据时，管理节点查询请求数据所在的数据节点，并将该数据节点的当前输出连接数与所保存的输出连接数上限进行比较；

如果当前输出连接数没有超过输出连接数上限，则外部与数据节点建立数据连接；

如果超过输出连接数上限，则向外部返回数据节点忙的信息，外部停止请求并等待。

数据节点根据预期输出流量调控自身每个连接的输出流量的步骤包括以下子步骤：

将预期输出流量用数据节点当前连接数进行平均，得到每个连接的预期输出流量；

设置连接区间长度和连接区间时间间隔系数，连接区间长度指一个连接区间中有几个数据连接，每个连接区间对应一个连接区间号；

根据连接区间长度，计算每个连接所在的连接区间号；

根据每个连接所在的连接区间号和连接区间时间间隔系数确定每个连接的数据发送时间间隔；

根据每个连接的数据发送时间间隔和每个连接的预期输出流量确定每个连接的数据发送包大小。

在上述数据节点根据预期输出流量调控自身每个连接的输出流量的子步骤中，根据每个连接所在的连接区间不同，确定该连接的数据发送时间间隔和输出发送数据包大小，有利于降低磁盘的读取压力，并有利于将数据输出分散在不同的时间段，避免了数据输出集中在某一时间段而造成过载和资源不足的问题。

本发明对视频存储系统运行过程中与流控相关的样本数据进行采集并建立预测模型，通过该预测模型得出流控目标值并据此自适应地调控数据流量，充分发挥了视频存储系统的数据输出效能，在最大限度地响应外部请求的同时，避免了系统运行过载和资源不足的问题。

作为本发明的优选例，操作流程图如图2所示。

系统流控目标是得到系统运行过程中数据节点的输出连接数上限，控制输出连接请求数目，并根据当前的输出连接数，控制输出流量。与流控目标密切相关的是数据节点的CPU使用率、内存使用率、系统输入输出压力值、关键业务流程执行时间。

如图2所示，在步骤201中，根据SVR算法原理，采集数据节点的输出连接数、CPU使用率、内存使用率、系统输入输出压力值、关键业务流程执行时间，按照一定的格式生成样本数据，并保存；

在步骤202至206中，对样本进行预处理、选择合适的训练核函数、采用交叉验证选择最佳参数、进行样本训练得出输出连接数上限回归函数和输出流量回归函数；

在步骤207中，输出连接数上限回归函数根据数据节点预设的限定参数得出输出连接数上限，输出流量回归函数根据数据节点当前运行参数得出当前期望输出流量值；

在步骤208中，系统据此结果进行输出流控，数据节点将输出连接数上限上报给管理节点，管理节点保存并据此调控数据节点的输出连接压力；数据节点自身则根据当前期望输出流量值，通过一定的策略，控制发送数据包的大小和时间间隔，从而调整每个连接的输出流量。

需要注意的是，从采集的样本中建立预测模型，通过预测模型得出流控目标值，目标值更新则意味着流控更新，由于采样是一直在不间断进行的，因而整个流控也是在系统运行间一直在进行的。

步骤208在具体操作过程中，管理节点控制数据节点输出连接压力的流程如图3所示：

数据节点将输出连接数上限上报给管理节点，管理节点收到并保存，直到下次收到该值时才更新。当外部向管理节点请求输出数据时，管理节点根据保存的数据索引信息查询到请求数据所在的数据节点，并将该节点的当前输出连接数与输出连接数上限进行比较，如果没有超过上限，则将该节点的连接信息返回给外部请求者，请求者收到后可与该数据节点建立数据连接，数据节点将数据输出；如果超过上限，则直接返回数据节点忙，请等待。

步骤208在具体操作过程中，调节数据节点每个连接的输出流量的流程如图4所示：

数据节点将预期输出流量用当前连接数进行平均，所得均值即为每个连接的预期输出流量OutputFlow(B/s)。考虑到系统输入输出压力，然后根据每个连接所在的连接区间号来决定该连接的输出发送数据包大小和时间间隔，具体如下：

①确定连接区间号SectioNo：数据节点的所有输出连接组成一个连接数组，每个连接的编号Index即为该连接所对应的数组下标。区间长度SectioLen可根据控制精细程度（如连接数数目）来设定，如设为5。则每个连接的连接区间号SectioNo=Index/SectioLen+1（从1开始）。

②确定连接数据发送时间间隔SectionTime（s）：区间时间间隔系数Interval可根据控制精细程度（如连接数数目）来设定，如设为0.05s(5ms)。则每个连接的SectionTime=SectioNo*Interval。

③确定连接数据发送包大小SectionPacketSize(B/s)：包大小由每个连接的预期输出流量和发包时间间隔来决定，即SectionPacketSize=Output Flow*SectionTime。

数据节点对每个连接按照计算出的结果发送数据包给外部请求者。

综上所述，本发明中数据节点通过采集节点自身输出连接数、网络输出流量、CPU使用率、内存使用率、系统输入输出压力值、输出业务流程执行时间等样本数据，进行预处理，再通过SVR支持向量回归机进行训练，得出SVR回归函数。由节点预设的限定参数，利用回归函数得到流控目标值（输出连接数上限、预期输出流量）。连接数较小的情况下，可以通过调整数据包大小和时间间隔来加大输出码率，提高数据输出效率。即使连接数达到设定上限时，按照既定处理方式，后续连接请求将由于系统过载而被拒绝，此时仍存在通过调整前面已建立连接的输出码率来在一定范围内继续响应后续连接请求的可能性，最大限度的发挥系统效能。

此外，统计机器学习是进行样本分析的有效方法，SVM支持向量机方法是建立在统计学习理论的VC维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性(即对特定训练样本的学习精度)和学习能力(即无错误地识别任意样本的能力)之间寻求最佳折衷，以期获得最好的推广能力（泛化能力）。支持向量机方法主要优点有：1）专门针对有限样本情况，其目标是得到现有信息下的最优解而不仅仅是样本数趋于无穷大时的最优值；2）算法最终将转化成为一个二次型寻优问题，从理论上说，得到的将是全局最优点，解决了其它方法中无法避免的局部极值问题。3）算法将实际问题通过非线性变换转换到高维的特征空间，在高维空间中构造线性判别函数来实现原空间中的非线性判别函数，特殊性质能保证机器有较好的推广能力，同时它巧妙地解决了维数问题，其算法复杂度与样本维数无关。

SVM算法常用于分类识别等问题，但也可推广用于回归估计，即SVR支持向量回归算法，算法主要是通过升维后，在高维空间中构造线性决策函数来实现线性回归，用e不敏感函数时，其基础主要是e不敏感函数和核函数算法。若将拟合的数学模型表达多维空间的某一曲线，则根据e不敏感函数所得的结果，就是包括该曲线和训练点的“e管道”。在所有样本点中，只有分布在“管壁”上的那一部分样本点决定管道的位置，这一部分训练样本称为“支持向量”。

本发明的各方法实施方式均可以以软件、硬件、固件等方式实现。不管本发明是以软件、硬件、还是固件方式实现，指令代码都可以存储在任何类型的计算机可访问的存储器中（例如永久的或者可修改的，易失性的或者非易失性的，固态的或者非固态的，固定的或者可更换的介质等等）。同样，存储器可以例如是可编程阵列逻辑（Programmable ArrayLogic，简称“PAL”）、随机存取存储器（Random Access Memory，简称“RAM”）、可编程只读存储器（Programmable Read Only Memory，简称“PROM”）、只读存储器（Read-Only Memory，简称“ROM”）、电可擦除可编程只读存储器（Electrically Erasable Programmable ROM，简称“EEPROM”）、磁盘、光盘、数字通用光盘（Digital Versatile Disc，简称“DVD”）等等。

本发明第二实施方式涉及一种视频存储系统中数据流量控制装置，图5是该视频存储系统中数据流量控制装置的结构示意图。

具体地说，如图5所示，该视频存储系统中数据流量控制装置包括以下模块：

采集模块，用于采集数据节点的与数据流量控制相关的数据样本。

样本训练模块，用于使用SVR支持向量回归机对数据样本进行训练以分析数据样本，建立得到数据流量控制的SVR回归模型。

预测模块，用于基于SVR回归模型，并根据数据节点预设的限定参数，预测数据节点的输出连接数上限和预期输出流量。

输出连接数调控模块，用于根据输出连接数上限调控数据节点的输出连接数。

输出流量调控模块，用于根据预期输出流量调控数据节点每个连接的输出流量。

此外，可以理解，输出连接数调控模块属于管理节点。输出流量调控模块属于数据节点。

优选地，输出连接数调控模块包括以下子模块：

连接数上限保存子模块，用于接收数据节点上报的输出连接数上限，并保存输出连接数上限；

比较子模块，当外部向管理节点请求输出数据时，管理节点查询请求数据所在的数据节点，并将该数据节点的当前输出连接数与所保存的输出连接数上限进行比较；

如果当前输出连接数没有超过输出连接数上限，则外部与数据节点建立数据连接；

如果超过输出连接数上限，则向外部返回数据节点忙的信息，外部停止请求并等待。

输出流量调控模块包括以下子模块：

预期输出流量确定子模块，用于将预期输出流量用数据节点当前连接数进行平均，得到每个连接的预期输出流量；

设置子模块，用于设置连接区间长度和连接区间时间间隔系数，连接区间长度指一个连接区间中有几个数据连接，每个连接区间对应一个连接区间号；

连接区间号确定子模块，用于根据连接区间长度，计算每个连接所在的连接区间号；

数据发送时间间隔确定子模块，用于根据每个连接所在的连接区间号和连接区间时间间隔系数确定每个连接的数据发送时间间隔；

数据发送包大小确定子模块，用于根据每个连接的数据发送时间间隔和每个连接的预期输出流量确定每个连接的数据发送包大小。

根据每个连接所在的连接区间不同，确定该连接的数据发送时间间隔和输出发送数据包大小，有利于降低磁盘的读取压力，并有利于将数据输出分散在不同的时间段，避免了数据输出集中在某一时间段而造成过载和资源不足的问题。

优选地，该视频存储系统中数据流量控制装置还包括：

预处理模块，用于对数据样本进行预处理，预处理包括对数据样本组成的特征向量中的特征值进行缩放处理。

通过对范围过大或者过小的原始样本数据进行预处理，有助于SVR回归模型参数的选取和建立SVR模型的速度。

优选地，该视频存储系统中数据流量控制装置还包括：

核函数选择模块，用于选择SVR支持向量回归机的核函数为径向基核函数；

参数优化模块，用于采用交叉验证的方法优化参数选择，参数包括SVR支持向量回归机对应的惩罚参数和核函数对应的松弛参数。

此外，可以理解，SVM常用的核函数有4种：线性核函数(linear)、多项式核函数(polynomial)、径向基核函数(RBF)和Sigmoid核函数。

在本发明的其他实施方式中，也可以选取其他的核函数，而不局限于径向基核函数。

选择径向基核函数RBF作为SVR支持向量回归机的核函数，可以将数据样本映射到一个更高维的空间，可以处理类别标签和特征之间的关系是非线性时的样本，且与多项式核函数相比，RBF需要确定的参数少，从而减少模型的复杂度。

作为本发明的优选例，系统可划分为如下几个模块：

样本采集模块；

样本预处理模块；

核函数选择及最佳参数选择模块；

样本训练模块；

流控目标预测模块；

流控实施模块。

下面将结合上述各个模块对本优选例实施方案的主要技术点作进一步的详细描述。

样本采集模块有以下特点：

1）样本内容包括：数据节点输出连接数、网络输出流量、CPU使用率、内存使用率、系统输入输出压力值、输出业务流程执行时间。

2）样本格式：样本采集后按如下格式保存，便于后续样本训练。[label][index1]:[value1][index2]:[value2]...，即[目标值][特征1]:[特征值][特征2]:[特征值]...

3）样本保存：由于需要对连接数上限和输出流量两个流控目标进行预测，因此需按以输出连接数为目标值和以输出流量为目标值分别保存两个样本文件linknum、flow。样本文件格式分别如下：

[输出连接数][1]:[CPU使用率][2]:[内存使用率][3]:[系统输入输出压力值][4]:[输出业务流程执行时间][5]:[输出流量]

[输出流量][1]:[CPU使用率][2]:[内存使用率][3]:[系统输入输出压力值][4]:[输出业务流程执行时间][5]:[输出连接数]

样本预处理模块有以下特点：

1）对样本数据进行缩放：原始样本数据可能范围过大或过小，一般需要经过预处理，通常是进行缩放处理，缩放针对特征值。选择适当的缩放区间有助于SVR参数的选取和建立SVR模型的速度，使得预测速度更快，这里选择缩放范围为[0，1]。

2）保存缩放处理结果：分别对linknum、flow进行缩放，得到缩放后的文件linknum.scale，flow.scale。

核函数选择及最佳参数选择模块：

1）选择算法类型：由于方案需要建立SVR回归模型，故可选择SVM回归算法类型e-SVR。

2）选择核函数：SVM常用的核函数有4种：线性核函数(linear)、多项式核函数(polynomial)、径向基核函数(RBF)和Sigmoid核函数。

在一般情况下，首先考虑的是RBF，主要基于以下原因：RBF可以将样本映射到一个更高维的空间，可以处理类别标签和特征之间的关系是非线性时的样本；与多项式核函数相比，RBF需要确定的参数要少，核函数参数的多少直接影响模型的复杂度；对某些参数，RBF与sigmoid核函数具有相似的性能。因此，本方案采用径向基核函数RBF。

3）最佳参数选择：选定了算法核函数后，还需选择对应的参数。通常比较重要的参数是γ-核函数中的函数设置，cost-算法类型中的惩罚参数。可采用交叉验证得到预处理样本linknum.scale和flow.scale各自最佳算法参数γ和c。

样本训练模块：

利用选取的核函数和算法参数，并得到训练后的SVR回归模型文件linknum.model和flow.model，该模型文件中保存了训练生成回归函数的相关信息。

流控目标预测模块：

1）预测数据节点输出连接数上限：数据节点预先设定了运行参数限定值，包括根据网络带宽确定的网络输出流量上限、CPU使用率上限、内存使用率上限、系统输入输出压力值上限、输出业务流程执行时间上限。将节点的这些上限值组成特征向量，与linknum样本格式“[目标值][特征1]:[特征值][特征2]:[特征值]...”中的特征一一对应，通过训练产生的回归模型linknum.model，预测得到目标值，即数据节点输出连接数上限。

2）预测数据节点输出流量：当数据节点的连接数发生变化时（连接建立或连接断开），将数据节点当前连接数、以及预先设定的CPU使用率上限、内存使用率上限、系统输入输出压力值上限、输出业务流程执行时间上限，组成一个特征向量，与flow样本格式“[目标值][特征1]:[特征值][特征2]:[特征值]...”中的特征一一对应，通过训练产生的回归模型flow.model，预测得到目标值，即数据节点预期输出流量。

流控实施模块（即输出连接数调控模块和输出流量调控模块的结合）：

1）控制数据节点输出连接压力：数据节点将输出连接数上限上报给管理节点，管理节点收到并保存，直到下次收到该值时才更新。当外部向管理节点请求输出数据时，管理节点根据保存的数据索引信息查询到请求数据所在的数据节点，并将该节点的当前输出连接数与输出连接数上限进行比较，如果没有超过上限，则将该节点的连接信息返回给外部请求者，请求者收到后可与该数据节点建立数据连接，数据节点将数据输出；如果超过上限，则直接返回数据节点忙，请等待。

2）调节数据节点每个连接的输出流量：数据节点将预期输出流量用当前连接数进行平均，所得均值即为每个连接的预期输出流量OutputFlow(B/s)。考虑到系统输入输出压力，然后根据每个连接所在的连接区间号来决定该连接的输出发送数据包大小和时间间隔，具体如下：

①确定连接区间号SectioNo：数据节点的所有输出连接组成一个连接数组，每个连接的编号Index即为该连接所对应的数组下标。区间长度SectioLen可根据控制精细程度（如连接数数目）来设定，如设为5。则每个连接的SectioNo=Index/SectioLen+1（从1开始）。

②确定连接数据发送时间间隔SectionTime（s）：区间时间间隔系数Interval可根据控制精细程度（如连接数数目）来设定，如设为0.05s(5ms)。则每个连接的SectionTime=SectioNo*Interval。

③确定连接数据发送包大小SectionPacketSize(B/s)：包大小由每个连接的预期输出流量和发包时间间隔来决定，即SectionPacketSize=Output Flow*SectionTime。数据节点对每个连接按照计算出的结果发送数据包给外部请求者。

第一实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。

需要说明的是，本发明各设备实施方式中提到的各单元都是逻辑单元，在物理上，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现，这些逻辑单元本身的物理实现方式并不是最重要的，这些逻辑单元所实现的功能的组合才是解决本发明所提出的技术问题的关键。此外，为了突出本发明的创新部分，本发明上述各设备实施方式并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，这并不表明上述设备实施方式并不存在其它的单元。

本发明针对视频存储系统的数据输出，通过监控系统运行过程中流控相关变量，实现了一种自适应的数据输出流控方案，是一种动态流控，最大限度地发挥视频存储系统的数据输出效能。

需要说明的是，在本专利的权利要求和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

虽然通过参照本发明的某些优选实施方式，已经对本发明进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (11)

1.一种视频存储系统中数据流量控制方法，其特征在于，视频存储系统包括管理节点和数据节点，所述管理节点根据外部数据输入输出请求，选择分配相应的数据节点与外部连接并进行数据存取，所述数据流量控制方法包括以下步骤：

采集数据节点的与数据流量控制相关的数据样本；

SVR支持向量回归机对所述数据样本进行训练以分析数据样本，建立得到数据流量控制的SVR回归模型；

所述SVR回归模型根据数据节点预设的限定参数，预测数据节点的输出连接数上限和预期输出流量；

管理节点根据所述输出连接数上限调控数据节点的输出连接数，数据节点根据所述预期输出流量调控自身每个连接的输出流量。

2.根据权利要求1所述的视频存储系统中数据流量控制方法，其特征在于，在所述采集数据节点的与数据流量控制相关的数据样本的步骤之后，还包括步骤：

对所述数据样本进行预处理，所述预处理包括对所述数据样本组成的特征向量中的特征值进行缩放处理。

3.根据权利要求1所述的视频存储系统中数据流量控制方法，其特征在于，在所述SVR支持向量回归机对所述数据样本进行训练以分析数据样本，建立得到数据流量控制的SVR回归模型的步骤之前，还包括步骤：

选择SVR支持向量回归机的核函数为径向基核函数；

采用交叉验证的方法优化参数选择，所述参数包括SVR支持向量回归机对应的惩罚参数和核函数对应的松弛参数。

4.根据权利要求1所述的视频存储系统中数据流量控制方法，其特征在于，所述管理节点根据所述输出连接数上限调控数据节点的输出连接数的步骤包括以下子步骤：

数据节点向管理节点上报输出连接数上限，管理节点收到所述输出连接数上限并保存；

当外部向管理节点请求输出数据时，管理节点查询请求数据所在的数据节点，并将该数据节点的当前输出连接数与所保存的输出连接数上限进行比较；

如果当前输出连接数没有超过输出连接数上限，则外部与数据节点建立数据连接；

如果超过输出连接数上限，则向外部返回数据节点忙的信息，外部停止请求并等待。

5.根据权利要求1所述的视频存储系统中数据流量控制方法，其特征在于，所述数据节点根据所述预期输出流量调控自身每个连接的输出流量的步骤包括以下子步骤：

将预期输出流量用数据节点当前连接数进行平均，得到每个连接的预期输出流量；

设置连接区间长度和连接区间时间间隔系数，所述连接区间长度指一个连接区间中有几个数据连接，每个连接区间对应一个连接区间号；

根据连接区间长度，计算每个连接所在的连接区间号；

根据每个连接所在的连接区间号和连接区间时间间隔系数确定每个连接的数据发送时间间隔；

根据每个连接的数据发送时间间隔和每个连接的预期输出流量确定每个连接的数据发送包大小。

6.根据权利要求1至5中任一项所述的视频存储系统中数据流量控制方法，其特征在于，在所述采集数据节点的与数据流量控制相关的数据样本的步骤中，所述数据节点的与数据流量控制相关的数据样本包括：数据节点输出连接数，网络输出流量，CPU使用率，内存使用率，系统输入输出压力值，输出业务流程执行时间；

在所述SVR回归模型根据数据节点预设的限定参数，预测数据节点的输出连接数上限和预期输出流量的步骤中，所述数据节点预设的限定参数包括：网络输出流量上限，CPU使用率上限，内存使用率上限，系统输入输出压力值上限，输出业务流程执行时间上限。

7.一种视频存储系统中数据流量控制装置，其特征在于，所述数据流量控制装置包括以下模块：

采集模块，用于采集数据节点的与数据流量控制相关的数据样本；

样本训练模块，用于使用SVR支持向量回归机对所述数据样本进行训练以分析数据样本，建立得到数据流量控制的SVR回归模型；

预测模块，用于基于所述SVR回归模型，并根据数据节点预设的限定参数，预测数据节点的输出连接数上限和预期输出流量；

输出连接数调控模块，用于根据所述输出连接数上限调控数据节点的输出连接数；

输出流量调控模块，用于根据所述预期输出流量调控数据节点每个连接的输出流量。

8.根据权利要求7所述的视频存储系统中数据流量控制装置，其特征在于，还包括：

预处理模块，用于对所述数据样本进行预处理，所述预处理包括对所述数据样本组成的特征向量中的特征值进行缩放处理。

9.根据权利要求7所述的视频存储系统中数据流量控制装置，其特征在于，还包括：

核函数选择模块，用于选择SVR支持向量回归机的核函数为径向基核函数；

参数优化模块，用于采用交叉验证的方法优化参数选择，所述参数包括SVR支持向量回归机对应的惩罚参数和核函数对应的松弛参数。

10.根据权利要求7所述的视频存储系统中数据流量控制装置，其特征在于，所述输出连接数调控模块包括以下子模块：

连接数上限保存子模块，用于接收数据节点上报的输出连接数上限，并保存所述输出连接数上限；

比较子模块，当外部向管理节点请求输出数据时，管理节点查询请求数据所在的数据节点，并将该数据节点的当前输出连接数与所保存的输出连接数上限进行比较；

如果当前输出连接数没有超过输出连接数上限，则外部与数据节点建立数据连接；

如果超过输出连接数上限，则向外部返回数据节点忙的信息，外部停止请求并等待。

11.根据权利要求7所述的视频存储系统中数据流量控制装置，其特征在于，所述输出流量调控模块包括以下子模块：

预期输出流量确定子模块，用于将预期输出流量用数据节点当前连接数进行平均，得到每个连接的预期输出流量；

设置子模块，用于设置连接区间长度和连接区间时间间隔系数，所述连接区间长度指一个连接区间中有几个数据连接，每个连接区间对应一个连接区间号；

连接区间号确定子模块，用于根据连接区间长度，计算每个连接所在的连接区间号；

数据发送时间间隔确定子模块，用于根据每个连接所在的连接区间号和连接区间时间间隔系数确定每个连接的数据发送时间间隔；

数据发送包大小确定子模块，用于根据每个连接的数据发送时间间隔和每个连接的预期输出流量确定每个连接的数据发送包大小。