发明内容
本发明提供一种用于数据中心的智能管理方法及系统,以解决现有的问题。
本发明的一种用于数据中心的智能管理方法及系统采用如下技术方案:
本发明一个实施例提供了一种用于数据中心的智能管理方法,该方法包括以下步骤:
采集网络请求流量数据;根据所有网络请求流量数据获取多个属性序列,一个所述属性序列对应一个数据属性;获取每个属性序列的标准差,根据标准差获取距离阈值;根据距离阈值获取每个属性序列的样本熵作为每个属性序列对应的数据属性的样本熵;根据每个数据属性的样本熵获取每个数据属性的重要性;
获取重要性最大的三个数据属性作为重要属性;将每个网络请求流量数据的三个重要属性构成三维数据点;根据历史先验网络请求流量数据获取每个重要属性的变化范围;根据所有三维数据点以及每个重要属性的变化范围构建多个数据点集合;分别利用每个数据点集合中的元素拟合一个三维平面;根据每个三维数据点与三维平面获取每个网络请求流量数据的敏感程度;
根据每个数据接收方的历史调度数据获取每个数据接收方的总数据处理能力,根据每个数据接收方的总数据处理能力获取每个数据接收方的当前数据处理能力;将每个数据接收方的当前数据处理能力的双曲正切函数作为每个数据接收方的权重修正值;
根据每个数据接收方的权重修正值以及每个网络请求流量数据的敏感程度获取每个网络请求流量数据的优先调度权重;所有网络请求流量数据的优先调度权重进行数据调度。
优选的,所述根据所有网络请求流量数据获取多个属性序列包括:
获取所有网络请求流量数据的同一个数据属性构成一个属性序列,同理获取网络请求流量数据的所有数据属性构成多个属性序列。
优选的,所述重要性的表达式为:
其中αd为第d个数据属性的重要性;Ad为第d个数据属性的样本熵;min(A)为所有数据属性的样本熵中的最小值;max(A)为所有数据属性的样本熵中的最大值。
优选的,所述根据历史先验网络请求流量数据获取每个重要属性的变化范围包括:
以历史先验网络请求流量数据为训练集训练全连接神经网络,将每个网络请求流量数据中任意一个重要属性的值置为0,与另外两个重要属性共同作为全连接神经网络的输入,全连接神经网络的输出为网络请求流量数据的三个重要属性的预测值;全连接神经网络的损失函数为均方根误差损失函数;
将所有网络请求流量数据输入到全连接神经网络中,获取全连接神经网络的输出的每个重要属性的所有预测值;根据每个重要属性的所有预测值中的最大值和最小值,所述最小值和最大值构成每个重要属性的变化范围。
优选的,所述根据所有三维数据点以及每个重要属性的变化范围构建多个数据点集合包括:
将任意一个重要属性记为第一重要属性;
根据第一重要属性获取多个数据点集合,包括:根据第一重要属性将所有三维数据点分成多个第一类别,所述每个第一类别中包含的所有三维数据点的第一重要属性的值都相同;将第一类别中位于其余两个重要属性的变化范围内的三维数据点构成第二类别,当第二类别中元素的个数大于或等于3时,将第二类别作为一个数据点集合;
将另外两个属性分别作为第一重要属性,根据每个第一重要属性获取多个数据点集合。
优选的,所述敏感程度的表达式为:
其中βi为第i个网络请求流量数据的敏感程度;(S1i,S2i,S3i)为第i个网络请求流量数据对应的三维数据点的坐标;X′,Y′,Z′,C′为距离第i个网络请求流量数据对应的三维数据点最近的三维平面的参数;th()为双曲正切函数。
优选的,所述总数据处理能力的表达式为:
其中F(w)为数据接收方w的在时间范围T内的总数据处理能力;Q表示数据接收方w的所有历史调度数据中时间范围T的总数;hql为第q段时间范围的第l条历史调度数据的数据处理量;tql为第q段时间范围的第l条历史调度数据的数据处理时间;q(N)为第q段时间范围内历史调度数据的总条数。
优选的,所述当前数据处理能力的表达式为:
G′(w)=F(w)-h′(w)×t′(w)
其中G′(w)为数据接收方w的当前数据处理能力;F(w)为数据接收方w的在时间范围T内的总数据处理能力;h′(w)表示数据接收方w当前的数据总处理量;t′(w)表示数据接收方w当前的数据总处理时间。
优选的,所述优先调度权重的表达式为:
其中
为第i条网络请求流量数据的优先调度权重;γ
i为第i个网络请求流量数据的数据接收方的权重修正值;β
i为第i条网络请求流量数据的敏感程度。
优选的,本发明还提出了一种用于数据中心的智能管理系统,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现任意一项所述一种用于数据中心的智能管理方法的步骤。
本发明的技术方案的有益效果是:通过计算网络请求流量数据中某个数据属性的样本熵变化来表征数据属性的重要性,进而通过重要性较大的数据属性来表征整个网络请求流量数据,在减少数据量的同时,并可以减少其他数据属性对敏感流量数据判断的影响;通过获取的重要性较大的数据属性构建每个网络请求流量数据的多维信息点,通过计算每个多维信息点与经过神经网络预测模型获取的数据属性拟合的三维平面之间的异常程度,来计算每个多维信息点的敏感程度,进而来表征对应的网络请求流量数据的初始优先调度权重。并且通过计算数据接收方的可接收数据的承受范围来修正初始优先调度权重,使得经过修正后得到的优先调度权重更加准确,避免了数据中心没有考虑数据接收方的处理能力造成数据中心处理冗余。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种用于数据中心的智能管理方法及系统,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种用于数据中心的智能管理方法及系统的具体方案。
请参阅图1,其示出了本发明一个实施例提供的一种用于数据中心的智能管理方法的步骤流程图,该方法包括以下步骤:
S001.采集网络请求流量数据。
在数据中心中采集当前时间段内的所有网络请求流量数据,其中采集的网络请求流量数据的内容包括:发送方IP地址、协议类型、数据包数、数据类型、数据接收方等。
S002.根据所有网络请求流量数据获取每个数据属性的重要性,得到重要属性。
需要说明的是,在某一条网络请求流量数据中,包含有很多数据属性,例如发送方IP地址、协议类型、数据包数、数据类型、数据接收方等,但并不是所有的数据属性都具有敏感性特征,所有的数据属性对于网络请求流量数据的表征效果不同,例如协议类型仅代表网络流量数据是以哪种协议发送的。因此对于网络请求流量数据中,需要根据各个数据属性的重要性来表征每个数据属性对网络请求流量数据的表征程度,进而通过重要性较大的数据属性来表征整个网络请求流量数据,在减少数据量的同时,并可以减少其他数据属性对敏感流量数据判断的影响。
在本实施例中,通过历史先验的网络请求流量数据中某个数据属性的样本熵来表征对应数据属性的复杂性,进而根据样本熵获取该数据属性的重要性,具体方法如下:
将历史网络请求流量数据中的第d个数据属性组成属性序列。获取第d个数据属性的属性序列中所有值的标准差std(d),将0.1×std(d)作为距离阈值。距离阈值为计算样本熵过程中的参数,根据距离阈值计算第d个数据属性的属性序列的样本熵,记第d个数据属性的样本熵为Ad。
同理,获取历史网络请求流量数据中的每个数据属性的样本熵。
则对应的网络请求流量数据中的第d个数据属性的重要性αd的计算表达式为:
其中αd为第d个数据属性的重要性;Ad为第d个数据属性的样本熵;min(A)为所有数据属性的样本熵中的最小值;max(A)为所有数据属性的样本熵中的最大值;数据属性的样本熵越大,该数据属性越复杂性,对应的该数据属性的重要性就越大。
至此,根据网络请求流量数据中的每个数据属性的样本熵大小,获取每个数据属性的重要性,通过计算每个数据属性的重要性,使得后续在优先调度权重的计算中可通过重要性较大的数据属性来表征整个网络请求流量数据,在减少数据量的同时,并可以减少其他数据属性对敏感流量数据判断的影响。
S003.根据重要属性获取每个网络请求流量数据的敏感程度。
需要说明的是,对于重要性较大的数据属性,需要根据这些数据属性计算网络请求流量数据的敏感程度。其中网络请求流量数据的敏感程度与其存在一定相关关系的网络请求流量数据的数据属性之间的差异有关。因此可通过重要性较大的数据属性构建每个网络请求流量数据的三维数据点,通过计算每个三维数据点的异常程度,来表征计算三维数据点的敏感程度,进而通过敏感程度来表征对应的网络请求流量数据的优先调度权重。
在本实施例中,选重要性最大的三个数据属性作为重要属性。根据每个网络请求流量数据的三个重要属性建立三维坐标系,将每个网络请求流量数据的三个重要属性作为三维坐标系中的一个三维数据点,其中三维数据点的三维坐标为网络请求流量数据的三个重要属性。
需要说明的是,为了更精确的确定网络请求浏览数据的敏感程度,可通过对历史先验的网络请求流量数据构建数据属性预测模型,根据预测模型获取对应的正常预测的数据属性的变化范围,通过预测的网络请求流量数据的三个数据属性的变化范围,来筛选三维数据点,进而根据筛选的三维数据点拟合多个三维平面,通过比较当前的网络请求流量数据的重要属性的值与三维平面之间的差异,来表征当前的网络请求流量数据的敏感程度,进而通过敏感程度来表征对应的网络请求流量数据的优先调度权重。
在本实施例中,预测模型为全连接神经网络,全连接神经网络的具体内容如下:
将每个网络请求流量数据中任意一个重要属性的值置为0,与另外两个重要属性共同作为全连接神经网络的输入,例如网络请求流量数据的三个重要属性分别为S1、S2和S3,将其中重要属性S2置为0,则将(S1,0,S3)作为网络的输入。全连接神经网络的输出为网络请求流量数据的三个重要属性的预测值。全连接神经网络的训练集获取方法为:获取多段的时间范围T内的历史先验网络请求流量数据,将所有历史先验网络请求流量数据均分为3个部分,分别将每个部分的一个数据属性的值置为0,需要说明的是每个部分置为0的数据属性都不相同。将经过置0处理后的所有历史先验网络请求流量数据的三个重要属性的值作为全连接神经网络的训练集。训练集的标签为原始的(即未经过置0处理的)历史先验网络请求流量数据的三个重要属性的值。本实施例中的全连接神经网络目的为预测,因此使用的损失函数为均方根误差函数。
将所有网络请求流量数据输入到训练好的全连接神经网络中,则全连接神经网络输出每个网络请求流量数据的三个重要属性的预测值。获取所有网络请求流量数据的同一个重要属性的预测值中的最小值a和最大值b,则[a,b]为该重要属性的变化范围。同理获取每个重要属性的变化范围。
对所有三维数据点进行筛选,获取多个数据点集合,包括:
将网络请求流量数据的三个重要属性分别记为S1、S2和S3。首先按照重要属性S1将所有三维数据点分成多个类别,将每个类别称为第一类别,每个第一类别中包含的所有三维数据点的重要属性S1的值都相同,不同第一类别中的三维数据点的重要属性S1的值不相同。判断第一类别中每个三维数据点的重要属性S2和S3的值是否在重要属性S2和S3的变化范围内,若是,则将对应的三维数据点筛选出来构成第二类别。如此,可得到多个第二类别。当第二类别中包含的三维数据点的个数大于或等于3时,将该第二类别作为一个数据点集合。需要说明的是,本发明实施例将第二类别中包含的三维数据点的个数大于3的第二类别作为一个数据点集合,是因为三维空间中三个点决定一个平面,数据点集合中三维数据点的个数大于等于3确保了后续可根据每个数据点集合得到一个平面。
同理,按照重要属性S2将所有三维数据点分成多个第一类别,根据重要属性S1和S3的变化范围筛选得到多个第二类别,进一步得到多个数据点集合。
同理,按照重要属性S3将所有三维数据点分成多个第一类别,根据重要属性S1和S2的变化范围筛选得到多个第二类别,进一步得到多个数据点集合。
通过以上步骤得到了多个数据点集合,通过最小二乘法对每个数据点集合中的所有三维数据点进行平面拟合,得到一个三维平面,通过对所有数据点集合进行平面拟合,得到多个三维平面。
三维平面的表达式为:
X×S1+Y×S2+Z×S3+C=0
其中S1、S2和S3为平面方程的自变量,分别表示网络请求流量数据所表征的三维数据点的坐标;X、Y、Z、C为三维表示通过最小二乘法拟合得到的平面参数。
本实施例根据每个三维平面获取网络请求流量数据的敏感程度,并将敏感程度作为网络请求流量数据的初始优先调度权重,获取敏感程度的具体方法为:
记距离第i个网络请求流量数据对应的三维数据点最近的三维平面的方程为:X′×S1+Y′×S2+Z′×S3+C′=0,则第i个网络请求流量数据的敏感程度βi(即第i个网络请求流量数据的初始优先调度权重)的计算表达式为:
其中βi为第i个网络请求流量数据的敏感程度;(S1i,S2i,S3i)为第i个网络请求流量数据对应的三维数据点的坐标;X′,Y′,Z′,C′为距离第i个网络请求流量数据对应的三维数据点最近的三维平面的参数;th()为双曲正切函数;X′×S1+Y′×S2+Z′×S3+C′=0表示距离第i个网络请求流量数据对应的三维数据点最近的三维平面的方程。通过计算用于表征网络请求流量数据的三维数据点与根据全连接神经网络预测模型获取的三维平面中的最近三维平面之间的距离,来表征当前网络请求流量数据的敏感程度,距离越远,则表明当前网络请求流量数据越敏感,对应的当前网络请求流量数据的初始优先调度权重就越大。
至此,根据重要性较大的数据属性获取了网络请求流量数据的敏感程度,即网络请求流量数据的初始优先调度权重。
S004.获取数据接收方的当前数据处理能力,计算权重修正值。
需要说明的是,由于在数据中心调取过程中,数据接收方是需要进行数据调取的一方,因此在计算网络请求流量数据的优先调度权重时,还需要考虑数据接收方的数据处理能力,因此需要通过计算数据接收方的数据处理能力来修正初始优先调度权重。数据接收方的数据处理能力与其本身在一段时间内的数据处理量有关,以及当前时段内正在处理的数据大小和数据处理时间有关。其中若数据接收方的数据处理能力越大,则对应的网络请求流量数据的初始优先调度权重的修正系数越大。
在本实施例中,第i条网络请求流量数据的数据接收方w的在一段时间内的总数据处理能力F(w),可根据数据接收方w的历史调度数据获取,具体方法为:
数据接收方的总数据处理能力与数据接收方在一定的处理时间范围T内的数据处理量以及数据处理时间有关,因此本实施例通过统计多段的时间范围T的平均数据处理量作为数据接收方在一段时间内的数据处理能力,首先将数据接收方w在第q段时间范围Tq(其中每段时间范围大小固定,可根据实施者具体实施情况而定)内的第l条历史数据的数据处理量记为hql,将对应的数据处理时间记为tql,则第i条网络请求流量数据的数据接收方w的在一段时间内的总数据处理能力F(w)的计算表达式为:
其中F(w)为数据接收方w的在时间范围T内的总数据处理能力;Q表示数据接收方w的所有历史调度数据中时间范围T的总数,即数据接收方w的所有历史调度数据中存在多少段时间范围T;hql为第q段时间范围的第l条历史调度数据的数据处理量;tql为第q段时间范围的第l条历史调度数据的数据处理时间;q(N)为第q段时间范围内历史调度数据的总条数。
将数据接收方w在当前时间范围T内现有的数据总处理量记为h′(w),将对应的数据总处理时间记为t′(w),则数据接收方w的当前数据处理能力的G′(w)的计算表达式为:
G′(w)=F(w)-h′(w)×t′(w)
其中G′(w)为数据接收方w的当前数据处理能力;F(w)为数据接收方w在时间范围T内的总数据处理能力;h′(w)表示数据接收方w当前的数据总处理量;t′(w)表示数据接收方w当前的数据总处理时间。
则数据接收方w的初始优先调取权重值的权重修正值γ的计算表达式为:
γ=th(G′(w))
其中γ为数据接收方的权重修正值;G′(w)为数据接收方w的当前数据处理能力;th()为双曲正切函数,用于对G′(w)进行归一化。
需要说明的是,根据网络请求流量数据的数据接收方确定其当前的数据处理能力,数据接收方的当前数据处理能力与其本身的在一段时间内的总数据处理能力有关,以及当前时段内正在处理的数据大小和数据处理时间有关。当前数据处理能力反应了数据接收方的可接收数据的承受范围。若当前数据处理能力越大,则对应的网络请求流量数据的初始优先调度权重的权重修正值越大。
至此,根据数据接收方的可接收数据的承受范围获取了数据接收方的初始优先调度权重的权重修正值。本实施例通过计算数据接收方的可接收数据的承受范围来获取初始优先调度权重的权重修正值,使得后续经过修正后得到的优先调度权重更加准确,避免了数据中心没有考虑数据接收方的处理能力造成数据中心处理冗余。
S005.获取每个网络请求流量数据的优先调度权重,根据优先调度权重对所有网络请求流量数据进行数据调度。
根据当前网络请求流量数据初始优先调度权重以及初始优先调度权重的权重修正值,对初始优先调度权重进行修正,获取当前网络请求流量数据的优先调度权重。在当前时段内所有的网络请求流量数据中,第i个网络请求流量数据的优先调度权重的βi′的计算表达式为:
其中
为第i条网络请求流量数据的优先调度权重;γ
i为第i个网络请求流量数据的数据接收方的权重修正值;β
i为第i条网络请求流量数据的敏感程度,即第i条网络请求流量数据的初始优先调度权重。
数据中心根据当前时段内的所有网络请求流量数据的优先调度权重按照从大到小进行数据调度。
通过以上步骤,完成了所有网络请求流量数据的优先调度权重计算,实现了根据优先调度权重进行数据调度。
本发明还提出了一种用于数据中心的智能管理系统,包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时实现任意一项一种用于数据中心的智能管理方法的步骤。
本发明实施例通过计算网络请求流量数据中某个数据属性的样本熵变化来表征数据属性的重要性,进而通过重要性较大的数据属性来表征整个网络请求流量数据,在减少数据量的同时,并可以减少其他数据属性对敏感流量数据判断的影响;通过获取的重要性较大的数据属性构建每个网络请求流量数据的多维信息点,通过计算每个多维信息点与经过神经网络预测模型获取的数据属性拟合的三维平面之间的异常程度,来计算每个多维信息点的敏感程度,进而来表征对应的网络请求流量数据的初始优先调度权重。并且通过计算数据接收方的可接收数据的承受范围来修正初始优先调度权重,使得经过修正后得到的优先调度权重更加准确,避免了数据中心没有考虑数据接收方的处理能力造成数据中心处理冗余。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。