CN116233026A - 一种用于数据中心的智能管理方法及系统 - Google Patents
一种用于数据中心的智能管理方法及系统 Download PDFInfo
- Publication number
- CN116233026A CN116233026A CN202310242813.0A CN202310242813A CN116233026A CN 116233026 A CN116233026 A CN 116233026A CN 202310242813 A CN202310242813 A CN 202310242813A CN 116233026 A CN116233026 A CN 116233026A
- Authority
- CN
- China
- Prior art keywords
- data
- attribute
- network request
- acquiring
- important
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007726 management method Methods 0.000 title claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 71
- 230000035945 sensitivity Effects 0.000 claims abstract description 31
- 238000012937 correction Methods 0.000 claims abstract description 18
- 238000013528 artificial neural network Methods 0.000 claims description 24
- 238000000034 method Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 230000005251 gamma ray Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 abstract description 6
- 238000004364 calculation method Methods 0.000 description 6
- 238000012216 screening Methods 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/50—Queue scheduling
- H04L47/52—Queue scheduling by attributing bandwidth to queues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/50—Queue scheduling
- H04L47/62—Queue scheduling characterised by scheduling criteria
- H04L47/6215—Individual queue per QOS, rate or priority
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/50—Queue scheduling
- H04L47/62—Queue scheduling characterised by scheduling criteria
- H04L47/625—Queue scheduling characterised by scheduling criteria for service slots or service orders
- H04L47/6275—Queue scheduling characterised by scheduling criteria for service slots or service orders based on priority
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/70—Admission control; Resource allocation
- H04L47/78—Architectures of resource allocation
- H04L47/781—Centralised allocation of resources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/70—Admission control; Resource allocation
- H04L47/80—Actions related to the user profile or the type of traffic
- H04L47/805—QOS or priority aware
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明涉及网络流量控制技术领域,具体涉及一种用于数据中心的智能管理方法及系统,包括:根据所有网络请求流量数据的每个属性序列的样本熵获取每个数据属性的重要性,进一步得到重要属性;根据重要属性将网络请求流量数据转换为三维数据点;根据历史先验网络请求流量数据获取每个重要属性的变化范围,结合变化范围获取多个数据点集合,每个数据点集合拟合一个三维平面;根据三维数据点到三维平面的距离获取对应网络请求数据流量的敏感程度;获取每个数据接收方的总数据处理能力以及当前数据处理能力,进一步得到权重修正值,根据敏感程度以及权重修正值获取每个网络请求流量数据的优选调度权重,实现数据调度。本发明避免了数据中心处理冗余。
Description
技术领域
本发明涉及网络流量控制技术领域,具体涉及一种用于数据中心的智能管理方法及系统。
背景技术
随着数据网络平台的数据处理量越来越大,并且数据中心的处理能力有限,因此数据中心对于所有的网络请求流量数据根据其优先程度进行数据调取。现有的技术中,往往是根据一定时间段内的所有网络请求流量数据的先后数据确定该条请求的优先程度,并根据一定时间范围内的所有网络请求流量数据的优先程度进行数据调取,并将优先程度高的请求数据发送至数据接收方B,至此对于当前的网络请求调度完成。然而,在数据中心调度过程中,数据中心并没有考虑到发送方的网络请求流量数据是否属于敏感流量数据,并且没有考虑到数据接收方的可接收数据的承受范围,若仍按照原先的流量数据的优先程度,则会造成数据中心处理冗余。
发明内容
本发明提供一种用于数据中心的智能管理方法及系统,以解决现有的问题。
本发明的一种用于数据中心的智能管理方法及系统采用如下技术方案:
本发明一个实施例提供了一种用于数据中心的智能管理方法,该方法包括以下步骤:
采集网络请求流量数据;根据所有网络请求流量数据获取多个属性序列,一个所述属性序列对应一个数据属性;获取每个属性序列的标准差,根据标准差获取距离阈值;根据距离阈值获取每个属性序列的样本熵作为每个属性序列对应的数据属性的样本熵;根据每个数据属性的样本熵获取每个数据属性的重要性;
获取重要性最大的三个数据属性作为重要属性;将每个网络请求流量数据的三个重要属性构成三维数据点;根据历史先验网络请求流量数据获取每个重要属性的变化范围;根据所有三维数据点以及每个重要属性的变化范围构建多个数据点集合;分别利用每个数据点集合中的元素拟合一个三维平面;根据每个三维数据点与三维平面获取每个网络请求流量数据的敏感程度;
根据每个数据接收方的历史调度数据获取每个数据接收方的总数据处理能力,根据每个数据接收方的总数据处理能力获取每个数据接收方的当前数据处理能力;将每个数据接收方的当前数据处理能力的双曲正切函数作为每个数据接收方的权重修正值;
根据每个数据接收方的权重修正值以及每个网络请求流量数据的敏感程度获取每个网络请求流量数据的优先调度权重;所有网络请求流量数据的优先调度权重进行数据调度。
优选的,所述根据所有网络请求流量数据获取多个属性序列包括:
获取所有网络请求流量数据的同一个数据属性构成一个属性序列,同理获取网络请求流量数据的所有数据属性构成多个属性序列。
优选的,所述重要性的表达式为:
其中αd为第d个数据属性的重要性;Ad为第d个数据属性的样本熵;min(A)为所有数据属性的样本熵中的最小值;max(A)为所有数据属性的样本熵中的最大值。
优选的,所述根据历史先验网络请求流量数据获取每个重要属性的变化范围包括:
以历史先验网络请求流量数据为训练集训练全连接神经网络,将每个网络请求流量数据中任意一个重要属性的值置为0,与另外两个重要属性共同作为全连接神经网络的输入,全连接神经网络的输出为网络请求流量数据的三个重要属性的预测值;全连接神经网络的损失函数为均方根误差损失函数;
将所有网络请求流量数据输入到全连接神经网络中,获取全连接神经网络的输出的每个重要属性的所有预测值;根据每个重要属性的所有预测值中的最大值和最小值,所述最小值和最大值构成每个重要属性的变化范围。
优选的,所述根据所有三维数据点以及每个重要属性的变化范围构建多个数据点集合包括:
将任意一个重要属性记为第一重要属性;
根据第一重要属性获取多个数据点集合,包括:根据第一重要属性将所有三维数据点分成多个第一类别,所述每个第一类别中包含的所有三维数据点的第一重要属性的值都相同;将第一类别中位于其余两个重要属性的变化范围内的三维数据点构成第二类别,当第二类别中元素的个数大于或等于3时,将第二类别作为一个数据点集合;
将另外两个属性分别作为第一重要属性,根据每个第一重要属性获取多个数据点集合。
优选的,所述敏感程度的表达式为:
其中βi为第i个网络请求流量数据的敏感程度;(S1i,S2i,S3i)为第i个网络请求流量数据对应的三维数据点的坐标;X′,Y′,Z′,C′为距离第i个网络请求流量数据对应的三维数据点最近的三维平面的参数;th()为双曲正切函数。
优选的,所述总数据处理能力的表达式为:
其中F(w)为数据接收方w的在时间范围T内的总数据处理能力;Q表示数据接收方w的所有历史调度数据中时间范围T的总数;hql为第q段时间范围的第l条历史调度数据的数据处理量;tql为第q段时间范围的第l条历史调度数据的数据处理时间;q(N)为第q段时间范围内历史调度数据的总条数。
优选的,所述当前数据处理能力的表达式为:
G′(w)=F(w)-h′(w)×t′(w)
其中G′(w)为数据接收方w的当前数据处理能力;F(w)为数据接收方w的在时间范围T内的总数据处理能力;h′(w)表示数据接收方w当前的数据总处理量;t′(w)表示数据接收方w当前的数据总处理时间。
优选的,所述优先调度权重的表达式为:
优选的,本发明还提出了一种用于数据中心的智能管理系统,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现任意一项所述一种用于数据中心的智能管理方法的步骤。
本发明的技术方案的有益效果是:通过计算网络请求流量数据中某个数据属性的样本熵变化来表征数据属性的重要性,进而通过重要性较大的数据属性来表征整个网络请求流量数据,在减少数据量的同时,并可以减少其他数据属性对敏感流量数据判断的影响;通过获取的重要性较大的数据属性构建每个网络请求流量数据的多维信息点,通过计算每个多维信息点与经过神经网络预测模型获取的数据属性拟合的三维平面之间的异常程度,来计算每个多维信息点的敏感程度,进而来表征对应的网络请求流量数据的初始优先调度权重。并且通过计算数据接收方的可接收数据的承受范围来修正初始优先调度权重,使得经过修正后得到的优先调度权重更加准确,避免了数据中心没有考虑数据接收方的处理能力造成数据中心处理冗余。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的一种用于数据中心的智能管理方法的步骤流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种用于数据中心的智能管理方法及系统,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种用于数据中心的智能管理方法及系统的具体方案。
请参阅图1,其示出了本发明一个实施例提供的一种用于数据中心的智能管理方法的步骤流程图,该方法包括以下步骤:
S001.采集网络请求流量数据。
在数据中心中采集当前时间段内的所有网络请求流量数据,其中采集的网络请求流量数据的内容包括:发送方IP地址、协议类型、数据包数、数据类型、数据接收方等。
S002.根据所有网络请求流量数据获取每个数据属性的重要性,得到重要属性。
需要说明的是,在某一条网络请求流量数据中,包含有很多数据属性,例如发送方IP地址、协议类型、数据包数、数据类型、数据接收方等,但并不是所有的数据属性都具有敏感性特征,所有的数据属性对于网络请求流量数据的表征效果不同,例如协议类型仅代表网络流量数据是以哪种协议发送的。因此对于网络请求流量数据中,需要根据各个数据属性的重要性来表征每个数据属性对网络请求流量数据的表征程度,进而通过重要性较大的数据属性来表征整个网络请求流量数据,在减少数据量的同时,并可以减少其他数据属性对敏感流量数据判断的影响。
在本实施例中,通过历史先验的网络请求流量数据中某个数据属性的样本熵来表征对应数据属性的复杂性,进而根据样本熵获取该数据属性的重要性,具体方法如下:
将历史网络请求流量数据中的第d个数据属性组成属性序列。获取第d个数据属性的属性序列中所有值的标准差std(d),将0.1×std(d)作为距离阈值。距离阈值为计算样本熵过程中的参数,根据距离阈值计算第d个数据属性的属性序列的样本熵,记第d个数据属性的样本熵为Ad。
同理,获取历史网络请求流量数据中的每个数据属性的样本熵。
则对应的网络请求流量数据中的第d个数据属性的重要性αd的计算表达式为:
其中αd为第d个数据属性的重要性;Ad为第d个数据属性的样本熵;min(A)为所有数据属性的样本熵中的最小值;max(A)为所有数据属性的样本熵中的最大值;数据属性的样本熵越大,该数据属性越复杂性,对应的该数据属性的重要性就越大。
至此,根据网络请求流量数据中的每个数据属性的样本熵大小,获取每个数据属性的重要性,通过计算每个数据属性的重要性,使得后续在优先调度权重的计算中可通过重要性较大的数据属性来表征整个网络请求流量数据,在减少数据量的同时,并可以减少其他数据属性对敏感流量数据判断的影响。
S003.根据重要属性获取每个网络请求流量数据的敏感程度。
需要说明的是,对于重要性较大的数据属性,需要根据这些数据属性计算网络请求流量数据的敏感程度。其中网络请求流量数据的敏感程度与其存在一定相关关系的网络请求流量数据的数据属性之间的差异有关。因此可通过重要性较大的数据属性构建每个网络请求流量数据的三维数据点,通过计算每个三维数据点的异常程度,来表征计算三维数据点的敏感程度,进而通过敏感程度来表征对应的网络请求流量数据的优先调度权重。
在本实施例中,选重要性最大的三个数据属性作为重要属性。根据每个网络请求流量数据的三个重要属性建立三维坐标系,将每个网络请求流量数据的三个重要属性作为三维坐标系中的一个三维数据点,其中三维数据点的三维坐标为网络请求流量数据的三个重要属性。
需要说明的是,为了更精确的确定网络请求浏览数据的敏感程度,可通过对历史先验的网络请求流量数据构建数据属性预测模型,根据预测模型获取对应的正常预测的数据属性的变化范围,通过预测的网络请求流量数据的三个数据属性的变化范围,来筛选三维数据点,进而根据筛选的三维数据点拟合多个三维平面,通过比较当前的网络请求流量数据的重要属性的值与三维平面之间的差异,来表征当前的网络请求流量数据的敏感程度,进而通过敏感程度来表征对应的网络请求流量数据的优先调度权重。
在本实施例中,预测模型为全连接神经网络,全连接神经网络的具体内容如下:
将每个网络请求流量数据中任意一个重要属性的值置为0,与另外两个重要属性共同作为全连接神经网络的输入,例如网络请求流量数据的三个重要属性分别为S1、S2和S3,将其中重要属性S2置为0,则将(S1,0,S3)作为网络的输入。全连接神经网络的输出为网络请求流量数据的三个重要属性的预测值。全连接神经网络的训练集获取方法为:获取多段的时间范围T内的历史先验网络请求流量数据,将所有历史先验网络请求流量数据均分为3个部分,分别将每个部分的一个数据属性的值置为0,需要说明的是每个部分置为0的数据属性都不相同。将经过置0处理后的所有历史先验网络请求流量数据的三个重要属性的值作为全连接神经网络的训练集。训练集的标签为原始的(即未经过置0处理的)历史先验网络请求流量数据的三个重要属性的值。本实施例中的全连接神经网络目的为预测,因此使用的损失函数为均方根误差函数。
将所有网络请求流量数据输入到训练好的全连接神经网络中,则全连接神经网络输出每个网络请求流量数据的三个重要属性的预测值。获取所有网络请求流量数据的同一个重要属性的预测值中的最小值a和最大值b,则[a,b]为该重要属性的变化范围。同理获取每个重要属性的变化范围。
对所有三维数据点进行筛选,获取多个数据点集合,包括:
将网络请求流量数据的三个重要属性分别记为S1、S2和S3。首先按照重要属性S1将所有三维数据点分成多个类别,将每个类别称为第一类别,每个第一类别中包含的所有三维数据点的重要属性S1的值都相同,不同第一类别中的三维数据点的重要属性S1的值不相同。判断第一类别中每个三维数据点的重要属性S2和S3的值是否在重要属性S2和S3的变化范围内,若是,则将对应的三维数据点筛选出来构成第二类别。如此,可得到多个第二类别。当第二类别中包含的三维数据点的个数大于或等于3时,将该第二类别作为一个数据点集合。需要说明的是,本发明实施例将第二类别中包含的三维数据点的个数大于3的第二类别作为一个数据点集合,是因为三维空间中三个点决定一个平面,数据点集合中三维数据点的个数大于等于3确保了后续可根据每个数据点集合得到一个平面。
同理,按照重要属性S2将所有三维数据点分成多个第一类别,根据重要属性S1和S3的变化范围筛选得到多个第二类别,进一步得到多个数据点集合。
同理,按照重要属性S3将所有三维数据点分成多个第一类别,根据重要属性S1和S2的变化范围筛选得到多个第二类别,进一步得到多个数据点集合。
通过以上步骤得到了多个数据点集合,通过最小二乘法对每个数据点集合中的所有三维数据点进行平面拟合,得到一个三维平面,通过对所有数据点集合进行平面拟合,得到多个三维平面。
三维平面的表达式为:
X×S1+Y×S2+Z×S3+C=0
其中S1、S2和S3为平面方程的自变量,分别表示网络请求流量数据所表征的三维数据点的坐标;X、Y、Z、C为三维表示通过最小二乘法拟合得到的平面参数。
本实施例根据每个三维平面获取网络请求流量数据的敏感程度,并将敏感程度作为网络请求流量数据的初始优先调度权重,获取敏感程度的具体方法为:
记距离第i个网络请求流量数据对应的三维数据点最近的三维平面的方程为:X′×S1+Y′×S2+Z′×S3+C′=0,则第i个网络请求流量数据的敏感程度βi(即第i个网络请求流量数据的初始优先调度权重)的计算表达式为:
其中βi为第i个网络请求流量数据的敏感程度;(S1i,S2i,S3i)为第i个网络请求流量数据对应的三维数据点的坐标;X′,Y′,Z′,C′为距离第i个网络请求流量数据对应的三维数据点最近的三维平面的参数;th()为双曲正切函数;X′×S1+Y′×S2+Z′×S3+C′=0表示距离第i个网络请求流量数据对应的三维数据点最近的三维平面的方程。通过计算用于表征网络请求流量数据的三维数据点与根据全连接神经网络预测模型获取的三维平面中的最近三维平面之间的距离,来表征当前网络请求流量数据的敏感程度,距离越远,则表明当前网络请求流量数据越敏感,对应的当前网络请求流量数据的初始优先调度权重就越大。
至此,根据重要性较大的数据属性获取了网络请求流量数据的敏感程度,即网络请求流量数据的初始优先调度权重。
S004.获取数据接收方的当前数据处理能力,计算权重修正值。
需要说明的是,由于在数据中心调取过程中,数据接收方是需要进行数据调取的一方,因此在计算网络请求流量数据的优先调度权重时,还需要考虑数据接收方的数据处理能力,因此需要通过计算数据接收方的数据处理能力来修正初始优先调度权重。数据接收方的数据处理能力与其本身在一段时间内的数据处理量有关,以及当前时段内正在处理的数据大小和数据处理时间有关。其中若数据接收方的数据处理能力越大,则对应的网络请求流量数据的初始优先调度权重的修正系数越大。
在本实施例中,第i条网络请求流量数据的数据接收方w的在一段时间内的总数据处理能力F(w),可根据数据接收方w的历史调度数据获取,具体方法为:
数据接收方的总数据处理能力与数据接收方在一定的处理时间范围T内的数据处理量以及数据处理时间有关,因此本实施例通过统计多段的时间范围T的平均数据处理量作为数据接收方在一段时间内的数据处理能力,首先将数据接收方w在第q段时间范围Tq(其中每段时间范围大小固定,可根据实施者具体实施情况而定)内的第l条历史数据的数据处理量记为hql,将对应的数据处理时间记为tql,则第i条网络请求流量数据的数据接收方w的在一段时间内的总数据处理能力F(w)的计算表达式为:
其中F(w)为数据接收方w的在时间范围T内的总数据处理能力;Q表示数据接收方w的所有历史调度数据中时间范围T的总数,即数据接收方w的所有历史调度数据中存在多少段时间范围T;hql为第q段时间范围的第l条历史调度数据的数据处理量;tql为第q段时间范围的第l条历史调度数据的数据处理时间;q(N)为第q段时间范围内历史调度数据的总条数。
将数据接收方w在当前时间范围T内现有的数据总处理量记为h′(w),将对应的数据总处理时间记为t′(w),则数据接收方w的当前数据处理能力的G′(w)的计算表达式为:
G′(w)=F(w)-h′(w)×t′(w)
其中G′(w)为数据接收方w的当前数据处理能力;F(w)为数据接收方w在时间范围T内的总数据处理能力;h′(w)表示数据接收方w当前的数据总处理量;t′(w)表示数据接收方w当前的数据总处理时间。
则数据接收方w的初始优先调取权重值的权重修正值γ的计算表达式为:
γ=th(G′(w))
其中γ为数据接收方的权重修正值;G′(w)为数据接收方w的当前数据处理能力;th()为双曲正切函数,用于对G′(w)进行归一化。
需要说明的是,根据网络请求流量数据的数据接收方确定其当前的数据处理能力,数据接收方的当前数据处理能力与其本身的在一段时间内的总数据处理能力有关,以及当前时段内正在处理的数据大小和数据处理时间有关。当前数据处理能力反应了数据接收方的可接收数据的承受范围。若当前数据处理能力越大,则对应的网络请求流量数据的初始优先调度权重的权重修正值越大。
至此,根据数据接收方的可接收数据的承受范围获取了数据接收方的初始优先调度权重的权重修正值。本实施例通过计算数据接收方的可接收数据的承受范围来获取初始优先调度权重的权重修正值,使得后续经过修正后得到的优先调度权重更加准确,避免了数据中心没有考虑数据接收方的处理能力造成数据中心处理冗余。
S005.获取每个网络请求流量数据的优先调度权重,根据优先调度权重对所有网络请求流量数据进行数据调度。
根据当前网络请求流量数据初始优先调度权重以及初始优先调度权重的权重修正值,对初始优先调度权重进行修正,获取当前网络请求流量数据的优先调度权重。在当前时段内所有的网络请求流量数据中,第i个网络请求流量数据的优先调度权重的βi′的计算表达式为:
数据中心根据当前时段内的所有网络请求流量数据的优先调度权重按照从大到小进行数据调度。
通过以上步骤,完成了所有网络请求流量数据的优先调度权重计算,实现了根据优先调度权重进行数据调度。
本发明还提出了一种用于数据中心的智能管理系统,包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时实现任意一项一种用于数据中心的智能管理方法的步骤。
本发明实施例通过计算网络请求流量数据中某个数据属性的样本熵变化来表征数据属性的重要性,进而通过重要性较大的数据属性来表征整个网络请求流量数据,在减少数据量的同时,并可以减少其他数据属性对敏感流量数据判断的影响;通过获取的重要性较大的数据属性构建每个网络请求流量数据的多维信息点,通过计算每个多维信息点与经过神经网络预测模型获取的数据属性拟合的三维平面之间的异常程度,来计算每个多维信息点的敏感程度,进而来表征对应的网络请求流量数据的初始优先调度权重。并且通过计算数据接收方的可接收数据的承受范围来修正初始优先调度权重,使得经过修正后得到的优先调度权重更加准确,避免了数据中心没有考虑数据接收方的处理能力造成数据中心处理冗余。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种用于数据中心的智能管理方法,其特征在于,该方法包括以下步骤:
采集网络请求流量数据;根据所有网络请求流量数据获取多个属性序列,一个所述属性序列对应一个数据属性;获取每个属性序列的标准差,根据标准差获取距离阈值;根据距离阈值获取每个属性序列的样本熵作为每个属性序列对应的数据属性的样本熵;根据每个数据属性的样本熵获取每个数据属性的重要性;
获取重要性最大的三个数据属性作为重要属性;将每个网络请求流量数据的三个重要属性构成三维数据点;根据历史先验网络请求流量数据获取每个重要属性的变化范围;根据所有三维数据点以及每个重要属性的变化范围构建多个数据点集合;分别利用每个数据点集合中的元素拟合一个三维平面;根据每个三维数据点与三维平面获取每个网络请求流量数据的敏感程度;
根据每个数据接收方的历史调度数据获取每个数据接收方的总数据处理能力,根据每个数据接收方的总数据处理能力获取每个数据接收方的当前数据处理能力;将每个数据接收方的当前数据处理能力的双曲正切函数作为每个数据接收方的权重修正值;
根据每个数据接收方的权重修正值以及每个网络请求流量数据的敏感程度获取每个网络请求流量数据的优先调度权重;所有网络请求流量数据的优先调度权重进行数据调度。
2.根据权利要求1所述的一种用于数据中心的智能管理方法,其特征在于,所述根据所有网络请求流量数据获取多个属性序列包括:
获取所有网络请求流量数据的同一个数据属性构成一个属性序列,同理获取网络请求流量数据的所有数据属性构成多个属性序列。
4.根据权利要求1所述的一种用于数据中心的智能管理方法,其特征在于,所述根据历史先验网络请求流量数据获取每个重要属性的变化范围包括:
以历史先验网络请求流量数据为训练集训练全连接神经网络,将每个网络请求流量数据中任意一个重要属性的值置为0,与另外两个重要属性共同作为全连接神经网络的输入,全连接神经网络的输出为网络请求流量数据的三个重要属性的预测值;全连接神经网络的损失函数为均方根误差损失函数;
将所有网络请求流量数据输入到全连接神经网络中,获取全连接神经网络的输出的每个重要属性的所有预测值;根据每个重要属性的所有预测值中的最大值和最小值,所述最小值和最大值构成每个重要属性的变化范围。
5.根据权利要求1所述的一种用于数据中心的智能管理方法,其特征在于,所述根据所有三维数据点以及每个重要属性的变化范围构建多个数据点集合包括:
将任意一个重要属性记为第一重要属性;
根据第一重要属性获取多个数据点集合,包括:根据第一重要属性将所有三维数据点分成多个第一类别,所述每个第一类别中包含的所有三维数据点的第一重要属性的值都相同;将第一类别中位于其余两个重要属性的变化范围内的三维数据点构成第二类别,当第二类别中元素的个数大于或等于3时,将第二类别作为一个数据点集合;
将另外两个属性分别作为第一重要属性,根据每个第一重要属性获取多个数据点集合。
8.根据权利要求1所述的一种用于数据中心的智能管理方法,其特征在于,所述当前数据处理能力的表达式为:
G′(w)=F(w)-h′(w)×t′(w)
其中G′(w)为数据接收方w的当前数据处理能力;F(w)为数据接收方w的在时间范围T内的总数据处理能力;h′(w)表示数据接收方w当前的数据总处理量;t′(w)表示数据接收方w当前的数据总处理时间。
10.一种用于数据中心的智能管理系统,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1~9任意一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310242813.0A CN116233026B (zh) | 2023-03-01 | 一种用于数据中心的智能管理方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310242813.0A CN116233026B (zh) | 2023-03-01 | 一种用于数据中心的智能管理方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116233026A true CN116233026A (zh) | 2023-06-06 |
CN116233026B CN116233026B (zh) | 2024-05-31 |
Family
ID=
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117041017A (zh) * | 2023-10-08 | 2023-11-10 | 北京金信润天信息技术股份有限公司 | 数据中心的智能运维管理方法及系统 |
CN117573379A (zh) * | 2024-01-16 | 2024-02-20 | 国网湖北省电力有限公司信息通信公司 | 一种基于对称放缩合并的微服务部署方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150052601A1 (en) * | 2012-03-30 | 2015-02-19 | The University Of North Carolina At Chapel Hill | Methods, systems, and computer readable media for rapid filtering of opaque data traffic |
CN105376260A (zh) * | 2015-12-18 | 2016-03-02 | 重庆邮电大学 | 一种基于密度峰值聚类的网络异常流量监测系统 |
CN108039985A (zh) * | 2017-12-11 | 2018-05-15 | 上海新炬网络技术有限公司 | 一种基于sdn云网络的自动测试方法 |
CN111064617A (zh) * | 2019-12-16 | 2020-04-24 | 重庆邮电大学 | 基于经验模态分解聚类的网络流量预测方法及装置 |
CN113536081A (zh) * | 2021-06-25 | 2021-10-22 | 浙江海瑞网络科技有限公司 | 基于人工智能的数据中心数据管理方法及系统 |
CN114006826A (zh) * | 2022-01-04 | 2022-02-01 | 南京信息工程大学 | 一种融合流量特征的网络流量预测方法 |
US20220393992A1 (en) * | 2021-06-08 | 2022-12-08 | Servicenow, Inc. | Computing resources schedule recommendation |
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150052601A1 (en) * | 2012-03-30 | 2015-02-19 | The University Of North Carolina At Chapel Hill | Methods, systems, and computer readable media for rapid filtering of opaque data traffic |
CN105376260A (zh) * | 2015-12-18 | 2016-03-02 | 重庆邮电大学 | 一种基于密度峰值聚类的网络异常流量监测系统 |
CN108039985A (zh) * | 2017-12-11 | 2018-05-15 | 上海新炬网络技术有限公司 | 一种基于sdn云网络的自动测试方法 |
CN111064617A (zh) * | 2019-12-16 | 2020-04-24 | 重庆邮电大学 | 基于经验模态分解聚类的网络流量预测方法及装置 |
US20220393992A1 (en) * | 2021-06-08 | 2022-12-08 | Servicenow, Inc. | Computing resources schedule recommendation |
CN113536081A (zh) * | 2021-06-25 | 2021-10-22 | 浙江海瑞网络科技有限公司 | 基于人工智能的数据中心数据管理方法及系统 |
CN114006826A (zh) * | 2022-01-04 | 2022-02-01 | 南京信息工程大学 | 一种融合流量特征的网络流量预测方法 |
Non-Patent Citations (2)
Title |
---|
杨宝华 等: ""属性重要性评分方法的改进"", 《计算机工程》, no. 23, 5 December 2010 (2010-12-05) * |
陈晓明: ""基于跨层感知的认知网络接入机制研究"", 《中国博士学位论文全文数据库》, no. 08, 15 August 2018 (2018-08-15), pages 33 - 51 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117041017A (zh) * | 2023-10-08 | 2023-11-10 | 北京金信润天信息技术股份有限公司 | 数据中心的智能运维管理方法及系统 |
CN117041017B (zh) * | 2023-10-08 | 2024-01-05 | 北京金信润天信息技术股份有限公司 | 数据中心的智能运维管理方法及系统 |
CN117573379A (zh) * | 2024-01-16 | 2024-02-20 | 国网湖北省电力有限公司信息通信公司 | 一种基于对称放缩合并的微服务部署方法 |
CN117573379B (zh) * | 2024-01-16 | 2024-03-29 | 国网湖北省电力有限公司信息通信公司 | 一种基于对称放缩合并的微服务部署方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111447083B (zh) | 动态带宽和不可靠网络下的联邦学习架构及其压缩算法 | |
CN113515351B (zh) | 一种基于能耗与QoS协同优化的资源调度实现方法 | |
CN110460880B (zh) | 基于粒子群和神经网络的工业无线流媒体自适应传输方法 | |
WO2021051987A1 (zh) | 神经网络模型训练的方法和装置 | |
WO2023124947A1 (zh) | 一种任务处理方法、装置及相关设备 | |
CN113196303A (zh) | 不适当神经网络输入检测和处理 | |
CN115952832A (zh) | 自适应模型量化方法及装置、存储介质及电子装置 | |
CN116050540B (zh) | 一种基于联合双维度用户调度的自适应联邦边缘学习方法 | |
CN109688065B (zh) | 参数的处理方法、装置及存储介质 | |
CN116233026B (zh) | 一种用于数据中心的智能管理方法及系统 | |
CN113676357A (zh) | 面向电力物联网中边缘数据处理的决策方法及其应用 | |
CN116233026A (zh) | 一种用于数据中心的智能管理方法及系统 | |
CN115795368B (zh) | 一种基于人工智能的企业内训数据处理方法及系统 | |
CN110275895B (zh) | 一种缺失交通数据的填充设备、装置及方法 | |
CN113132482B (zh) | 一种基于强化学习的分布式消息系统参数自适应优化方法 | |
CN112269967B (zh) | 一种基于联合机会约束的迭代拆分方法及系统 | |
CN114449536A (zh) | 一种基于深度强化学习的5g超密集网络多用户接入选择方法 | |
CN113783798A (zh) | 数据传输方法及系统、边缘服务设备 | |
CN117557870B (zh) | 基于联邦学习客户端选择的分类模型训练方法及系统 | |
CN112990425A (zh) | 5g网络切片的自动分类方法、其装置、电子设备及计算机存储介质 | |
CN113542276B (zh) | 混网网络入侵目标检测方法及系统 | |
WO2023045926A1 (zh) | 一种干扰信号的规避方法、装置、基站和存储介质 | |
CN114862606B (zh) | 一种基于云服务的保险信息处理方法、装置 | |
CN115115340B (zh) | 一种工程项目智慧化数字监理多目标协同控制方法 | |
CN115250493A (zh) | 基于参数自适应降维神经网络的无线信道幅值预测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |