CN115827384B - 一种最优化实时数据中心网络设备监控方法 - Google Patents
一种最优化实时数据中心网络设备监控方法 Download PDFInfo
- Publication number
- CN115827384B CN115827384B CN202211574541.6A CN202211574541A CN115827384B CN 115827384 B CN115827384 B CN 115827384B CN 202211574541 A CN202211574541 A CN 202211574541A CN 115827384 B CN115827384 B CN 115827384B
- Authority
- CN
- China
- Prior art keywords
- equipment
- time
- monitoring
- data center
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 74
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000000694 effects Effects 0.000 claims abstract description 11
- 230000009466 transformation Effects 0.000 claims abstract description 9
- 238000005070 sampling Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Abstract
本申请涉及一种最优化实时数据中心网络设备监控方法,包括如下步骤:读入数据中心设备运行所产生的多元时间序列数据;对设备的运行数据进行小波变换,得到设备状态的时频特征;依据设备状态的时频特征,建立设备监控价值模型,将历史某时刻距离当前时刻的时间间隔引入设备监控价值模型,使得活跃度越高、且离当前时刻越近的设备的监控价值越高;构建最优化实时数据中心网络设备监控方法的设备选择模型,实现在一定的网络资源限制下,使得对设备的监控的整体价值达到最大;通过动态规划求解上述选择模型的最优解。本发明通过以此实现了在一定的网络资源限制下,有更好的监控效果。
Description
技术领域
本申请涉及资源优化领域,涉及一种最优化实时数据中心网络设备监控方法。
背景技术
随着大数据时代的到来,越来越多的领域受到了更为全面的监控,数据中心内存在大量服务器来存储管理海量数据信息,对于服务器的运行数据进行实时监控能够有助于分析服务器的健康状态和变化情况,从而保障数据中心业务的正常稳定运行。
通常情况下,对于网络监控主要有两种方法,分别为主动采集和被动采集。主动采集是通过终端/代理主动的向网络中发送一些探测数据包,从而评估网络中链路的时延、丢包率、吞吐量等信息,它虽然不需要等待特定事件的发生,可以直接主动的进行测量,但是会产生额外的流量对网络造成负担;被动采集是通过网络中的设备输出的数据间接的测量网络的状态,虽不会对网络产生任何影响,但可能需要等待特定事件的发生,实时性无法保证。因此,在数据中心中,为了确保监控的实时性,多采用主动采集的方式。但随着网络规模的增加,在数据中心网络等大规模网络中,网络监控通常会产生很大的开销,所有节点将数据发送给接收器会造成占用带宽高、网络延时高等问题。因此找到一种方法,在一定的网络资源的限制下,能够有较高的监控效果是非常有意义的。
发明内容
本申请实施例的目的在于提供一种最优化实时数据中心网络设备监控方法,实现在一定的网络资源限制下,使得对数据中心设备的监控的整体价值达到最大。
为实现上述目的,本申请提供如下技术方案:
本申请实施例提供一种最优化实时数据中心网络设备监控方法,包括如下步骤:
步骤1:设备的每个运行状态在一段时间T内为一个时间序列,读入数据中心设备运行所产生的多元时间序列数据;
其中,数据中心的设备运行数据包括不同服务器运行时的CPU利用率、内存使用率、吞吐量;
步骤2:对设备的运行数据进行小波变换,得到设备状态的时频特征;
步骤3:依据设备状态的时频特征,建立设备监控价值模型,将历史某时刻距离当前时刻的时间间隔引入设备监控价值模型,使得活跃度越高、且离当前时刻越近的设备的监控价值越高;
步骤4:构建最优化实时数据中心网络设备监控方法的设备选择模型,实现在一定的网络资源限制下,使得对设备的监控的整体价值达到最大;
步骤5:通过动态规划求解上述选择模型的最优解。
所述步骤3中设备监控价值模型构建时需要考虑设备的活跃程度越高、且离当前时刻越近的设备的监控价值越高这一特点,构建监控价值模型:
其中表示设备i的第j个运行状态序列的监控价值,/>为步骤2中对设备的时间序列数据进行小波变换求得,为设备状态的时频特征,|τ-tc|表示历史某时刻距离当前时刻的时间间隔,间隔越小,时效性越强,
每个设备具有多个运行状态,因此会计算出多个监控价值,设备di的监控价值模型表示为:
所述步骤4中针对数据中心中由于网络资源的限制,无法对所有设备进行监控,构建了最优化实时数据中心网络设备监控方法的设备选择模型:
εi∈{0,1},1≤i≤n
其中vi为设备监控价值,psi为设备监控数据包大小,B为分配给监控的网络资源,εi表示是否选择此设备作为被监控设备;
为了提高设备监控的实时性和数据的准确性,由Nyquist采样定理可得,设备最佳监控频率为2fmax;因此设备监控频率
与现有技术相比,本发明的有益效果是:
1.通过小波变换来分析设备状态的时频特征,通过将小波变换的结果乘进而求积分,构建了设备的监控价值模型,表征了设备的活跃程度和活跃程度越高、且离当前时刻越近的设备的监控价值越高这一特点;
2.基于设备的监控价值和网络资源的限制,构建了最优化实时数据中心网络设备监控方法的设备选择模型,并使用动态规划来求得最优解,以此实现了在一定的网络资源限制下,有更好的监控效果。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1是本发明方法的流程图;
图2是动态规划求得最优解的流程图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
下面结合图1,介绍本发明的具体实施方式为一种最优化实时数据中心网络设备监控方法,包括以下具体步骤:
步骤1:数据中心网络中有n个设备,每个设备有m个运行状态,每个运行状态在一段时间T内为一个时间序列,读入数据中心设备运行所产生的多元时间序列数据,记为其中i表示具体某一个设备,m表示设备的运行状态;
步骤2:对设备的时间序列数据进行小波变换,得到设备状态的时频特征:
其中i=1,2,…,n,j=1,2,…,m;
为设备i的第j个运行状态序列,ψ为小波函数;
步骤3:依据设备状态的时频特征,将历史某时刻距离当前时刻的时间间隔引入设备监控价值模型,使得活跃度越高、且离当前时刻越近的设备的监控价值越高,并以此构建监控价值模型:
其中表示设备i的第j个运行状态序列的监控价值,/>为步骤2中对设备的时间序列数据进行小波变换求得,为设备状态的时频特征;
|τ-tc|表示历史某时刻距离当前时刻的时间间隔,间隔越小,时效性越强;
每个设备具有多个运行状态,因此会计算出多个监控价值,设备di的监控价值模型表示为:
步骤4:依据数据中心网络资源的限制,同时考虑设备的监控价值,构建最优化实时数据中心网络设备监控方法的设备选择模型,使得对数据中心设备的监控整体价值最大:
εi∈{0,1},1≤i≤n
其中vi为设备监控价值,psi为设备监控数据包大小,B为分配给监控的网络资源,εi表示是否选择此设备作为被监控设备;
为了提高设备监控的实时性和数据的准确性,由Nyquist采样定理可得,设备最佳监控频率为2fmax;
因此设备监控频率
步骤5:通过动态规划求得上述选择模型的最优解,递归方程为:
其中j代表每个子问题中分配给监控的网络资源;
对于设备i,如果此时网络资源j小于设备i传输数据所需要的网络资源fi*psi,则此时前i个设备的最佳组合的价值和前i-1个设备的最佳组合价值是一样的;
如果此时网络资源j大于设备i传输数据所需要的网络资源fi*psi,则有两种情况需要进行判断:第一种情况,如果选择当前设备i的话,则在给当前设备i预留网络资源的情况下,前i-1个设备在j-fi*psi网络资源情况下的最优组合的价值加上当前设备i的价值即为总价值;第二种情况,如果不选择设备i,则此时前i个设备的最佳组合价值和前i-1个设备的最佳组合的价值是一样的。最后,情况一和情况二中较大的价值,为当前最佳组合的价值。
对于上述所形成的价值矩阵,从矩阵的i*j位置开始进行回溯,如果前i个设备最佳组合的价值,即矩阵i*j的位置与前i-1个设备最佳组合的价值一样,说明第i个设备没有被选择,否则,第i个设备被选择。
相较于现有技术,本发明提出一种最优化实时数据中心网络设备监控方法。通过小波变换来分析设备状态的时频特征,并通过将小波变换的结果乘进而求积分,构建了设备的监控模型,表征了设备的活跃程度和活跃程度越高、且离当前时刻越近的设备的监控价值越高这一特点;针对数据中心中由于网络资源的限制,无法对所有设备进行监控,构建了最优化实时数据中心网络设备监控方法的设备选择模型,使用动态规划来求得最优解,以此实现在一定的网络资源限制下,使得对数据中心设备的监控的整体价值达到最大。
以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (1)
1.一种最优化实时数据中心网络设备监控方法,其特征在于,包括如下步骤:
步骤1:数据中心网络中有n个设备,每个设备有m个运行状态,设备的每个运行状态在一段时间T内为一个时间序列,读入数据中心设备运行所产生的多元时间序列数据;
其中,数据中心的设备运行数据包括不同服务器运行时的CPU利用率、内存使用率、吞吐量;
步骤2:对设备的运行数据进行小波变换,得到设备状态的时频特征;
步骤3:依据设备状态的时频特征,建立设备监控价值模型,将历史某时刻距离当前时刻的时间间隔引入设备监控价值模型,使得活跃度越高、且离当前时刻越近的设备的监控价值越高;
步骤4:构建最优化实时数据中心网络设备监控方法的设备选择模型,实现在一定的网络资源限制下,使得对设备的监控的整体价值达到最大;
步骤5:通过动态规划求解上述选择模型的最优解;
所述步骤3中设备监控价值模型构建时需要考虑设备的活跃程度越高、且离当前时刻越近的设备的监控价值越高这一特点,构建监控价值模型:
其中表示设备i的第j个运行状态序列的监控价值,/>为步骤2中对设备的时间序列数据进行小波变换求得,为设备状态的时频特征,/>表示历史某时刻距离当前时刻的时间间隔,间隔越小,时效性越强,每个设备具有多个运行状态,因此会计算出多个监控价值,设备di的监控价值模型表示为:
所述步骤4中针对数据中心中由于网络资源的限制,无法对所有设备进行监控,构建了最优化实时数据中心网络设备监控方法的设备选择模型:
εi∈{0,1},1≤i≤n
其中vi为设备监控价值,psi为设备监控数据包大小,B为分配给监控的网络资源,εi表示是否选择此设备作为被监控设备;
为了提高设备监控的实时性和数据的准确性,由Nyquist采样定理可得,设备最佳监控频率为2fmax;因此设备监控频率
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211574541.6A CN115827384B (zh) | 2022-12-08 | 2022-12-08 | 一种最优化实时数据中心网络设备监控方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211574541.6A CN115827384B (zh) | 2022-12-08 | 2022-12-08 | 一种最优化实时数据中心网络设备监控方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115827384A CN115827384A (zh) | 2023-03-21 |
CN115827384B true CN115827384B (zh) | 2024-02-02 |
Family
ID=85545510
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211574541.6A Active CN115827384B (zh) | 2022-12-08 | 2022-12-08 | 一种最优化实时数据中心网络设备监控方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115827384B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007065883A (ja) * | 2005-08-30 | 2007-03-15 | Toshiba Corp | プロセス監視装置及びその方法 |
CN106155867A (zh) * | 2016-08-23 | 2016-11-23 | 珠海金智维信息科技有限公司 | 监控性能数据相似性度量的告警方法和系统 |
CN111158983A (zh) * | 2019-12-27 | 2020-05-15 | 广东华保数据有限公司 | 一种一体化运维管理系统 |
CN112764985A (zh) * | 2020-12-30 | 2021-05-07 | 中国人寿保险股份有限公司上海数据中心 | 一种数据中心系统智能监控方法 |
CN114579554A (zh) * | 2022-03-08 | 2022-06-03 | 京东科技信息技术有限公司 | 运维时间序列数据处理方法及装置、存储介质及电子设备 |
CN115409066A (zh) * | 2022-08-31 | 2022-11-29 | 北京中电普华信息技术有限公司 | 时间序列数据的异常检测方法、装置及计算机存储介质 |
-
2022
- 2022-12-08 CN CN202211574541.6A patent/CN115827384B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007065883A (ja) * | 2005-08-30 | 2007-03-15 | Toshiba Corp | プロセス監視装置及びその方法 |
CN106155867A (zh) * | 2016-08-23 | 2016-11-23 | 珠海金智维信息科技有限公司 | 监控性能数据相似性度量的告警方法和系统 |
CN111158983A (zh) * | 2019-12-27 | 2020-05-15 | 广东华保数据有限公司 | 一种一体化运维管理系统 |
CN112764985A (zh) * | 2020-12-30 | 2021-05-07 | 中国人寿保险股份有限公司上海数据中心 | 一种数据中心系统智能监控方法 |
CN114579554A (zh) * | 2022-03-08 | 2022-06-03 | 京东科技信息技术有限公司 | 运维时间序列数据处理方法及装置、存储介质及电子设备 |
CN115409066A (zh) * | 2022-08-31 | 2022-11-29 | 北京中电普华信息技术有限公司 | 时间序列数据的异常检测方法、装置及计算机存储介质 |
Non-Patent Citations (1)
Title |
---|
基于小波分析和神经网络的软件衰退预测;徐建;张琨;游静;刘凤玉;;系统仿真学报(第09期);2626-2629 * |
Also Published As
Publication number | Publication date |
---|---|
CN115827384A (zh) | 2023-03-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110475224B (zh) | 一种基于边缘计算的传感器数据处理与协同预测方法 | |
WO2019153735A1 (zh) | 数据处理方法、装置和系统 | |
CN111385122B (zh) | 分布式系统链路跟踪方法、装置、计算机设备及存储介质 | |
CN109684052B (zh) | 事务分析方法、装置、设备及存储介质 | |
WO2016017208A1 (ja) | 監視システム、監視装置、および検査装置 | |
CN110149239B (zh) | 一种基于sFlow的网络流量监控方法 | |
WO2022048050A1 (zh) | 一种大数据信息采集系统及使用方法 | |
CN112367191B (zh) | 一种5g网络切片下服务故障定位方法 | |
CN114513470B (zh) | 网络流量控制方法、装置、设备及计算机可读存储介质 | |
CN115794407A (zh) | 计算资源分配方法、装置、电子设备及非易失性存储介质 | |
CN116166505B (zh) | 金融行业双态it架构的监控平台、方法、存储介质及设备 | |
US9621438B2 (en) | Network traffic management | |
US20220413481A1 (en) | Geometric aging data reduction for machine learning applications | |
Balouchestani et al. | Robust wireless sensor networks with compressed sensing theory | |
CN115827384B (zh) | 一种最优化实时数据中心网络设备监控方法 | |
CN116708217A (zh) | 一种数据中心设备监控方法、系统、电子设备及存储介质 | |
CN109446020B (zh) | 云存储系统的动态评估方法以及装置 | |
CN113364652B (zh) | 网卡流量测试方法、装置、网络设备、系统及可读介质 | |
CN111641535B (zh) | 网络监控方法、装置、电子设备和介质 | |
CN112637202B (zh) | 一种SDN环境下基于集成小波变换的LDoS攻击检测方法 | |
Hu et al. | Classification of Abnormal Traffic in Smart Grids Based on GACNN and Data Statistical Analysis | |
CN111813542B (zh) | 一种并行处理大规模图分析任务的负载均衡方法及其装置 | |
Jeon et al. | Hybrid in-network computing and distributed learning for large-scale data processing | |
Li | Network intrusion risk assessment based on big data | |
Zhang et al. | SDN enhanced tomography for performance profiling in cloud network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |