CN111539539A - 数据中心动力环境设备运行模式突变检测方法及装置 - Google Patents

数据中心动力环境设备运行模式突变检测方法及装置 Download PDF

Info

Publication number
CN111539539A
CN111539539A CN202010262518.8A CN202010262518A CN111539539A CN 111539539 A CN111539539 A CN 111539539A CN 202010262518 A CN202010262518 A CN 202010262518A CN 111539539 A CN111539539 A CN 111539539A
Authority
CN
China
Prior art keywords
space
operation mode
data
data center
environment equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010262518.8A
Other languages
English (en)
Inventor
黄建文
张章
陆芳珂
薛一波
王超
曾海天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Computer Network and Information Security Management Center
Original Assignee
National Computer Network and Information Security Management Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Computer Network and Information Security Management Center filed Critical National Computer Network and Information Security Management Center
Priority to CN202010262518.8A priority Critical patent/CN111539539A/zh
Publication of CN111539539A publication Critical patent/CN111539539A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474—Sequence data queries, e.g. querying versioned data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Human Resources & Organizations (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Game Theory and Decision Science (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本发明公开了一种数据中心动力环境设备运行模式突变检测方法及装置，数据中心动力环境设备运行模式突变检测方法，包括：采集数据中心动力环境设备的监控指标数据，构建初始数据空间；提取初始数据空间的频谱特征、时序特征，构建特征空间；基于特征空间、kmeans聚类算法，构建运行模式突变检测模型；根据运行模式突变检测模型的运行结果，判断数据中心动力环境设备运行模式是否发生突变。采用本发明，基于无监督聚类模型，具有高效的计算效率，能够应用于数据中心动力环境设备运行模式的在线检测中，其中通过提取能够表征序列连续性的时序特征，保证了聚类结果中的各个簇在时间上的分布尽量集中。

Description

数据中心动力环境设备运行模式突变检测方法及装置
技术领域
本发明涉及设备检测技术领域，尤其涉及一种数据中心动力环境设备运行模式突变检测方法及装置。
背景技术
数据中心是作为基础设施对外提供的，数据中心的安全可靠运行直接决定其上层平台和应用的可靠性。经统计，当数据中心发生停机事故，每小时给数据中心运营商造成的财产损失高达26万美元。数据中心主要包括IT设备以及其他用于提供IT设备工作保障的动力环境设备，动力环境设备包括电力设备、空调设备、门禁设备、极早期设备、监控设备等。作为保障数据中心正常运行的动力环境设备，对数据中心信息系统的可靠运行有着重要影响。保障动力环境设备的可靠运行，对于维护数据中心的高可靠性意义重大。因此对数据中心动力环境设备运行模式的突变进行及时准确的检测，对防止设备运行出现重大事故具有重要意义。
发明内容
本发明实施例提供一种数据中心动力环境设备运行模式突变检测方法及装置，用以解决现有技术中对数据中心动力环境设备运行模式的突变检测效率低的问题。
根据本发明实施例的数据中心动力环境设备运行模式突变检测方法，包括：
采集数据中心动力环境设备的监控指标数据，构建初始数据空间；
提取所述初始数据空间的频谱特征、时序特征，构建特征空间；
基于所述特征空间、kmeans聚类算法，构建运行模式突变检测模型；
根据所述运行模式突变检测模型的运行结果，判断所述数据中心动力环境设备运行模式是否发生突变。
根据本发明的一些实施例，所述采集数据中心动力环境设备的监控指标数据，构建初始数据空间，包括：
基于滑动窗口的思想，获取当前时间窗口下数据中心动力环境设备的监控指标数据；
对所述监控指标数据进行等时间间隔处理、非法值去除处理、插值处理，以构建初始数据空间。
在本发明的一些实施例中，所述对所述监控指标数据进行等时间间隔处理、非法值去除处理、插值处理，以构建初始数据空间，包括：
基于线性插值方法对所述监控指标数据进行等时间间隔处理；
基于Gaussian tail方法对所述监控指标数据进行非法值去除处理；
将所述非法值去除处理确定的待去除监控指标数据替换为其相邻的监控指标数据。
根据本发明的一些实施例，所述提取所述初始数据空间的频谱特征、时序特征，构建特征空间，包括：
基于Coiflets小波变换方法，获取所述初始数据空间的频谱特征；
确定所述初始数据空间中每个数据的时间次序，作为所述时序特征；
合并所述频谱特征、所述时序特征、所述初始数据空间，构建所述特征空间。
在本发明的一些实施例中，所述提取所述初始数据空间的频谱特征、时序特征，构建特征空间，还包括：
采用分位数归一化方法，对所述特征空间进行归一化处理。
根据本发明的一些实施例，所述基于所述特征空间、kmeans聚类算法，构建运行模式突变检测模型，包括：
基于kmeans聚类算法对所述特征空间进行聚类；
基于kmeans聚类算法对所述特征空间执行的聚类结果，根据公式1构建所述运行模式突变检测模型，
Figure BDA0002437715780000031
其中，d(.)表示向量间欧氏距离，K为聚类簇个数，T为样本个数，C为聚类簇，xi表示样本i，
Figure BDA0002437715780000032
为所有样本的中心点，μk为聚类簇Ck的中心点，α、β均为系数。
根据本发明的一些实施例，所述根据所述运行模式突变检测模型的运行结果，判断所述数据中心动力环境设备运行模式是否发生突变，包括：
计算给定聚类簇个数候选集中每个聚类簇个数对应的CI度量值，并确定最小的CI度量值所对应的聚类簇个数为参考值；
当所述参考值为1，则所述数据中心动力环境设备运行模式没有发生突变；
当所述参考值不为1，则所述数据中心动力环境设备运行模式发生突变。
根据本发明的一些实施例，所述方法还包括：
对所述数据中心动力环境设备运行模式发生突变的情况进行记录并存入结构型数据库MySQL中；
所述记录的字段信息包括监控指标编号、对应监控设备编号、当前时间戳、指标模式突变时刻的时间戳、指标模式突变时刻的监控值。
根据本发明实施例的数据中心动力环境设备运行模式突变检测装置，包括：
初始数据空间构建模块，用于采集数据中心动力环境设备的监控指标数据，构建初始数据空间；
特征空间构建模块，用于提取所述初始数据空间的频谱特征、时序特征，构建特征空间；
运行模式突变检测模型构建模块，用于基于所述特征空间、kmeans聚类算法，构建运行模式突变检测模型；
判断模块，用于根据所述运行模式突变检测模型的运行结果，判断所述数据中心动力环境设备运行模式是否发生突变。
根据本发明实施例的计算机可读存储介质，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现如上所述的数据中心动力环境设备运行模式突变检测方法的步骤。
采用本发明实施例，可以对数据中心动力环境设备运行模式的突变进行在线检测方法，实现无监督聚类模型，降低了计算复杂度，提高了计算效率，能够应用于数据中心动力环境设备运行模式的在线检测中，而且通过提取能够表征序列连续性的时序特征，保证了聚类结果中的各个簇在时间上的分布尽量集中，并利用聚类性能度量指标指导聚类过程中簇个数的选择，不需要运维人员的参与即可自动运行。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。在附图中：
图1是本发明实施例中数据中心动力环境设备运行模式突变检测方法流程图；
图2是本发明实施例中数据中心动力环境设备运行模式突变检测装置结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
相关技术中，针对设备运行监控时间序列的模式突变检测的研究方法较少，常用的有基于DTW距离相似性度量的检测方法，但这种方法的计算复杂度高，计算效率低。此外，还有对时间序列进行符号化，采用符号检索方式搜索出时间序列中差异模式的方法，但这种方法易丢失原有数据特征，并且难以应用到在线检测场景中。此外，数据中心的动力环境设备种类繁多，因此其监控指标的性质也各不相同，这要求所提出的模式突变检测方法具有通用性。
第一方面，如图1所示，本发明实施例的数据中心动力环境设备运行模式突变检测方法，包括：
S11，采集数据中心动力环境设备的监控指标数据，构建初始数据空间。
可以理解的是，对数据中心中的动力环境设备中的某一监控指标进行采集，获得多个监控指标数据，以构建该监控指标对应的初始数据空间。这里的初始数据空间可以理解为一个一维时间序列。例如，对数据中心动力环境设备的某个监控指标进行采集，采集的时间点分别为6:00，6:07，6:13，6:15，采集的多个监控指标数据构成一维时间序列向量[15.3,14.6,13.0,16.4]。
S12，提取所述初始数据空间的频谱特征、时序特征，构建特征空间。
需要解释说明的是，这里的“时序特征”可以理解为初始数据空间中的数据在初始数据空间中采集次序，用于表征初始数据空间的时间连续性。
S13，基于所述特征空间、kmeans聚类算法，构建运行模式突变检测模型。
S14，根据所述运行模式突变检测模型的运行结果，判断所述数据中心动力环境设备运行模式是否发生突变。
采用本发明实施例，可以对数据中心动力环境设备运行模式的突变进行在线检测方法，实现无监督聚类模型，降低了计算复杂度，提高了计算效率，能够应用于数据中心动力环境设备运行模式的在线检测中，而且通过提取能够表征序列连续性的时序特征，保证了聚类结果中的各个簇在时间上的分布尽量集中。
在上述实施例的基础上，进一步提出各变型实施例，在此需要说明的是，为了使描述简要，在各变型实施例中仅描述与上述实施例的不同之处。
根据本发明的一些实施例，所述采集数据中心动力环境设备的监控指标数据，构建初始数据空间，包括：
基于滑动窗口的思想，获取当前时间窗口下数据中心动力环境设备的监控指标数据；
对所述监控指标数据进行等时间间隔处理、非法值去除处理、插值处理，以构建初始数据空间。
在本发明的一些实施例中，所述对所述监控指标数据进行等时间间隔处理、非法值去除处理、插值处理，以构建初始数据空间，包括：
基于线性插值方法对所述监控指标数据进行等时间间隔处理；
基于Gaussian tail方法对所述监控指标数据进行非法值去除处理；
将所述非法值去除处理确定的待去除监控指标数据替换为其相邻的监控指标数据。
根据本发明的一些实施例，所述提取所述初始数据空间的频谱特征、时序特征，构建特征空间，包括：
基于Coiflets小波变换方法，获取所述初始数据空间的频谱特征；
确定所述初始数据空间中每个数据的时间次序，作为所述时序特征；
合并所述频谱特征、所述时序特征、所述初始数据空间，构建所述特征空间。
在本发明的一些实施例中，所述提取所述初始数据空间的频谱特征、时序特征，构建特征空间，还包括：
采用分位数归一化方法，对所述特征空间进行归一化处理。
根据本发明的一些实施例，所述基于所述特征空间、kmeans聚类算法，构建运行模式突变检测模型，包括：
基于kmeans聚类算法对所述特征空间进行聚类；
基于kmeans聚类算法对所述特征空间执行的聚类结果，根据公式1构建所述运行模式突变检测模型，
Figure BDA0002437715780000071
其中，d(.)表示向量间欧氏距离，K为聚类簇个数，T为样本个数，C为聚类簇，xi表示样本i，
Figure BDA0002437715780000072
为所有样本的中心点，μk为聚类簇Ck的中心点，α、β均为系数。
根据本发明的一些实施例，所述根据所述运行模式突变检测模型的运行结果，判断所述数据中心动力环境设备运行模式是否发生突变，包括：
计算每一个所述聚类簇个数对应的CI度量值，并确定最小的CI度量值所对应的聚类簇个数为参考值；
当所述参考值为1，则所述数据中心动力环境设备运行模式没有发生突变；
当所述参考值不为1，则所述数据中心动力环境设备运行模式发生突变。
根据本发明的一些实施例，所述方法还包括：
对所述数据中心动力环境设备运行模式发生突变的情况进行记录并存入结构型数据库MySQL中；
所述记录的字段信息包括监控指标编号、对应监控设备编号、当前时间戳、指标模式突变时刻的时间戳、指标模式突变时刻的监控值。
下面以一个具体的实施例详细描述根据本发明实施例的数据中心动力环境设备运行模式突变检测方法。值得理解的是，下述描述仅是示例性说明，而不是对本发明的具体限制。凡是采用本发明的相似结构及其相似变化，均应列入本发明的保护范围。
本发明实施例提供了一种数据中心动力环境设备运行模式突变检测方法，包括：
步骤1，构建初始数据空间。基于滑动窗口的思想，获取当前时间窗口下数据中心中动力环境设备的监控指标数据，并对获取的监控指标数据进行预处理，以构建初始数据空间。数据中心中动力环境设备可以有多个监控指标，每个监控指标对应一个初始数据空间，初始数据空间为一维时间序列。
在该步骤中，对监控指标数据的预处理工作可以包括等时间间隔处理、非法值去除处理、和插值处理。其中，等时间间隔处理可以基于线性插值方法，例如，假设数据中心动力环境设备的某个监控指标在6:00，6:07，6:13，6:15时刻的采集值为一维时间序列向量[15.3,14.6,13.0,16.4]，设定时间间隔选择为5min，采用线性插值方法进行等时间间隔处理后得到的向量为[15.3,14.8,13.8,16.4]，分别对应四个时刻6:00，6:05，6:10，6:15。非法值去除处理可以基于“Gaussian tail”方法，具体的，计算监控指标数据在当前时间窗口内的均值μ和标准差σ，将当前时间窗口内不在μ±n*σ范围内的数据去除，并进行后续插值处理，其中系数n的选取可以基于动力环境设备的性质，常用n＝3。对监控指标数据缺失时刻(即所去除的不在μ±n*σ范围内的数据)的插值处理可以基于前向插值方法，将前一时刻的监控指标数据作为该时刻的插值。。经过一系列预处理后，最终得到动力环境设备每一个监控指标的一维时间序列向量(即初始数据空间)，以监控指标j为例，可表示为向量
Figure BDA0002437715780000081
其中T表示所选择的时间窗口长度，t表示当前时刻。
步骤2，提取特征。对步骤1获得的动力环境设备的监控指标的初始数据空间进行特征提取。所提取的特征包括对初始数据空间采用Coiflets小波变换方法得到的频谱特征、初始数据空间对应的一维时间序列中每一时刻在当前时间窗口内的次序。
步骤2的具体实施步骤如下：
基于Coiflets小波变换方法获取初始数据空间的频谱特征。其中，频谱的频率范围的选择可以基于初始数据空间的时间间隔和频率性质选择。频谱特征可表示为[e′t-(T-1),e′t-(T-2),...,e′t]，其中e′t-(T-i)表示在当前时间窗口内t-(T-i)时刻对应的n*1维小波变换系数向量。
基于时间序列连续性的考虑，以使在接下来模式聚类过程中，每一簇在时间上的分布尽量集中，因此加入表征序列连续性的特征。由于所获得的监控指标数据已经过等时间间隔处理，因此提取初始数据空间内每一数据的时间次序作为时序特征，表示为[T-1,T-2,...,1,0]。将该时序特征与频谱特征、初始数据空间内的一维时间序列数据进行组合，最终得到(n+2)×T维的特征空间。
为了消除不同数值型特征之间的量纲影响，对特征空间进行归一化处理。具体的，为了减小当前时间窗口中的异常值对模式突变检测造成影响，使用分位数归一化方法，最终得到归一化后的特征空间，表示为X。
步骤3，构建运行模式突变检测模型。以上述步骤2获得的特征空间作为输入，建立基于kmeans聚类算法的运行模式突变检测模型。
步骤3的具体实施步骤如下：
基于步骤2所得到的特征空间，实现kmeans聚类算法；
考虑到系统的稳定性，假设动力环境设备运行正常，短时间内不会发生运行模式的改变。提出如下公式计算各个簇个数下的聚类性能度量CI，公式中添加了簇个数惩罚，CI值越小越好。选择最优性能度量下的簇个数以实现聚类簇个数的自动选择，例如，在程序中给定聚类簇个数候选集为[1，2，3，4]，分别计算其中每一个簇个数对应的CI度量值，并最终选择最小的CI度量值所对应的聚类簇个数。如果最终选择的簇个数为1，则认为在当前窗口内，设备运行模式没有发生改变。
Figure BDA0002437715780000091
其中，d(.)表示向量间欧氏距离，K为聚类簇个数，T为样本个数，C为聚类簇，xi表示样本i，
Figure BDA0002437715780000101
为所有样本的中心点，μk为聚类簇Ck的中心点，α、β均为系数。
步骤4，将模式突变记录存入数据库：得到模型的实时检测结果，将模式突变记录存入MySQL数据库中。
如果在所述步骤3中，得到当前时间窗口内的监控指标数据的聚类簇个数不为1，则将其作为模式突变记录存入结构型数据库MySQL中。该记录所包含字段信息包括监控指标编号、对应监控设备编号、当前时间戳、指标模式突变时刻的时间戳、指标模式突变时刻的监控值。其中，指标模式突变时刻的时间戳是通过在当前时间窗口内，由当前时刻向前依次查询上一时刻监控值的簇标签得到，记录簇标签首次发生改变的时刻。
综上所述，通过本发明实施例的技术方案，一种用于在线检测数据中心动力环境设备运行模式突变的方法能够自动化地检测设备运行模式是否发生突变，基于无监督聚类算法使模型具有通用性，能够应用于数据中心不同动力环境设备不同监控指标的模式突变检测中。
需要说明的是，以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
第二方面，如图2所示，根据本发明实施例的数据中心动力环境设备运行模式突变检测装置1，包括：
初始数据空间构建模块10，用于采集数据中心动力环境设备的监控指标数据，构建初始数据空间；
特征空间构建模块20，用于提取所述初始数据空间的频谱特征、时序特征，构建特征空间；
运行模式突变检测模型构建模块30，用于基于所述特征空间、kmeans聚类算法，构建运行模式突变检测模型；
判断模块40，用于根据所述运行模式突变检测模型的运行结果，判断所述数据中心动力环境设备运行模式是否发生突变。
采用本发明实施例，可以对数据中心动力环境设备运行模式的突变进行在线检测，基于无监督聚类模型，使方法具有高效的计算效率，，其中通过提取能够表征序列连续性的时序特征，保证了聚类结果中的各个簇在时间上的分布尽量集中；其次利用聚类性能度量指标指导聚类过程中簇个数的选择，不需要运维人员的参与即可自动运行，使方法具有通用性。
在上述实施例的基础上，进一步提出各变型实施例，在此需要说明的是，为了使描述简要，在各变型实施例中仅描述与上述实施例的不同之处。
根据本发明的一些实施例，所述初始数据空间构建模块10，用于：
基于滑动窗口的思想，获取当前时间窗口下数据中心动力环境设备的监控指标数据；
对所述监控指标数据进行等时间间隔处理、非法值去除处理、插值处理，以构建初始数据空间。
在本发明的一些实施例中，所述初始数据空间构建模块10，具体用于：
基于线性插值方法对所述监控指标数据进行等时间间隔处理；
基于Gaussian tail方法对所述监控指标数据进行非法值去除处理；
将所述非法值去除处理确定的待去除监控指标数据替换为其相邻的监控指标数据。
根据本发明的一些实施例，所述特征空间构建模块20，用于：
基于Coiflets小波变换方法，获取所述初始数据空间的频谱特征；
确定所述初始数据空间中每个数据的次序，作为所述时序特征；
基于所述频谱特征、所述时序特征、所述初始数据空间，构建所述特征空间。
在本发明的一些实施例中，所述特征空间构建模块20，还用于：
采用分位数归一化方法，对所述特征空间进行归一化处理。
根据本发明的一些实施例，所述运行模式突变检测模型构建模块30，用于：
基于kmeans聚类算法对所述特征空间进行聚类；
基于kmeans聚类算法对所述特征空间执行的聚类结果，根据公式1构建所述运行模式突变检测模型，
Figure BDA0002437715780000121
其中，d(.)表示向量间欧氏距离，K为聚类簇个数，T为样本个数，C为聚类簇，
Figure BDA0002437715780000122
为所有样本的中心点，μ为聚类簇C的中心点，α、β均为系数。
根据本发明的一些实施例，所述判断模块40，用于：
计算每一个所述聚类簇个数对应的CI度量值，并确定最小的CI度量值所对应的聚类簇个数为参考值；
当所述参考值为1，则所述数据中心动力环境设备运行模式没有发生突变；
当所述参考值不为1，则所述数据中心动力环境设备运行模式发生突变。
根据本发明的一些实施例，所述装置还包括：存储模块，存储模块用于：
对所述数据中心动力环境设备运行模式发生突变的情况进行记录并存入结构型数据库MySQL中；
所述记录的字段信息包括监控指标编号、对应监控设备编号、当前时间戳、指标模式突变时刻的时间戳、指标模式突变时刻的监控值。
第三方面，根据本发明实施例的计算机可读存储介质，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现如下步骤：
S11，采集数据中心动力环境设备的监控指标数据，构建初始数据空间。
可以理解的是，对数据中心中的动力环境设备中的某一监控指标进行采集，获得多个监控指标数据，以构建该监控指标对应的初始数据空间。这里的初始数据空间可以理解为一个一维时间序列。例如，对数据中心动力环境设备的某个监控指标进行采集，采集的时间点分别为6:00，6:07，6:13，6:15，采集的多个监控指标数据构成一维时间序列向量[15.3,14.6,13.0,16.4]。
S12，提取所述初始数据空间的频谱特征、时序特征，构建特征空间。
需要解释说明的是，这里的“时序特征”可以理解为初始数据空间中的数据在初始数据空间中采集次序，用于表征初始数据空间的时间连续性。
S13，基于所述特征空间、kmeans聚类算法，构建运行模式突变检测模型。
S14，根据所述运行模式突变检测模型的运行结果，判断所述数据中心动力环境设备运行模式是否发生突变。
采用本发明实施例，可以对数据中心动力环境设备运行模式的突变进行在线检测方法，实现无监督聚类模型，降低了计算复杂度，提高了计算效率，能够应用于数据中心动力环境设备运行模式的在线检测中，而且通过提取能够表征序列连续性的时序特征，保证了聚类结果中的各个簇在时间上的分布尽量集中。
在上述实施例的基础上，进一步提出各变型实施例，在此需要说明的是，为了使描述简要，在各变型实施例中仅描述与上述实施例的不同之处。
根据本发明的一些实施例，所述采集数据中心动力环境设备的监控指标数据，构建初始数据空间，包括：
基于滑动窗口的思想，获取当前时间窗口下数据中心动力环境设备的监控指标数据；
对所述监控指标数据进行等时间间隔处理、非法值去除处理、插值处理，以构建初始数据空间。
在本发明的一些实施例中，所述对所述监控指标数据进行等时间间隔处理、非法值去除处理、插值处理，以构建初始数据空间，包括：
基于线性插值方法对所述监控指标数据进行等时间间隔处理；
基于Gaussian tail方法对所述监控指标数据进行非法值去除处理；
将所述非法值去除处理确定的待去除监控指标数据替换为其相邻的监控指标数据。
根据本发明的一些实施例，所述提取所述初始数据空间的频谱特征、时序特征，构建特征空间，包括：
基于Coiflets小波变换方法，获取所述初始数据空间的频谱特征；
确定所述初始数据空间中每个数据的次序，作为所述时序特征；
基于所述频谱特征、所述时序特征、所述初始数据空间，构建所述特征空间。
在本发明的一些实施例中，所述提取所述初始数据空间的频谱特征、时序特征，构建特征空间，还包括：
采用分位数归一化方法，对所述特征空间进行归一处理。
根据本发明的一些实施例，所述基于所述特征空间、kmeans聚类算法，构建运行模式突变检测模型，包括：
基于kmeans聚类算法对所述特征空间进行聚类；
基于kmeans聚类算法对所述特征空间执行的聚类结果，根据公式1构建所述运行模式突变检测模型，
Figure BDA0002437715780000141
其中，d(.)表示向量间欧氏距离，K为聚类簇个数，T为样本个数，C为聚类簇，
Figure BDA0002437715780000142
为所有样本的中心点，μ为聚类簇C的中心点，α、β均为系数。
根据本发明的一些实施例，所述根据所述运行模式突变检测模型的运行结果，判断所述数据中心动力环境设备运行模式是否发生突变，包括：
计算每一个所述聚类簇个数对应的CI度量值，并确定最小的CI度量值所对应的聚类簇个数为参考值；
当所述参考值为1，则所述数据中心动力环境设备运行模式没有发生突变；
当所述参考值不为1，则所述数据中心动力环境设备运行模式发生突变。
根据本发明的一些实施例，所述方法还包括：
对所述数据中心动力环境设备运行模式发生突变的情况进行记录并存入结构型数据库MySQL中；
所述记录的字段信息包括监控指标编号、对应监控设备编号、当前时间戳、指标模式突变时刻的时间戳、指标模式突变时刻的监控值。
需要说明的是，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种数据中心动力环境设备运行模式突变检测方法，其特征在于，包括：
采集数据中心动力环境设备的监控指标数据，构建初始数据空间；
提取所述初始数据空间的频谱特征、时序特征，构建特征空间；
基于所述特征空间、kmeans聚类算法，构建运行模式突变检测模型；
根据所述运行模式突变检测模型的运行结果，判断所述数据中心动力环境设备运行模式是否发生突变。
2.如权利要求1所述的方法，其特征在于，所述采集数据中心动力环境设备的监控指标数据，构建初始数据空间，包括：
基于滑动窗口的思想，获取当前时间窗口下数据中心动力环境设备的监控指标数据；
对所述监控指标数据进行等时间间隔处理、非法值去除处理、插值处理，以构建初始数据空间。
3.如权利要求2所述的方法，其特征在于，所述对所述监控指标数据进行等时间间隔处理、非法值去除处理、插值处理，以构建初始数据空间，包括：
基于线性插值方法对所述监控指标数据进行等时间间隔处理；
基于Gaussian tail方法对所述监控指标数据进行非法值去除处理；
将所述非法值去除处理确定的待去除监控指标数据替换为其相邻的监控指标数据。
4.如权利要求1所述的方法，其特征在于，所述提取所述初始数据空间的频谱特征、时序特征，构建特征空间，包括：
基于Coiflets小波变换方法，获取所述初始数据空间的频谱特征；
确定所述初始数据空间中每个数据的时间次序，作为所述时序特征；
合并所述频谱特征、所述时序特征、所述初始数据空间，构建所述特征空间。
5.如权利要求4所述的方法，其特征在于，所述提取所述初始数据空间的频谱特征、时序特征，构建特征空间，还包括：
采用分位数归一化方法，对所述特征空间进行归一化处理。
6.如权利要求1所述的方法，其特征在于，所述基于所述特征空间、kmeans聚类算法，构建运行模式突变检测模型，包括：
基于kmeans聚类算法对所述特征空间进行聚类；
基于kmeans聚类算法对所述特征空间执行的聚类结果，根据公式1构建所述运行模式突变检测模型，
Figure FDA0002437715770000021
其中，d(.)表示向量间欧氏距离，K为聚类簇个数，T为样本个数，C为聚类簇，xi表示样本i，
Figure FDA0002437715770000022
为所有样本的中心点，μk为聚类簇Ck的中心点，α、β均为系数。
7.如权利要求6所述的方法，其特征在于，所述根据所述运行模式突变检测模型的运行结果，判断所述数据中心动力环境设备运行模式是否发生突变，包括：
计算给定聚类簇个数候选集中每个聚类簇个数对应的CI度量值，并确定最小的CI度量值所对应的聚类簇个数为参考值；
当所述参考值为1，则所述数据中心动力环境设备运行模式没有发生突变；
当所述参考值不为1，则所述数据中心动力环境设备运行模式发生突变。
8.如权利要求1所述的方法，其特征在于，所述方法还包括：
对所述数据中心动力环境设备运行模式发生突变的情况进行记录并存入结构型数据库MySQL中；
所述记录的字段信息包括监控指标编号、对应监控设备编号、当前时间戳、指标模式突变时刻的时间戳、指标模式突变时刻的监控值。
9.一种数据中心动力环境设备运行模式突变检测装置，其特征在于，包括：
初始数据空间构建模块，用于采集数据中心动力环境设备的监控指标数据，构建初始数据空间；
特征空间构建模块，用于提取所述初始数据空间的频谱特征、时序特征，构建特征空间；
运行模式突变检测模型构建模块，用于基于所述特征空间、kmeans聚类算法，构建运行模式突变检测模型；
判断模块，用于根据所述运行模式突变检测模型的运行结果，判断所述数据中心动力环境设备运行模式是否发生突变。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现如权利要求1至8中任一项所述的数据中心动力环境设备运行模式突变检测方法的步骤。
CN202010262518.8A 2020-04-03 2020-04-03 数据中心动力环境设备运行模式突变检测方法及装置 Pending CN111539539A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010262518.8A CN111539539A (zh) 2020-04-03 2020-04-03 数据中心动力环境设备运行模式突变检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010262518.8A CN111539539A (zh) 2020-04-03 2020-04-03 数据中心动力环境设备运行模式突变检测方法及装置

Publications (1)

Publication Number Publication Date
CN111539539A true CN111539539A (zh) 2020-08-14

Family

ID=71952134

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010262518.8A Pending CN111539539A (zh) 2020-04-03 2020-04-03 数据中心动力环境设备运行模式突变检测方法及装置

Country Status (1)

Country Link
CN (1) CN111539539A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112632127A (zh) * 2020-12-29 2021-04-09 国华卫星数据科技有限公司 设备运行实时数据采集及时序的数据处理方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130080375A1 (en) * 2011-09-23 2013-03-28 Krishnamurthy Viswanathan Anomaly detection in data centers
CN105205112A (zh) * 2015-09-01 2015-12-30 西安交通大学 一种时序数据异常特征的挖掘系统及方法
US20180012132A1 (en) * 2016-07-08 2018-01-11 Curtis MEADOW Method for performing automated analysis of sensor data time series
CN109491289A (zh) * 2018-11-15 2019-03-19 国家计算机网络与信息安全管理中心 一种用于数据中心动力环境监控的动态预警方法及装置
CN110046074A (zh) * 2019-04-19 2019-07-23 北京中大科慧科技发展有限公司 数据中心动力环境监测系统及监测方法
CN110213125A (zh) * 2019-05-23 2019-09-06 南京维拓科技股份有限公司 一种云环境下基于时序数据的异常检测系统
CN110285976A (zh) * 2019-07-09 2019-09-27 哈尔滨工业大学（威海） 基于dbn的多维时序信息驱动航空发动机故障诊断方法
CN110597880A (zh) * 2019-09-17 2019-12-20 上海仪电（集团）有限公司中央研究院 一种用水模式挖掘和匹配的方法，系统和设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130080375A1 (en) * 2011-09-23 2013-03-28 Krishnamurthy Viswanathan Anomaly detection in data centers
CN105205112A (zh) * 2015-09-01 2015-12-30 西安交通大学 一种时序数据异常特征的挖掘系统及方法
US20180012132A1 (en) * 2016-07-08 2018-01-11 Curtis MEADOW Method for performing automated analysis of sensor data time series
CN109491289A (zh) * 2018-11-15 2019-03-19 国家计算机网络与信息安全管理中心 一种用于数据中心动力环境监控的动态预警方法及装置
CN110046074A (zh) * 2019-04-19 2019-07-23 北京中大科慧科技发展有限公司 数据中心动力环境监测系统及监测方法
CN110213125A (zh) * 2019-05-23 2019-09-06 南京维拓科技股份有限公司 一种云环境下基于时序数据的异常检测系统
CN110285976A (zh) * 2019-07-09 2019-09-27 哈尔滨工业大学（威海） 基于dbn的多维时序信息驱动航空发动机故障诊断方法
CN110597880A (zh) * 2019-09-17 2019-12-20 上海仪电（集团）有限公司中央研究院 一种用水模式挖掘和匹配的方法，系统和设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
林珠 等: "数据挖掘中适用于分类的时序数据特征提取方法", 《计算机系统应用》 *
田政雄: "基于小波变换的时间序列挖掘研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112632127A (zh) * 2020-12-29 2021-04-09 国华卫星数据科技有限公司 设备运行实时数据采集及时序的数据处理方法
CN112632127B (zh) * 2020-12-29 2022-07-15 国华卫星数据科技有限公司 设备运行实时数据采集及时序的数据处理方法

Similar Documents

Publication Publication Date Title
US6957172B2 (en) Complex signal decomposition and modeling
CN111475680A (zh) 检测异常高密子图的方法、装置、设备及存储介质
CN110895526A (zh) 一种大气监测系统中数据异常的修正方法
CN116148679B (zh) 一种电池健康状态的预测方法及相关装置
CN109934301B (zh) 一种电力负荷聚类分析方法、装置和设备
CN113008583B (zh) 一种旋转机械状态监测和异常自动报警的方法及装置
Mechefske et al. Fault detection and diagnosis in low speed rolling element bearings Part II: The use of nearest neighbour classification
CN117131110B (zh) 一种基于关联分析的容性设备介质损耗监测方法及系统
JP2011247696A (ja) パターン自動抽出方法およびパターン自動抽出システム
CN114281864A (zh) 一种面向电力网络告警信息的关联分析方法
CN115409131A (zh) 基于spc过程管控系统的生产线异常检测方法
CN114371353A (zh) 一种基于声纹识别的电力设备异常监测方法及系统
CN111539539A (zh) 数据中心动力环境设备运行模式突变检测方法及装置
CN115220396A (zh) 一种数控机床智能监控方法及系统
CN114878172A (zh) 一种船舶主机气缸温度信号特征提取方法及系统
CN116610938B (zh) 曲线模式分段的半导体制造无监督异常检测方法及设备
CN112882898A (zh) 基于大数据日志分析的异常检测方法、系统、设备及介质
CN111588375A (zh) 一种基于栈式稀疏自编码模型的涟波和快速涟波检测方法
CN115144172A (zh) 一种基于声音的gis断路器故障在线监测系统及方法
CN116090140A (zh) 真空管道磁浮交通系统故障诊断方法及系统
CN116819318B (zh) 一种电机故障检测方法、系统
CN117124857B (zh) 一种绝缘异常识别方法、装置、可读存储介质及电动汽车
CN117668684B (zh) 基于大数据分析的电网电能数据异常检测方法
CN113098640B (zh) 一种基于频道占用度预测的频谱异常检测方法
CN117370898B (zh) 一种电子数据安全管控系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200814