CN111708672B - 数据传输方法、装置、设备及存储介质 - Google Patents
数据传输方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111708672B CN111708672B CN202010543927.5A CN202010543927A CN111708672B CN 111708672 B CN111708672 B CN 111708672B CN 202010543927 A CN202010543927 A CN 202010543927A CN 111708672 B CN111708672 B CN 111708672B
- Authority
- CN
- China
- Prior art keywords
- target monitoring
- target
- monitoring index
- data
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 80
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000012544 monitoring process Methods 0.000 claims abstract description 742
- 238000001514 detection method Methods 0.000 claims abstract description 211
- 230000002159 abnormal effect Effects 0.000 claims abstract description 31
- 230000005856 abnormality Effects 0.000 claims abstract description 21
- 238000012549 training Methods 0.000 claims description 31
- 238000010801 machine learning Methods 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 13
- 230000004931 aggregating effect Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 230000002547 anomalous effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
- G06F11/3093—Configuration details thereof, e.g. installation, enabling, spatial arrangement of the probes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2379—Updates performed during online database operations; commit processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2474—Sequence data queries, e.g. querying versioned data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明实施例公开了一种数据传输方法、装置、设备及存储介质。该方法应用于监控中心服务器，包括：接收目标监控节点上报的目标监控指标采集数据；在接收到目标监控节点上报的目标监控指标采集数据时，根据目标监控指标采集数据更新对应的目标监控指标时序数据库，目标监控指标采集数据为目标监控节点在根据与目标监控指标匹配的目标异常检测模型确定目标监控指标采集数据为异常数据时上报给监控中心服务器的；在设定时间段内未接收到目标监控节点上报的目标监控指标采集数据时，确定目标监控指标预测数据并根据其更新对应的目标监控指标时序数据库。上述技术方案极大地压缩了需要传输的监控数据量，降低了对数据传输带宽、信道的需求。
Description
技术领域
本发明实施例涉及数据处理技术领域，尤其涉及一种数据传输方法、装置、设备及存储介质。
背景技术
近年来，随着各行业信息化建设地不断完善，业务的操作越来越集中于信息系统或信息平台。为保证系统正常运行，提高系统的可靠性和安全性，监控中心的建设也越来越普遍。
在大规模IT(Internet Technology，互联网技术)环境中，存在着数以万计，甚至数以百万计的主机节点、虚拟机节点或容器节点，每个节点又存在着数以百计的监控指标。这意味着，每分钟IT环境中都有千万级甚至上亿级数量的监控指标采集数据在采集并传输给监控中心。同时，由于监控指标一次采样只有一个点的数据，无法像流式的日志一样进行文本压缩，因此超大数据量的实时传输对数据传输带宽、信道都有较高的要求，无疑提高了数据传输成本。
发明内容
本发明实施例提供一种数据传输方法、装置、设备及存储介质，以实现对要传输的监控数据量的压缩，降低对数据传输带宽、信道的需求。
第一方面，本发明实施例还提供了一种数据传输方法，应用于监控中心服务器，包括：
接收目标监控节点上报的目标监控指标采集数据；
在接收到所述目标监控节点上报的目标监控指标采集数据时，根据所述目标监控指标采集数据更新与目标监控节点对应的目标监控指标时序数据库；其中，所述目标监控指标采集数据为所述目标监控节点在根据与所述目标监控指标匹配的目标异常检测模型确定所述目标监控指标采集数据为异常数据时上报给所述监控中心服务器的；
在设定时间段内未接收到所述目标监控节点上报的目标监控指标采集数据时，确定目标监控指标预测数据，并根据所述目标监控指标预测数据更新与目标监控节点对应的目标监控指标时序数据库。
第二方面，本发明实施例提供了一种数据传输方法，应用于目标监控节点，包括：
获取目标监控指标采集数据；
根据与所述目标监控指标匹配的目标异常检测模型对所述目标监控指标采集数据进行异常检测；
在确定所述目标监控指标采集数据为异常数据时，将所述目标监控指标采集数据上报给监控中心服务器。
第三方面，本发明实施例还提供了一种数据传输装置，应用于监控中心服务器，包括：
数据接收模块，设置为接收目标监控节点上报的目标监控指标采集数据；
第一数据更新模块，设置为在接收到所述目标监控节点上报的目标监控指标采集数据时，根据所述目标监控指标采集数据更新与目标监控节点对应的目标监控指标时序数据库；其中，所述目标监控指标采集数据为所述目标监控节点在根据与所述目标监控指标匹配的目标异常检测模型确定所述目标监控指标采集数据为异常数据时上报给所述监控中心服务器的；
第二数据更新模块，设置为在设定时间段内未接收到所述目标监控节点上报的目标监控指标采集数据时，确定目标监控指标预测数据，并根据所述目标监控指标预测数据更新与目标监控节点对应的目标监控指标时序数据库。
第四方面，本发明实施例还提供了一种数据传输装置，应用于目标监控节点，包括：
数据获取模块，设置为获取目标监控指标采集数据；
数据异常检测模块，设置为根据与所述目标监控指标匹配的目标异常检测模型对所述目标监控指标采集数据进行异常检测；
数据上报模块，设置为在确定所述目标监控指标采集数据为异常数据时，将所述目标监控指标采集数据上报给监控中心服务器。
第五方面，本发明实施例还提供了一种监控中心服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明任意实施例所述的应用于监控中心服务器中的数据传输方法。
第六方面，本发明实施例还提供了一种监控节点，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明任意实施例所述的应用于目标监控节点中的数据传输方法。
第七方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所述的应用于目标监控节点中的数据传输方法，或者执行时实现如本发明任意实施例所述的应用于监控中心服务器中的数据传输方法。
本发明实施例提供的技术方案，目标监控节点在获取到目标监控指标采集数据之后，根据与目标监控指标匹配的目标异常检测模型对该目标监控指标采集数据进行异常检测，当确定该目标监控指标采集数据为异常数据时，才将该目标监控指标采集数据上报给监控中心服务器，监控中心服务器在能够接收到目标监控节点上报的目标监控指标采集数据的情况下，则根据该目标监控指标采集数据对与该目标监控节点对应的目标监控指标时序数据库进行更新，在设定时间段内均未接收到该目标监控节点上报的目标监控指标采集数据的情况下，则确定一个目标监控指标预测数据，并根据该目标监控指标预测数据对与该目标监控节点对应的目标监控指标时序数据库进行更新，以此极大地压缩了需要传输的监控数据量，降低了对数据传输带宽、信道的需求，也降低了数据传输成本。
附图说明
图1是本发明实施例一中的一种数据传输方法的流程图；
图2是本发明实施例二中的一种数据传输方法的流程图；
图3是本发明实施例三中的一种数据传输方法的流程图；
图4是本发明实施例四中的一种数据传输装置的结构示意图；
图5是本发明实施例五中的一种数据传输装置的结构示意图；
图6是本发明实施例六中的一种监控中心服务器的结构示意图；
图7是本发明实施例七中的一种监控节点的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
图1是本发明实施例一提供的一种数据传输方法的流程图，可适用于大规模IT环境监控指标数据传输量巨大(如千万数量级甚至上亿数量级)的情况，该方法可以由本发明实施例提供的应用于监控中心服务器中的数据传输装置来执行，该装置可采用软件和/或硬件的方式实现，并一般可集成在计算机设备中，如监控中心服务器。
如图1所示，本实施例提供的数据传输方法，应用于监控中心服务器，具体包括：
S110、接收目标监控节点上报的目标监控指标采集数据。
监控节点，指的是用于向监控中心服务器上报监控数据的节点，其可以是直接进行监控数据采集的采集节点，也可以是数据采集节点与监控中心服务器之间的中间代理节点。具体的，监控节点可以是主机节点、虚拟机节点、容器节点等。目标监控节点，指的是大量监控节点中的一个监控节点，可以是任意一个监控节点。
监控指标可以是大规模IT环境中任意一种需要进行监控并上报的指标，例如可以是CPU利用率等，本实施例对此不作具体限定。目标监控指标，指的是大量监控指标中的一个监控指标，可以为目标监控节点上报的任意一个监控指标。目标监控指标采集数据，指的是目标监控节点采集到的与目标监控指标对应的监控数据，需要向监控中心服务器进行上报。
值得指出的是，每个监控节点可以向监控中心服务器上报一种或多种监控指标采集数据，本实施例对此不作具体限定。在本实施例中，以目标监控节点向监控中心服务器针对目标监控指标上报目标监控指标采集数据为例进行解释说明。
监控中心服务器实时监听各个监控节点是否向其上报监控指标采集数据，并在监听到存在目标监控节点向其上报目标监控指标采集数据时，接收该目标监控指标采集数据。
可选的，目标监控节点在获取到目标监控指标采集数据之后，根据与该目标监控指标匹配的目标异常检测模型对目标监控指标采集数据进行异常检测，在确定目标监控指标采集数据为异常数据时，将该目标监控指标采集数据上报给监控中心服务器，在确定目标监控指标采集数据为正常数据时，直接抑制到此次上报操作，也即不将该目标监控指标采集数据上报给监控中心服务器。
其中，目标异常检测模型可以是与目标监控指标对应的，用于检测目标监控指标采集数据是否为异常数据的机器学习模型。
可选的，目标异常检测模型是根据大量目标监控指标采集数据样本进行训练后得到的。其中，目标异常检测模型可以是目标监控节点本地训练得到的，也可以是接收由其他监控节点训练生成后发送至目标监控节点本地的。
在一种可选的实施方式中，本实施例提供的数据传输方法在S110之前，还包括：根据目标监控指标采集数据样本对机器学习模型进行训练，得到与目标监控指标匹配的目标异常检测模型；将与目标监控指标匹配的目标异常检测模型下发至目标监控节点。
其中，目标监控指标采集数据样本可以是与目标监控指标对应的，由多个监控节点上传给监控中心服务器的监控数据。
监控中心服务器针对目标监控指标积累了大量的目标监控指标采集数据之后，自动触发针对该目标监控指标的目标异常检测模型的训练，可选的，根据目标监控指标采集数据样本对机器学习模型进行训练，得到与目标监控指标匹配的目标异常检测模型，并将与目标监控指标匹配的目标异常检测模型下发至目标监控节点，以使目标监控节点可以根据目标异常检测模型检测需要向监控中心服务器上传的目标监控指标采集数据是否为异常数据。
作为一种可选的实施方式，可以将根据目标监控指标采集数据样本对机器学习模型进行训练，得到与目标监控指标匹配的目标异常检测模型，具体为：
获取目标监控指标采集数据样本集合；基于预设时段划分信息，对目标监控指标采集数据样本集合进行聚类，得到分别与每个预设时段对应的目标监控指标采集数据聚类样本子集；分别根据每个目标监控指标采集数据聚类样本子集对机器学习模型进行训练，得到分别与每个预设时段对应的针对目标监控指标的目标异常检测子模型；将各个目标异常检测子模型进行聚合，得到与目标监控指标匹配的目标异常检测模型。
目标监控指标采集数据样本集合，指的是与目标监控指标对应的监控数据样本的集合。
预设时段划分信息，可以是根据目标监控指标采集数据的数值变化与时段的对应关系对时段进行划分，得到不同的多个预设时段，例如划分交易日时段和节假日时段，又例如划分工作时段和休息时段等，关于预设时段的划分可以根据实际情况确定，本实施例对此不作具体限定。
根据预设时段划分信息，对目标监控指标采集数据样本集合进行聚类，也即将目标监控指标采集数据样本集合中的标监控指标采集数据样本按照采集时间进行划分，得到分别与每个预设时段对应的目标监控指标采集数据聚类样本子集，每个目标监控指标采集数据聚类样本子集中包括的目标监控指标采集数据样本的采集时间归属于对应的预设时段。
可选的，采用通用的iForest、Holt-Winters等算法对每个目标监控指标采集数据聚类样本子集中的数据进行聚类操作，以识别出与每个目标监控指标采集数据聚类样本子集中的数据对应的行为类型，也即针对目标监控指标识别出与每个预设时段对应的数据行为特征，例如可以是目标监控指标在每个预设时段中的数值范围，可以是目标监控指标在每个预设时段中的异常概率，等等。
分别根据每个目标监控指标采集数据聚类样本子集对机器学习模型进行训练，得到分别与每个预设时段对应的针对目标监控指标的目标异常检测子模型，也即与各个预设时段的对应的针对目标监控指标的独立异常检测模型，将各个目标异常检测子模型进行二次聚合，得到与目标监控指标匹配的目标异常检测模型，也即组成针对目标监控指标的复合检测模型，用于检测目标监控指标采集数据是否为异常数据。
作为一种可选的实施方式，可以将根据目标监控指标采集数据样本对机器学习模型进行训练，得到与所述目标监控指标匹配的目标异常检测模型，具体为：对与各个监控指标进行聚类，得到至少一个监控指标聚类集合；分别根据与每个监控指标聚类集合匹配的目标监控指标采集数据样本对机器学习模型进行训练，得到分别与各个监控指标聚类集合对应的异常检测模型；确定目标监控指标所归属的目标监控指标聚类集合，将与目标监控指标聚类集合对应的目标异常检测模型作为与目标监控指标匹配的目标异常检测模型。
监控中心服务器对其监控的各个监控指标进行聚类，例如将关联系数较大的一些监控指标聚为同一类，例如，将CPU负载和磁盘输入输出等用于描述设备性能的监控指标聚为同一类，以此得到一个或多个监控指标聚类集合，也即监控指标聚类集合中包括的各个监控指标之间的关联指数是比较大的。
以一个监控指标聚类集合为例，获取与该监控指标聚类集合匹配的目标监控指标采集数据样本，也即获取该监控指标聚类集合中包括的各个目标监控指标分别对应的目标监控指标采集数据样本，并根据这些目标监控指标采集数据样本对机器学习模型进行训练，得到与该监控指标聚类集合对应的异常检测模型。
与该监控指标聚类集合对应的异常检测模型，即为与该监控指标聚类集合中包括的任意一个目标监控指标对应的异常检测模型，可以用于判断与该监控指标聚类集合中包括的各个目标监控指标对应的任意目标监控指标采集数据是否为异常数据。
可选的，在根据与该监控指标聚类集合匹配的目标监控指标采集数据样本，对机器学习模型进行训练时，可以仅使用聚类中心点具有代表性的目标监控指标采集数据样本对对机器学习模型进行训练。其中，具有代表性的目标监控指标采集数据样本可以指的是数值差异性较大的目标监控指标采集数据样本。
S120、在接收到目标监控节点上报的目标监控指标采集数据时，根据所述目标监控指标采集数据更新与目标监控节点对应的目标监控指标时序数据库。
目标监控指标时序数据库，可以指的是针对目标监控指标顺序存储监控数据的数据库。
其中，监控中心服务器接收到的目标监控指标采集数据是目标监控节点在根据与目标监控指标匹配的目标异常检测模型确定目标监控指标采集数据为异常数据时上报给监控中心服务器的。
如果监控中心服务器能够接收到目标监控节点上报的目标监控指标采集数据，则表明目标监控指标采集数据是异常数据，将该目标监控指标采集数据存储至与目标监控节点对应的目标监控指标时序数据库，对该目标监控指标时序数据库进行更新。
S130、在设定时间段内未接收到目标监控节点上报的目标监控指标采集数据时，确定目标监控指标预测数据，并根据目标监控指标预测数据更新与目标监控节点对应的目标监控指标时序数据库。
监控中心服务器配置一个设定时间段，用于监测是否到达超时时间仍未接收到目标监控节点上报的目标监控指标采集数据。
可选的，在监控中心服务器正常运行后，启动一个定时器，根据定时器的计时时间判断是否在设定时间段内未接收到目标监控节点上报的目标监控指标采集数据。如果定时器计时达到与设定时间段对应的超时时间时，则确定在设定时间段内未接收到目标监控节点上报的目标监控指标采集数据时，定时器重新计时。如果定时器计时未到与设定时间段对应的超时时间时，接收到目标监控节点上报的目标监控指标采集数据，定时器也重新计时。
如果在设定时间段内未接收到目标监控节点上报的目标监控指标采集数据时，则表明目标监控节点需要上报的目标监控指标采集数据是正常数据，目标监控节点抑制掉了此次监控数据上报。此时，监控中心服务器确定一个目标监控指标预测数据，用于更新与目标监控节点对应的目标监控指标时序数据库，其中，目标监控指标预测数据为监控中心服务器预测得到的一个与目标监控指标对应的正常数据。
在一示例中，可以将确定目标监控指标预测数据，具体为：根据与目标监控指标匹配的目标异常检测模型确定目标监控指标预测数据。
训练得到的目标异常检测模型除了可以用于检测目标监控指标采集数据是否为异常数据，还可以用于预测与当前时间对应的一个目标监控指标预测数据。可选的，目标异常检测模型根据目标监控指标时序数据库中已有的监控数据预测与当前时间对应的一个目标监控指标预测数据。关于目标异常检测模型的预测算法本实施例不作具体限定。
在确定一个目标监控指标预测数据之后，将该目标监控指标预测数据存储至与目标监控节点对应的目标监控指标时序数据库，对该目标监控指标时序数据库进行更新。
本发明实施例提供的技术方案，目标监控节点在获取到目标监控指标采集数据之后，根据与目标监控指标匹配的目标异常检测模型对该目标监控指标采集数据进行异常检测，当确定该目标监控指标采集数据为异常数据时，才将该目标监控指标采集数据上报给监控中心服务器，监控中心服务器在能够接收到目标监控节点上报的目标监控指标采集数据的情况下，则根据该目标监控指标采集数据对与该目标监控节点对应的目标监控指标时序数据库进行更新，在设定时间段内均未接收到该目标监控节点上报的目标监控指标采集数据的情况下，则确定一个目标监控指标预测数据，并根据该目标监控指标预测数据对与该目标监控节点对应的目标监控指标时序数据库进行更新，以此极大地压缩了需要传输的监控数据量，降低了对数据传输带宽、信道的需求，也降低了数据传输成本。
在上述技术方案的基础上，本实施例提供的数据传输方法，在将与目标监控指标匹配的目标异常检测模型下发至目标监控节点之后，还包括：
在连续接收到目标监控节点上报的目标监控指标采集数据的数量达到设定数量阈值时，对目标异常检测模型重新进行训练，得到与目标监控指标匹配的更新后的目标异常检测模型；将更新后的目标异常检测模型下发至目标监控节点，以使目标监控节点根据更新后的目标异常检测模型对目标监控指标采集数据进行异常检测。
如果监控中心服务器连续多次接收到目标监控节点上报的目标监控指标采集数据，例如连续次数达到设定数量阈值，则表明目标指标的行为特征发生了变化，进而主动触发与目标监控指标匹配的目标异常检测模型的更新。可选的，根据目标监控指标时序数据库中存储的目标监控指标采集数据对目标异常检测模型重新进行训练，得到更新后的目标异常检测模型。
同时，将更新后的目标异常检测模型下发至对应的目标监控节点，以使目标监控节点根据更新后的目标异常检测模型对目标监控指标采集数据进行异常检测。
在上述技术方案的基础上，本实施例提供的数据传输方法，在将与目标监控指标匹配的目标异常检测模型下发至目标监控节点之后，还可以包括：
在达到与目标监控指标对应的预设模型更新周期时，对目标异常检测模型重新进行训练，得到与目标监控指标匹配的更新后的目标异常检测模型；将更新后的目标异常检测模型下发至目标监控节点，以使目标监控节点根据更新后的目标异常检测模型对目标监控指标采集数据进行异常检测。
预设模型更新周期，指的是预设的用于指示对目标异常检测模型进行更新的时间周期。与不同目标监控指标对应的预设模型更新周期可以不同，以此逐批次地进行目标异常检测模型的更新维护。
在对目标异常检测模型进行更新维护之后，将更新后的目标异常检测模型下发至对应的目标监控节点，以使目标监控节点根据更新后的目标异常检测模型对目标监控指标采集数据进行异常检测。
上述技术方案中，对目标异常检测模型进行更新维护，提高了监控中心服务器存储的监控数据的准确性和可信性。
实施例二
图2是本发明实施例二提供的一种数据传输方法的流程图，可适用于大规模IT环境监控指标数据传输量巨大(如千万数量级甚至上亿数量级)的情况，该方法可以由本发明实施例提供的应用于目标监控节点中的数据传输装置来执行，该装置可采用软件和/或硬件的方式实现，并一般可集成在计算机设备中，如监控节点中。
如图2所示，本实施例提供的数据传输方法，应用于目标监控节点，具体包括：
S210、获取目标监控指标采集数据。
S220、根据与目标监控指标匹配的目标异常检测模型对目标监控指标采集数据进行异常检测。
S230、在确定目标监控指标采集数据为异常数据时，将目标监控指标采集数据上报给监控中心服务器。
目标监控节点在获取到目标监控指标采集数据之后，根据与该目标监控指标匹配的目标异常检测模型对目标监控指标采集数据进行异常检测，在确定目标监控指标采集数据为异常数据时，将该目标监控指标采集数据上报给监控中心服务器，在确定目标监控指标采集数据为正常数据时，直接抑制到此次上报操作，也即不将该目标监控指标采集数据上报给监控中心服务器。
可选的，目标异常检测模型是根据大量目标监控指标采集数据样本进行训练后得到的。其中，目标异常检测模型可以是目标监控节点本地训练得到的，也可以是接收由其他监控节点训练生成后发送至目标监控节点本地的。
监控中心服务器实时接收目标监控节点上报的目标监控指标采集数据。在接收到目标监控节点上报的目标监控指标采集数据时，根据所述目标监控指标采集数据更新与目标监控节点对应的目标监控指标时序数据库；在设定时间段内未接收到目标监控节点上报的目标监控指标采集数据时，确定目标监控指标预测数据，并根据目标监控指标预测数据更新与目标监控节点对应的目标监控指标时序数据库。
本发明实施例提供的技术方案，目标监控节点在获取到目标监控指标采集数据之后，根据与目标监控指标匹配的目标异常检测模型对该目标监控指标采集数据进行异常检测，当确定该目标监控指标采集数据为异常数据时，才将该目标监控指标采集数据上报给监控中心服务器，监控中心服务器在能够接收到目标监控节点上报的目标监控指标采集数据的情况下，则根据该目标监控指标采集数据对与该目标监控节点对应的目标监控指标时序数据库进行更新，在设定时间段内均未接收到该目标监控节点上报的目标监控指标采集数据的情况下，则确定一个目标监控指标预测数据，并根据该目标监控指标预测数据对与该目标监控节点对应的目标监控指标时序数据库进行更新，以此极大地压缩了需要传输的监控数据量，降低了对数据传输带宽、信道的需求，也降低了数据传输成本。
作为一种可选的实施方式，本实施例提供的数据传输方法，在根据与所述目标监控指标匹配的目标异常检测模型对目标监控指标采集数据进行异常检测之前，还包括：接收监控中心服务器下发的与目标监控指标匹配的目标异常检测模型；其中，目标异常检测模型为监控中心服务器根据目标监控指标采集数据样本训练得到的。
监控中心服务器根据目标监控指标采集数据样本对机器学习模型进行训练，得到与目标监控指标匹配的目标异常检测模型；将与目标监控指标匹配的目标异常检测模型下发至目标监控节点。目标监控节点给根据监控中心服务器下发的与目标监控指标匹配的目标异常检测模型，对目标监控指标采集数据进行异常检测。
可选的，监控中心服务器获取目标监控指标采集数据样本集合；基于预设时段划分信息，对目标监控指标采集数据样本集合进行聚类，得到分别与每个预设时段对应的目标监控指标采集数据聚类样本子集；分别根据每个目标监控指标采集数据聚类样本子集对机器学习模型进行训练，得到分别与每个预设时段对应的针对目标监控指标的目标异常检测子模型；将各个目标异常检测子模型进行聚合，得到与目标监控指标匹配的目标异常检测模型。
可选的，监控中心服务器对与各个监控指标进行聚类，得到至少一个监控指标聚类集合；分别根据与每个监控指标聚类集合匹配的目标监控指标采集数据样本对机器学习模型进行训练，得到分别与各个监控指标聚类集合对应的异常检测模型；确定目标监控指标所归属的目标监控指标聚类集合，将与目标监控指标聚类集合对应的目标异常检测模型作为与目标监控指标匹配的目标异常检测模型。
作为一种可选的实施方式，本实施例提供的数据传输方法，在接收监控中心服务器下发的与目标监控指标匹配的目标异常检测模型之后，还包括：接收监控中心服务器下发的与目标监控指标匹配的更新后的目标异常检测模型。对应的，目标监控节点根据与目标监控指标匹配的更新后的目标异常检测模型对目标监控指标采集数据进行异常检测。
可选的，监控中心服务器在连续接收到目标监控节点上报的目标监控指标采集数据的数量达到设定数量阈值时，对目标异常检测模型重新进行训练，得到与目标监控指标匹配的更新后的目标异常检测模型，并将更新后的目标异常检测模型下发至目标监控节点，以使目标监控节点根据更新后的目标异常检测模型对目标监控指标采集数据进行异常检测；
可选的，监控中心服务器在达到与目标监控指标对应的预设模型更新周期时，对目标异常检测模型重新进行训练，得到与目标监控指标匹配的更新后的目标异常检测模型，并将更新后的目标异常检测模型下发至目标监控节点，以使目标监控节点根据更新后的目标异常检测模型对目标监控指标采集数据进行异常检测。
本实施例未尽详细解释之处请参见前述实施例，在此不再赘述。
上述技术方案中，对目标异常检测模型进行更新维护，提高了监控中心服务器存储的监控数据的准确性和可信性。
实施例三
图3是本发明实施例三提供的一种数据传输方法的流程图。在上述实施例的基础上，本实施例提供了一种具体的实施方式。
如图3所示，本实施例提供的数据传输方法，具体包括：
S310、监控中心服务器根据目标监控指标采集数据样本对机器学习模型进行训练，得到与目标监控指标匹配的目标异常检测模型。
可选的，监控中心服务器获取目标监控指标采集数据样本集合；基于预设时段划分信息，对目标监控指标采集数据样本集合进行聚类，得到分别与每个预设时段对应的目标监控指标采集数据聚类样本子集；分别根据每个目标监控指标采集数据聚类样本子集对机器学习模型进行训练，得到分别与每个预设时段对应的针对目标监控指标的目标异常检测子模型；将各个目标异常检测子模型进行聚合，得到与目标监控指标匹配的目标异常检测模型。
可选的，监控中心服务器对与各个监控指标进行聚类，得到至少一个监控指标聚类集合；分别根据与每个监控指标聚类集合匹配的目标监控指标采集数据样本对机器学习模型进行训练，得到分别与各个监控指标聚类集合对应的异常检测模型；确定目标监控指标所归属的目标监控指标聚类集合，将与目标监控指标聚类集合对应的目标异常检测模型作为与目标监控指标匹配的目标异常检测模型。
S320、监控中心服务器将与目标监控指标匹配的目标异常检测模型下发至匹配的目标监控节点。
S330、目标监控节点接收与目标监控指标匹配的目标异常检测模型。
S340、目标监控节点在获取目标监控指标采集数据时，根据与目标监控指标匹配的目标异常检测模型对目标监控指标采集数据进行异常检测。
S350、目标监控节点判断目标监控指标采集数据是否为异常数据，若是，则执行S360，若否，则执行S370。
S360、目标监控节点将目标监控指标采集数据上报给监控中心服务器，执行S380。
S370、目标监控节点抑制掉将目标监控指标采集数据上报给监控中心服务器的操作，执行S380。
S380、监控中心服务器接收目标监控节点上报的目标监控指标采集数据。
S390、监控中心服务器判断在设定时间段内是否未接收到目标监控节点上报的目标监控指标采集数据，若是，则执行S3100，若否，则执行S3110。
S3100、监控中心服务器根据与目标监控指标匹配的目标异常检测模型确定目标监控指标预测数据，并根据目标监控指标预测数据更新与目标监控节点对应的目标监控指标时序数据库。
S3110、监控中心服务器根据接收到的目标监控指标采集数据更新与目标监控节点对应的目标监控指标时序数据库。
可选的，监控中心服务器在连续接收到目标监控节点上报的目标监控指标采集数据的数量达到设定数量阈值时，对目标异常检测模型重新进行训练，得到与目标监控指标匹配的更新后的目标异常检测模型，并将更新后的目标异常检测模型下发至目标监控节点，以使目标监控节点根据更新后的目标异常检测模型对目标监控指标采集数据进行异常检测；
可选的，监控中心服务器在达到与目标监控指标对应的预设模型更新周期时，对目标异常检测模型重新进行训练，得到与目标监控指标匹配的更新后的目标异常检测模型，并将更新后的目标异常检测模型下发至目标监控节点，以使目标监控节点根据更新后的目标异常检测模型对目标监控指标采集数据进行异常检测。
本实施例未尽详细解释之处请参见前述实施例，在此不再赘述。
在上述技术方案中，极大地压缩了需要传输的监控数据量，降低了对数据传输带宽、信道的需求，也降低了数据传输成本。同时，对目标异常检测模型进行更新维护，提高了监控中心服务器存储的监控数据的准确性和可信性。
实施例四
图4是本发明实施例四提供的一种数据传输装置的结构示意图，可适用于大规模IT环境监控指标数据传输量巨大(如千万数量级甚至上亿数量级)的情况，该装置可采用软件和/或硬件的方式实现，并一般可集成在计算机设备中，如监控中心服务器。
如图4所示，该数据传输装置，应用于监控中心服务器中，具体包括：数据接收模块410、第一数据更新模块420和第二数据更新模块430。其中，
数据接收模块410，设置为接收目标监控节点上报的目标监控指标采集数据；
第一数据更新模块420，设置为在接收到所述目标监控节点上报的目标监控指标采集数据时，根据所述目标监控指标采集数据更新与目标监控节点对应的目标监控指标时序数据库；其中，所述目标监控指标采集数据为所述目标监控节点在根据与所述目标监控指标匹配的目标异常检测模型确定所述目标监控指标采集数据为异常数据时上报给所述监控中心服务器的；
第二数据更新模块430，设置为在设定时间段内未接收到所述目标监控节点上报的目标监控指标采集数据时，确定目标监控指标预测数据，并根据所述目标监控指标预测数据更新与目标监控节点对应的目标监控指标时序数据库。
本发明实施例提供的技术方案，目标监控节点在获取到目标监控指标采集数据之后，根据与目标监控指标匹配的目标异常检测模型对该目标监控指标采集数据进行异常检测，当确定该目标监控指标采集数据为异常数据时，才将该目标监控指标采集数据上报给监控中心服务器，监控中心服务器在能够接收到目标监控节点上报的目标监控指标采集数据的情况下，则根据该目标监控指标采集数据对与该目标监控节点对应的目标监控指标时序数据库进行更新，在设定时间段内均未接收到该目标监控节点上报的目标监控指标采集数据的情况下，则确定一个目标监控指标预测数据，并根据该目标监控指标预测数据对与该目标监控节点对应的目标监控指标时序数据库进行更新，以此极大地压缩了需要传输的监控数据量，降低了对数据传输带宽、信道的需求，也降低了数据传输成本。
可选的，第二数据更新模块430，具体设置为根据与所述目标监控指标匹配的目标异常检测模型确定目标监控指标预测数据。
可选的，上述装置还包括：模型训练模块和模型下发模块，其中，
模型训练模块，设置为在接收目标监控节点上报的目标监控指标采集数据之前，根据目标监控指标采集数据样本对机器学习模型进行训练，得到与所述目标监控指标匹配的目标异常检测模型；
模型下发模块，设置为将与所述目标监控指标匹配的目标异常检测模型下发至所述目标监控节点。
在一种可选的实施方式中，模型训练模块具体设置为获取目标监控指标采集数据样本集合；基于预设时段划分信息，对所述目标监控指标采集数据样本集合进行聚类，得到分别与每个预设时段对应的目标监控指标采集数据聚类样本子集；分别根据每个所述目标监控指标采集数据聚类样本子集对机器学习模型进行训练，得到分别与每个预设时段对应的针对所述目标监控指标的目标异常检测子模型；将各个所述目标异常检测子模型进行聚合，得到与所述目标监控指标匹配的目标异常检测模型。
在另一种可选的实施方式中，模型训练模块具体设置为对与各个监控指标进行聚类，得到至少一个监控指标聚类集合；分别根据与每个所述监控指标聚类集合匹配的目标监控指标采集数据样本对机器学习模型进行训练，得到分别与各个所述监控指标聚类集合对应的异常检测模型；确定所述目标监控指标所归属的目标监控指标聚类集合，将与所述目标监控指标聚类集合对应的目标异常检测模型作为与所述目标监控指标匹配的目标异常检测模型。
可选的，上述装置还包括：模型更新模块，设置为在将与所述目标监控指标匹配的目标异常检测模型下发至所述目标监控节点之后，在连续接收到所述目标监控节点上报的目标监控指标采集数据的数量达到设定数量阈值时，对所述目标异常检测模型重新进行训练，得到与所述目标监控指标匹配的更新后的目标异常检测模型；将所述更新后的目标异常检测模型下发至所述目标监控节点，以使所述目标监控节点根据所述更新后的目标异常检测模型对目标监控指标采集数据进行异常检测；
和/或，在达到与所述目标监控指标对应的预设模型更新周期时，对所述目标异常检测模型重新进行训练，得到与所述目标监控指标匹配的更新后的目标异常检测模型；将所述更新后的目标异常检测模型下发至所述目标监控节点，以使所述目标监控节点根据所述更新后的目标异常检测模型对目标监控指标采集数据进行异常检测。
上述应用于监控中心服务器中的数据传输装置可执行本发明任意实施例所提供的应用于监控中心服务器中的数据传输方法，具备执行应用于监控中心服务器中的数据传输方法相应的功能模块和有益效果。
实施例五
图5是本发明实施例五提供的一种数据传输装置的结构示意图，可适用于大规模IT环境监控指标数据传输量巨大(如千万数量级甚至上亿数量级)的情况，该装置可采用软件和/或硬件的方式实现，并一般可集成在计算机设备中，如监控节点中。
如图5所示，该数据传输装置，应用于目标监控节点中，具体包括：数据获取模块510、数据异常检测模块520和数据上报模块530。其中，
数据获取模块510，设置为获取目标监控指标采集数据；
数据异常检测模块520，设置为根据与所述目标监控指标匹配的目标异常检测模型对所述目标监控指标采集数据进行异常检测；
数据上报模块530，设置为在确定所述目标监控指标采集数据为异常数据时，将所述目标监控指标采集数据上报给监控中心服务器。
本发明实施例提供的技术方案，目标监控节点在获取到目标监控指标采集数据之后，根据与目标监控指标匹配的目标异常检测模型对该目标监控指标采集数据进行异常检测，当确定该目标监控指标采集数据为异常数据时，才将该目标监控指标采集数据上报给监控中心服务器，监控中心服务器在能够接收到目标监控节点上报的目标监控指标采集数据的情况下，则根据该目标监控指标采集数据对与该目标监控节点对应的目标监控指标时序数据库进行更新，在设定时间段内均未接收到该目标监控节点上报的目标监控指标采集数据的情况下，则确定一个目标监控指标预测数据，并根据该目标监控指标预测数据对与该目标监控节点对应的目标监控指标时序数据库进行更新，以此极大地压缩了需要传输的监控数据量，降低了对数据传输带宽、信道的需求，也降低了数据传输成本。
可选的，上述装置还包括：模型接收模块，设置为在根据与所述目标监控指标匹配的目标异常检测模型对所述目标监控指标采集数据进行异常检测之前，接收所述监控中心服务器下发的与所述目标监控指标匹配的目标异常检测模型；其中，所述目标异常检测模型为所述监控中心服务器根据目标监控指标采集数据样本训练得到的。
可选的，上述装置还包括：模型更新模块，设置为在接收所述监控中心服务器下发的与所述目标监控指标匹配的目标异常检测模型之后，接收所述监控中心服务器下发的与所述目标监控指标匹配的更新后的目标异常检测模型；对应的，数据异常检测模块520，具体设置为根据与所述目标监控指标匹配的更新后的目标异常检测模型对所述目标监控指标采集数据进行异常检测。
上述应用于目标监控节点中的数据传输装置可执行本发明任意实施例所提供的应用于目标监控节点中的数据传输方法，具备执行应用于目标监控节点中的数据传输方法相应的功能模块和有益效果。
实施例六
图6是本发明实施例六提供的一种监控中心服务器的结构示意图。如图6所示，该监控中心服务器包括处理器610、存储器620、输入装置630和输出装置640；监控中心服务器中处理器610的数量可以是一个或多个，图6中以一个处理器610为例；监控中心服务器中的处理器610、存储器620、输入装置630和输出装置640可以通过总线或其他方式连接，图6中以通过总线连接为例。
存储器620作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中应用于监控中心服务器中的数据传输方法对应的程序指令/模块(例如，图4所示的应用于监控中心服务器中的数据传输装置中的数据接收模块410、第一数据更新模块420和第二数据更新模块430)。处理器610通过运行存储在存储器620中的软件程序、指令以及模块，从而执行监控中心服务器的各种功能应用以及数据处理，即实现上述应用于监控中心服务器中的数据传输方法。
存储器620可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据监控中心服务器的使用所创建的数据等。此外，存储器620可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器620可进一步包括相对于处理器610远程设置的存储器，这些远程存储器可以通过网络连接至监控中心服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置630可用于接收输入的数字或字符信息，以及产生与监控中心服务器的用户设置以及功能控制有关的键信号输入。输出装置640可包括显示屏等显示设备。
实施例七
图7是本发明实施例七提供的一种监控节点的结构示意图。如图7所示，该监控节点包括处理器710、存储器720、输入装置730和输出装置740；监控节点中处理器710的数量可以是一个或多个，图7中以一个处理器710为例；监控节点中的处理器710、存储器720、输入装置730和输出装置740可以通过总线或其他方式连接，图7中以通过总线连接为例。
存储器720作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中应用于目标监控节点中的数据传输方法对应的程序指令/模块(例如，图5所示的应用于目标监控节点中的数据传输装置中的数据获取模块510、数据异常检测模块520和数据上报模块530)。处理器710通过运行存储在存储器720中的软件程序、指令以及模块，从而执行监控节点的各种功能应用以及数据处理，即实现上述应用于目标监控节点中的数据传输方法。
存储器720可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据监控节点的使用所创建的数据等。此外，存储器720可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器720可进一步包括相对于处理器710远程设置的存储器，这些远程存储器可以通过网络连接至监控节点。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置730可用于接收输入的数字或字符信息，以及产生与监控节点的用户设置以及功能控制有关的键信号输入。输出装置740可包括显示屏等显示设备。
实施例八
本发明实施例八还提供一种存储有计算机程序的计算机可读存储介质，计算机程序在由计算机处理器执行时用于执行一种数据传输方法，该方法应用于监控中心服务器，包括：
接收目标监控节点上报的目标监控指标采集数据；在接收到所述目标监控节点上报的目标监控指标采集数据时，根据所述目标监控指标采集数据更新与目标监控节点对应的目标监控指标时序数据库；其中，所述目标监控指标采集数据为所述目标监控节点在根据与所述目标监控指标匹配的目标异常检测模型确定所述目标监控指标采集数据为异常数据时上报给所述监控中心服务器的；在设定时间段内未接收到所述目标监控节点上报的目标监控指标采集数据时，确定目标监控指标预测数据，并根据所述目标监控指标预测数据更新与目标监控节点对应的目标监控指标时序数据库。
或者用于执行一种数据传输方法，该方法应用于目标监控节点，包括：
获取目标监控指标采集数据；根据与所述目标监控指标匹配的目标异常检测模型对所述目标监控指标采集数据进行异常检测；在确定所述目标监控指标采集数据为异常数据时，将所述目标监控指标采集数据上报给监控中心服务器。
当然，本发明实施例所提供的存储有计算机程序的计算机可读存储介质，其计算机程序不限于如上的方法操作，还可以执行本发明任意实施例所提供的应用于监控中心服务器的数据传输方法或者应用于目标监控节点中的数据传输方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。
值得注意的是，上述应用于监控中心服务器的数据传输装置或者应用于目标监控节点中的数据传输装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (14)
1.一种数据传输方法，其特征在于，应用于监控中心服务器，包括：
接收目标监控节点上报的目标监控指标采集数据；
在接收到所述目标监控节点上报的目标监控指标采集数据时，根据所述目标监控指标采集数据更新与目标监控节点对应的目标监控指标时序数据库；其中，所述目标监控指标采集数据为所述目标监控节点在根据与所述目标监控指标匹配的目标异常检测模型确定所述目标监控指标采集数据为异常数据时上报给所述监控中心服务器的；
在设定时间段内未接收到所述目标监控节点上报的目标监控指标采集数据时，确定目标监控指标预测数据，并根据所述目标监控指标预测数据更新与目标监控节点对应的目标监控指标时序数据库。
2.根据权利要求1所述的方法，其特征在于，所述确定目标监控指标预测数据，包括：
根据与所述目标监控指标匹配的目标异常检测模型确定目标监控指标预测数据。
3.根据权利要求1所述的方法，其特征在于，在所述接收目标监控节点上报的目标监控指标采集数据之前，还包括：
根据目标监控指标采集数据样本对机器学习模型进行训练，得到与所述目标监控指标匹配的目标异常检测模型；
将与所述目标监控指标匹配的目标异常检测模型下发至所述目标监控节点。
4.根据权利要求3所述的方法，其特征在于，根据目标监控指标采集数据样本对机器学习模型进行训练，得到与所述目标监控指标匹配的目标异常检测模型，包括：
获取目标监控指标采集数据样本集合；
基于预设时段划分信息，对所述目标监控指标采集数据样本集合进行聚类，得到分别与每个预设时段对应的目标监控指标采集数据聚类样本子集；
分别根据每个所述目标监控指标采集数据聚类样本子集对机器学习模型进行训练，得到分别与每个预设时段对应的针对所述目标监控指标的目标异常检测子模型；
将各个所述目标异常检测子模型进行聚合，得到与所述目标监控指标匹配的目标异常检测模型。
5.根据权利要求3所述的方法，其特征在于，根据目标监控指标采集数据样本对机器学习模型进行训练，得到与所述目标监控指标匹配的目标异常检测模型，包括：
对与各个监控指标进行聚类，得到至少一个监控指标聚类集合；
分别根据与每个所述监控指标聚类集合匹配的目标监控指标采集数据样本对机器学习模型进行训练，得到分别与各个所述监控指标聚类集合对应的异常检测模型；
确定所述目标监控指标所归属的目标监控指标聚类集合，将与所述目标监控指标聚类集合对应的目标异常检测模型作为与所述目标监控指标匹配的目标异常检测模型。
6.根据权利要求3所述的方法，其特征在于，在将与所述目标监控指标匹配的目标异常检测模型下发至所述目标监控节点之后，还包括：
在连续接收到所述目标监控节点上报的目标监控指标采集数据的数量达到设定数量阈值时，对所述目标异常检测模型重新进行训练，得到与所述目标监控指标匹配的更新后的目标异常检测模型；
将所述更新后的目标异常检测模型下发至所述目标监控节点，以使所述目标监控节点根据所述更新后的目标异常检测模型对目标监控指标采集数据进行异常检测；
和/或，
在达到与所述目标监控指标对应的预设模型更新周期时，对所述目标异常检测模型重新进行训练，得到与所述目标监控指标匹配的更新后的目标异常检测模型；
将所述更新后的目标异常检测模型下发至所述目标监控节点，以使所述目标监控节点根据所述更新后的目标异常检测模型对目标监控指标采集数据进行异常检测。
7.一种数据传输方法，其特征在于，应用于目标监控节点，包括：
获取目标监控指标采集数据；
根据与所述目标监控指标匹配的目标异常检测模型对所述目标监控指标采集数据进行异常检测；
在确定所述目标监控指标采集数据为异常数据时，将所述目标监控指标采集数据上报给监控中心服务器，以使所述监控中心服务器在接收到所述目标监控节点上报的目标监控指标采集数据时，根据所述目标监控指标采集数据更新与目标监控节点对应的目标监控指标时序数据库；在设定时间段内未接收到所述目标监控节点上报的目标监控指标采集数据时，确定目标监控指标预测数据，并根据所述目标监控指标预测数据更新与目标监控节点对应的目标监控指标时序数据库。
8.根据权利要求7所述的方法，其特征在于，在根据与所述目标监控指标匹配的目标异常检测模型对所述目标监控指标采集数据进行异常检测之前，还包括：
接收所述监控中心服务器下发的与所述目标监控指标匹配的目标异常检测模型；
其中，所述目标异常检测模型为所述监控中心服务器根据目标监控指标采集数据样本训练得到的。
9.根据权利要求8所述的方法，其特征在于，在接收所述监控中心服务器下发的与所述目标监控指标匹配的目标异常检测模型之后，还包括：
接收所述监控中心服务器下发的与所述目标监控指标匹配的更新后的目标异常检测模型；
根据与所述目标监控指标匹配的目标异常检测模型对所述目标监控指标采集数据进行异常检测，包括：
根据与所述目标监控指标匹配的更新后的目标异常检测模型对所述目标监控指标采集数据进行异常检测。
10.一种数据传输装置，其特征在于，应用于监控中心服务器，包括：
数据接收模块，设置为接收目标监控节点上报的目标监控指标采集数据；
第一数据更新模块，设置为在接收到所述目标监控节点上报的目标监控指标采集数据时，根据所述目标监控指标采集数据更新与目标监控节点对应的目标监控指标时序数据库；其中，所述目标监控指标采集数据为所述目标监控节点在根据与所述目标监控指标匹配的目标异常检测模型确定所述目标监控指标采集数据为异常数据时上报给所述监控中心服务器的；
第二数据更新模块，设置为在设定时间段内未接收到所述目标监控节点上报的目标监控指标采集数据时，确定目标监控指标预测数据，并根据所述目标监控指标预测数据更新与目标监控节点对应的目标监控指标时序数据库。
11.一种数据传输装置，其特征在于，应用于目标监控节点，包括：
数据获取模块，设置为获取目标监控指标采集数据；
数据异常检测模块，设置为根据与所述目标监控指标匹配的目标异常检测模型对所述目标监控指标采集数据进行异常检测；
数据上报模块，设置为在确定所述目标监控指标采集数据为异常数据时，将所述目标监控指标采集数据上报给监控中心服务器，以使所述监控中心服务器在接收到所述目标监控节点上报的目标监控指标采集数据时，根据所述目标监控指标采集数据更新与目标监控节点对应的目标监控指标时序数据库；在设定时间段内未接收到所述目标监控节点上报的目标监控指标采集数据时，确定目标监控指标预测数据，并根据所述目标监控指标预测数据更新与目标监控节点对应的目标监控指标时序数据库。
12.一种监控中心服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6中任一所述的方法。
13.一种监控节点，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求7-9中任一所述的方法。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的方法，或者实现如权利要求7-9中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010543927.5A CN111708672B (zh) | 2020-06-15 | 2020-06-15 | 数据传输方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010543927.5A CN111708672B (zh) | 2020-06-15 | 2020-06-15 | 数据传输方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111708672A CN111708672A (zh) | 2020-09-25 |
| CN111708672B true CN111708672B (zh) | 2021-04-16 |
Family
ID=72540246
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010543927.5A Active CN111708672B (zh) | 2020-06-15 | 2020-06-15 | 数据传输方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111708672B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113271440B (zh) * | 2021-05-20 | 2023-06-20 | 浙江宇视科技有限公司 | 移动目标的行动轨迹获得方法、装置、设备及存储介质 |
| CN113254253B (zh) * | 2021-07-14 | 2021-11-02 | 云智慧（北京）科技有限公司 | 一种数据处理方法、系统及设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10289464B1 (en) * | 2018-07-18 | 2019-05-14 | Progressive Casualty Insurance Company | Robust event prediction |
| CN110008079A (zh) * | 2018-12-25 | 2019-07-12 | 阿里巴巴集团控股有限公司 | 监控指标异常检测方法、模型训练方法、装置及设备 |
| CN110865929A (zh) * | 2019-11-26 | 2020-03-06 | 携程旅游信息技术（上海）有限公司 | 异常检测预警方法及系统 |
| CN110990219A (zh) * | 2019-11-22 | 2020-04-10 | 北京浪潮数据技术有限公司 | 一种基于预测模型的计算机监控方法 |
| CN111061620A (zh) * | 2019-12-27 | 2020-04-24 | 福州林科斯拉信息技术有限公司 | 一种混合策略的服务器异常智能检测方法及检测系统 |
| CN111078488A (zh) * | 2018-10-18 | 2020-04-28 | 杭州海康威视数字技术股份有限公司 | 数据采集方法、装置、存储介质及系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10452467B2 (en) * | 2016-01-28 | 2019-10-22 | Intel Corporation | Automatic model-based computing environment performance monitoring |
| CN109934412A (zh) * | 2019-03-18 | 2019-06-25 | 无锡雪浪数制科技有限公司 | 基于时序预测模型的实时设备异常检测装置及方法 |
-
2020
- 2020-06-15 CN CN202010543927.5A patent/CN111708672B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10289464B1 (en) * | 2018-07-18 | 2019-05-14 | Progressive Casualty Insurance Company | Robust event prediction |
| CN111078488A (zh) * | 2018-10-18 | 2020-04-28 | 杭州海康威视数字技术股份有限公司 | 数据采集方法、装置、存储介质及系统 |
| CN110008079A (zh) * | 2018-12-25 | 2019-07-12 | 阿里巴巴集团控股有限公司 | 监控指标异常检测方法、模型训练方法、装置及设备 |
| CN110990219A (zh) * | 2019-11-22 | 2020-04-10 | 北京浪潮数据技术有限公司 | 一种基于预测模型的计算机监控方法 |
| CN110865929A (zh) * | 2019-11-26 | 2020-03-06 | 携程旅游信息技术（上海）有限公司 | 异常检测预警方法及系统 |
| CN111061620A (zh) * | 2019-12-27 | 2020-04-24 | 福州林科斯拉信息技术有限公司 | 一种混合策略的服务器异常智能检测方法及检测系统 |
Non-Patent Citations (1)
| Title |
|---|
| 《面向银行业务的交易量预测与告警研究》;谭荻;《计算机工程与应用》;20191226;第55卷(第12期);220-224 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111708672A (zh) | 2020-09-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112866185B (zh) | 网络流量监控设备和异常流量检测方法 | |
| CN111143163B (zh) | 数据监控方法、装置、计算机设备和存储介质 | |
| US20160055044A1 (en) | Fault analysis method, fault analysis system, and storage medium | |
| CN107992415B (zh) | 一种交易系统的故障定位和分析方法及相关服务器 | |
| CN110825768B (zh) | 一种基于云分析的远程电视异常处理方法及系统 | |
| CN111708672B (zh) | 数据传输方法、装置、设备及存储介质 | |
| CN101783749B (zh) | 一种网络故障定位方法和装置 | |
| CN114267178B (zh) | 一种车站的智能运营维护方法及装置 | |
| CN113438110B (zh) | 一种集群性能的评价方法、装置、设备及存储介质 | |
| CN113313280B (zh) | 云平台的巡检方法、电子设备及非易失性存储介质 | |
| US10516578B2 (en) | Inferring a network topology | |
| KR20170084445A (ko) | 시계열 데이터를 이용한 이상 감지 방법 및 그 장치 | |
| CN113271224A (zh) | 节点的定位方法、装置、存储介质及电子装置 | |
| CN108306997B (zh) | 域名解析监控方法及装置 | |
| WO2023207689A1 (zh) | 一种变更风险评估方法、设备及存储介质 | |
| CN113645305A (zh) | 一种物联网数据的传输节点确定方法及系统 | |
| CN115689320A (zh) | 基站运行的健康管理方法、装置及计算机可读存储介质 | |
| JP7339321B2 (ja) | 機械学習モデル更新方法、コンピュータプログラムおよび管理装置 | |
| CN113254250B (zh) | 数据库服务器异常成因检测方法、装置、设备和存储介质 | |
| CN113612645A (zh) | 一种物联网数据处理方法及系统 | |
| CN110609761B (zh) | 确定故障源的方法、装置、存储介质和电子设备 | |
| CN115545452A (zh) | 运维方法、运维系统、设备及存储介质 | |
| CN113778831A (zh) | 一种数据应用性能分析方法、装置、设备和介质 | |
| CN105897503A (zh) | 基于资源信息增益的Hadoop集群瓶颈检测算法 | |
| CN118519818B (zh) | 一种基于深度递归网络的大数据计算机系统故障检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |