CN111092751A - 监控数据处理方法及装置 - Google Patents

Abstract

本发明提供了一种监控数据处理方法及装置，该方法包括：确定处理不同业务类型的监控数据需要的切片资源，所述切片资源是对物理资源进行切片获得的；基于不同业务类型的监控数据需要的切片资源，调用不同业务类型对应的采集微服务，采集不同业务类型的监控数据；基于不同业务类型的监控数据需要的切片资源，调用不同业务类型对应的数据汇聚微服务，将采集的不同业务类型的监控数据汇聚至监控平台；基于不同业务类型的监控数据需要的切片资源，调用不同业务类型对应的异常分析微服务，对汇聚至监控平台的不同业务类型的监控数据进行异常分析，获得不同业务类型的异常分析结果。本发明可以在有限的物理资源下快速地处理监控数据。

Description

监控数据处理方法及装置

技术领域

本发明涉及互联网领域，尤其涉及一种监控数据处理方法及装置。

背景技术

在施工现场，会有多项的信息采集和监控内容，如：对现场环境的数据采集及监控(如温湿度的采集、现场是否存在火警)、对作业人员的监控(如是否佩戴安全帽、是否按照规范的操作规程)等，首先通过不同传感器或监控设备对这些数据进行采集，再将数据通过各种传输方式进行汇聚，并通过网络传递给中央监控平台，由平台进行监控和预警。

随着技术的发展，监控数据量越来越大，且不同的监控数据的响应要求不同，这些监控数据是需要通过公用的物理资源来处理的，在有限的共用物理资源下，可能导致某些重要的监控数据未及时处理，而没有及时预警，因此，如何在有限的物理资源下，快速处理这些监控数据，成为一个亟需解决的技术问题。

发明内容

本发明实施例提出一种监控数据处理方法，用以在有限的物理资源下快速地处理监控数据，该方法包括：

确定处理不同业务类型的监控数据需要的切片资源，所述切片资源是对物理资源进行切片获得的；

基于不同业务类型的监控数据需要的切片资源，调用不同业务类型对应的采集微服务，采集不同业务类型的监控数据；

基于不同业务类型的监控数据需要的切片资源，调用不同业务类型对应的数据汇聚微服务，将采集的不同业务类型的监控数据汇聚至监控平台；

基于不同业务类型的监控数据需要的切片资源，调用不同业务类型对应的异常分析微服务，对汇聚至监控平台的不同业务类型的监控数据进行异常分析，获得不同业务类型的异常分析结果。

本发明实施例提出一种监控数据处理装置，用以在有限的物理资源下快速地处理监控数据，该装置包括：

切片资源确定模块，用于确定处理不同业务类型的监控数据需要的切片资源，所述切片资源是对物理资源进行切片获得的；

采集模块，用于基于不同业务类型的监控数据需要的切片资源，调用不同业务类型对应的采集微服务，采集不同业务类型的监控数据；

汇聚模块，用于基于不同业务类型的监控数据需要的切片资源，调用不同业务类型对应的数据汇聚微服务，将采集的不同业务类型的监控数据汇聚至监控平台；

处理模块，用于基于不同业务类型的监控数据需要的切片资源，调用不同业务类型对应的异常分析微服务，对汇聚至监控平台的不同业务类型的监控数据进行异常分析，获得不同业务类型的异常分析结果。

本发明实施例还提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述监控处理方法。

本发明实施例还提出了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述监控处理方法的计算机程序。

在本发明实施例中，确定处理不同业务类型的监控数据需要的切片资源，所述切片资源是对物理资源进行切片获得的；基于不同业务类型的监控数据需要的切片资源，调用不同业务类型对应的采集微服务，采集不同业务类型的监控数据；基于不同业务类型的监控数据需要的切片资源，调用不同业务类型对应的数据汇聚微服务，将采集的不同业务类型的监控数据汇聚至监控平台；基于不同业务类型的监控数据需要的切片资源，调用不同业务类型对应的异常分析微服务，对汇聚至监控平台的不同业务类型的监控数据进行异常分析，获得不同业务类型的异常分析结果。在上述过程中，确定了处理不同业务类型的监控数据需要的切片资源，使得基于切片资源进行监控数据采集、汇聚和处理时，不同业务类型的监控数据之间互不影响，可提高不同业务类型的监控数据的处理效率，避免了紧急重要的监控数据处理因为其他不紧急的监控数据处理受到影响，实现了在有限的物理资源下快速地处理监控数据；且在数据采集、汇聚和处理时，分别调用不同业务类型对应的采集微服务、数据汇聚微服务和异常分析微服务，可进一步提高数据采集、汇聚和处理的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本发明实施例中监控数据处理方法的示意图；

图2为本发明实施例中监控处理与切片资源的对应关系；

图3为本发明实施例提出的监控数据处理方法的详细流程图；

图4为本发明实施例中监控数据处理装置的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

在本说明书的描述中，所使用的“包含”、“包括”、“具有”、“含有”等，均为开放性的用语，即意指包含但不限于。参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”等的描述意指结合该实施例或示例描述的具体特征、结构或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本申请的实施，其中的步骤顺序不作限定，可根据需要作适当调整。

图1为本发明实施例中监控数据处理方法的示意图，如图1所示，该监控数据处理方法包括：

步骤101，确定处理不同业务类型的监控数据需要的切片资源，所述切片资源是对物理资源进行切片获得的；

步骤102，基于不同业务类型的监控数据需要的切片资源，调用不同业务类型对应的采集微服务，采集不同业务类型的监控数据；

步骤103，基于不同业务类型的监控数据需要的切片资源，调用不同业务类型对应的数据汇聚微服务，将采集的不同业务类型的监控数据汇聚至监控平台；

步骤104，基于不同业务类型的监控数据需要的切片资源，调用不同业务类型对应的异常分析微服务，对汇聚至监控平台的不同业务类型的监控数据进行异常分析，获得不同业务类型的异常分析结果。

在本发明实施例中，确定了处理不同业务类型的监控数据需要的切片资源，使得基于切片资源进行监控数据采集、汇聚和处理时，不同业务类型的监控数据之间互不影响，可提高不同业务类型的监控数据的处理效率，避免了紧急重要的监控数据处理因为其他不紧急的监控数据处理受到影响，实现了在有限的物理资源下快速地处理监控数据；且在数据采集、汇聚和处理时，分别调用不同业务类型对应的采集微服务、数据汇聚微服务和异常分析微服务，可进一步提高数据采集、汇聚和处理的效率。

在一实施例中，所述业务类型包括温度及湿度监控业务、报警器监控业务、作业人员操作监控业务中的其中一种或任意组合。

在上述实施例中，温度及湿度监控业务、报警器监控业务、作业人员操作监控业务主要是施工现场的监控业务，在其他场合也可以有其他监控系统，如银行等场地，相关变化例均应落入本发明的保护范围。而在施工现场，报警器可以为烟火报警器等。作业人员操作监控业务可以指在施工现场的作业人员按照操作规程进行操作的监控业务。

在一实施例中，所述物理资源包括计算资源、传输资源和存储资源。

在上述实施例中，计算资源可以是云服务器或边缘计算服务器的CPU、内存等，传输资源可以是网关、链路等资源。

在步骤101中，切片资源是对物理资源进行切片获得的，即对物理资源进行切片，获得多个切片资源，而不同的切片资源的大小等特征是不同的。

具体实施时，确定处理不同业务类型的监控数据需要的切片资源的方法有多种，下面给出其中一个实施例。

在一实施例中，确定处理不同业务类型的监控数据需要的切片资源，包括：

确定不同业务类型的监控数据的处理要求；

根据不同业务类型的处理要求，确定不同业务类型的监控数据的处理方式；

根据不同业务类型的监控数据的处理方式，确定处理不同业务类型的监控数据需要的切片资源。

在上述实施例中，在确定不同业务类型的监控数据的处理要求之前，需要确定待采集的监控数据的业务类型，例如，在一次监控数据处理的案例中，业务类型包括温度及湿度监控业务、报警器监控业务、作业人员操作监控业务，作业人员操作监控业务一般是通过高清摄像头采集的。然后，确定不同业务类型的监控数据的处理要求，处理要求包括采集要求、传输量要求和实时性要求，当然，也可以有多种其他的要求。对于温度、湿度等基础监控数据，采集要求为定时采集，可以保证监控数据的连续性，传输量要求为传输数据量小，因此对传输带宽要求低，实时性要求为实时性要求不高。对于报警器监控业务的监控数据来说，采集要求为持续性采集，传输量要求为传输量小，实时性要求为实时性非常高。对于作业人员操作监控业务的监控数据来说，采集要求为持续采集，传输量要求为传输数据量大，实时性要求为根据实际情况确定，有的监控数据实时性要求高，有的监控数据实时性要求低。

然后，根据不同业务类型的处理要求，确定不同业务类型的监控数据的处理方式，例如，在上述监控数据处理的案例中，对于温度及湿度监控业务，分配较少的物理资源对该业务的监控数据的采集、传输和异常分析即可；对于报警器监控业务，在采集、传输和异常分析时同样需要较少的物理资源，但是由于报警器业务重要程度比较高，需要冗余与备份一些资源；对于作业人员操作监控业务，需要分配大量的物理资源进行监控数据采集、传输和异常分析。

物理资源中的计算资源包括云服务器中的计算资源和边缘计算服务器中的计算资源，为了减轻云服务器的负担，同时减轻数据量的传输，对于可增加边缘计算服务器，对监控数据进行异常分析，然后，将边缘计算服务器处理后的异常分析结果发送至云服务器。在作业人员操作监控业务中，需要分配大量的物理资源进行监控数据采集、传输和异常分析，例如，施工现场位于野外，传输的带宽受限很大，因此，传输需要的物理资源较多那么可以在采集了监控数据后，先将作业人员操作监控业务的监控数据传输至边缘计算服务器，然后调用作业人员操作监控业务对应的异常分析微服务，对边缘计算服务器进行异常分析，然后将异常分析结果发送至云服务器。

在确定了上述的不同业务类型的监控数据的处理方式，确定处理不同业务类型的监控数据需要的切片资源。切片资源是将物理资源进行切片划分获得的，最后划分的切片包括多个，且每个切片的大小也各不相同，可根据实际情况定制。图2为本发明实施例中监控处理与切片资源的对应关系。例如，对于温度及湿度监控业务，处理方式为分配较少的物理资源对该业务的监控数据的采集、传输和异常分析即可，需要的采集、传输和异常分析的切片资源为较小的切片资源，分别为图2中的切片资源1、4、8；对于报警器监控业务，处理方式为需要较少的物理资源，但是需要冗余与备份一些资源，因此需要的采集、传输和异常分析的切片资源为比温度及湿度监控业务较大的切片资源，分别为图2中的切片资源2、5、9；对于作业人员操作监控业务，需要分配大量的物理资源进行监控数据采集、传输和异常分析，且为了及时处理监控数据并提高处理效率，需要的切片资源包括较大的数据采集所用切片资源3、将监控数据传输至云服务器的较大的切片资源6、将监控数据传输至边缘计算服务器的较小的切片资源7、在云服务器上进行异常分析的较大的切片资源10、在边缘计算服务器上进行异常分析的较小的切片资源11。

上述切片资源逻辑隔离，互不影响，在调用不同业务类型对应的微服务时，使得各个微服务实用的物理资源相互隔离，这样对于重要程度较高的监控数据，不会被其他监控数据影响而影响采集、传输与异常分析的效率。

另外，在上述实施例中，基于不同业务类型的监控数据需要的切片资源，调用不同业务类型对应的异常分析微服务，对汇聚至监控平台的不同业务类型的监控数据进行异常分析，获得不同业务类型的异常分析结果，包括通过监控数据获得异常数据，然后调用报警微服务，在异常数据的值超过设定阈值时，产生报警信息，从而有利于施工现场的安全。具体实施时，根据需要对微服务进行弹性的扩缩容，从而实现对各类数据的处理。

同时，监控平台也可以包括多个异常分析微服务，调用不同业务类型对应的异常分析微服务，对汇聚至监控平台的不同业务类型的监控数据进行异常分析，监控平台可以调用子微服务参与数据的异常分析，以提高异常分析效率和灵活性，相关变化例均应落入本发明的保护范围。

在步骤102中，不同业务类型对应不同的采集微服务，这些采集微服务可以预先根据不同业务类型的采集特点进行实现，业务类型的采集特点包括采集时刻、采集数据量大小、采集地点、采集方式(拍照、录像)等，提前实现好的微服务进行了集成、打包，方便调用，效率高。同理，步骤103和步骤104中，不同业务类型也对应了不同的数据汇聚微服务、异常分析微服务，有的微服务可以针对多种不同的业务类型，均可灵活定制。

基于上述实施例，本发明提出如下一个实施例来说明监控数据处理方法的详细流程，图3为本发明实施例提出的监控数据处理方法的详细流程图，如图3所示，在一实施例中，监控数据处理方法的详细流程包括：

步骤301，确定不同业务类型的监控数据的处理要求；

步骤302，根据不同业务类型的处理要求，确定不同业务类型的监控数据的处理方式；

步骤303，根据不同业务类型的监控数据的处理方式，确定处理不同业务类型的监控数据需要的切片资源；

步骤304，基于不同业务类型的监控数据需要的切片资源，调用不同业务类型对应的采集微服务，采集不同业务类型的监控数据；

步骤305，基于不同业务类型的监控数据需要的切片资源，调用不同业务类型对应的数据汇聚微服务，将采集的不同业务类型的监控数据汇聚至监控平台；

步骤306，基于不同业务类型的监控数据需要的切片资源，调用不同业务类型对应的异常分析微服务，对汇聚至监控平台的不同业务类型的监控数据进行异常分析，获得不同业务类型的异常分析结果。

当然，可以理解的是，上述监控数据处理方法的详细流程还可以有其他变化例，相关变化例均应落入本发明的保护范围。

综上所述，在本发明实施例提出的方法中，确定处理不同业务类型的监控数据需要的切片资源，所述切片资源是对物理资源进行切片获得的；基于不同业务类型的监控数据需要的切片资源，调用不同业务类型对应的采集微服务，采集不同业务类型的监控数据；基于不同业务类型的监控数据需要的切片资源，调用不同业务类型对应的数据汇聚微服务，将采集的不同业务类型的监控数据汇聚至监控平台；基于不同业务类型的监控数据需要的切片资源，调用不同业务类型对应的异常分析微服务，对汇聚至监控平台的不同业务类型的监控数据进行异常分析，获得不同业务类型的异常分析结果。在上述过程中，确定了处理不同业务类型的监控数据需要的切片资源，使得基于切片资源进行监控数据采集、汇聚和处理时，不同业务类型的监控数据之间互不影响，可提高不同业务类型的监控数据的处理效率，避免了紧急重要的监控数据处理因为其他不紧急的监控数据处理受到影响，实现了在有限的物理资源下快速地处理监控数据；且在数据采集、汇聚和处理时，分别调用不同业务类型对应的采集微服务、数据汇聚微服务和异常分析微服务，可进一步提高数据采集、汇聚和处理的效率。

基于同样的发明构思，本发明实施例还提供了一种监控数据处理装置，如下面的实施例所述。由于这些解决问题的原理与监控数据处理方法相似，因此装置的实施可以参见方法的实施，重复之处不在赘述。

图4为本发明实施例中监控数据处理装置的示意图，如图4所示，该装置包括：

切片资源确定模块401，用于确定处理不同业务类型的监控数据需要的切片资源，所述切片资源是对物理资源进行切片获得的；

采集模块402，用于基于不同业务类型的监控数据需要的切片资源，调用不同业务类型对应的采集微服务，采集不同业务类型的监控数据；

汇聚模块403，用于基于不同业务类型的监控数据需要的切片资源，调用不同业务类型对应的数据汇聚微服务，将采集的不同业务类型的监控数据汇聚至监控平台；

处理模块404，用于基于不同业务类型的监控数据需要的切片资源，调用不同业务类型对应的异常分析微服务，对汇聚至监控平台的不同业务类型的监控数据进行异常分析，获得不同业务类型的异常分析结果。

在一实施例中，切片资源确定模块401具体用于：

确定不同业务类型的监控数据的处理要求；

根据不同业务类型的处理要求，确定不同业务类型的监控数据的处理方式；

根据不同业务类型的监控数据的处理方式，确定处理不同业务类型的监控数据需要的切片资源。

在一实施例中，所述业务类型包括温度及湿度监控业务、报警器监控业务、作业人员操作监控业务中的其中一种或任意组合。

在一实施例中，所述物理资源包括计算资源、传输资源和存储资源。

综上所述，在本发明实施例提出的装置中，确定处理不同业务类型的监控数据需要的切片资源，所述切片资源是对物理资源进行切片获得的；基于不同业务类型的监控数据需要的切片资源，调用不同业务类型对应的采集微服务，采集不同业务类型的监控数据；基于不同业务类型的监控数据需要的切片资源，调用不同业务类型对应的数据汇聚微服务，将采集的不同业务类型的监控数据汇聚至监控平台；基于不同业务类型的监控数据需要的切片资源，调用不同业务类型对应的异常分析微服务，对汇聚至监控平台的不同业务类型的监控数据进行异常分析，获得不同业务类型的异常分析结果。在上述过程中，确定了处理不同业务类型的监控数据需要的切片资源，使得基于切片资源进行监控数据采集、汇聚和处理时，不同业务类型的监控数据之间互不影响，可提高不同业务类型的监控数据的处理效率，避免了紧急重要的监控数据处理因为其他不紧急的监控数据处理受到影响，实现了在有限的物理资源下快速地处理监控数据；且在数据采集、汇聚和处理时，分别调用不同业务类型对应的采集微服务、数据汇聚微服务和异常分析微服务，可进一步提高数据采集、汇聚和处理的效率。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种监控数据处理方法，其特征在于，包括：

确定处理不同业务类型的监控数据需要的切片资源，所述切片资源是对物理资源进行切片获得的；

基于不同业务类型的监控数据需要的切片资源，调用不同业务类型对应的采集微服务，采集不同业务类型的监控数据；

基于不同业务类型的监控数据需要的切片资源，调用不同业务类型对应的数据汇聚微服务，将采集的不同业务类型的监控数据汇聚至监控平台；

基于不同业务类型的监控数据需要的切片资源，调用不同业务类型对应的异常分析微服务，对汇聚至监控平台的不同业务类型的监控数据进行异常分析，获得不同业务类型的异常分析结果。

2.如权利要求1所述的监控数据处理方法，其特征在于，确定处理不同业务类型的监控数据需要的切片资源，包括：

确定不同业务类型的监控数据的处理要求；

根据不同业务类型的处理要求，确定不同业务类型的监控数据的处理方式；

根据不同业务类型的监控数据的处理方式，确定处理不同业务类型的监控数据需要的切片资源。

3.如权利要求1所述的监控数据处理方法，其特征在于，所述业务类型包括温度及湿度监控业务、报警器监控业务、作业人员操作监控业务中的其中一种或任意组合。

4.如权利要求1所述的监控数据处理方法，其特征在于，所述物理资源包括计算资源、传输资源和存储资源。

5.一种监控数据处理装置，其特征在于，包括：

切片资源确定模块，用于确定处理不同业务类型的监控数据需要的切片资源，所述切片资源是对物理资源进行切片获得的；

采集模块，用于基于不同业务类型的监控数据需要的切片资源，调用不同业务类型对应的采集微服务，采集不同业务类型的监控数据；

汇聚模块，用于基于不同业务类型的监控数据需要的切片资源，调用不同业务类型对应的数据汇聚微服务，将采集的不同业务类型的监控数据汇聚至监控平台；

处理模块，用于基于不同业务类型的监控数据需要的切片资源，调用不同业务类型对应的异常分析微服务，对汇聚至监控平台的不同业务类型的监控数据进行异常分析，获得不同业务类型的异常分析结果。

6.如权利要求5所述的监控数据处理装置，其特征在于，切片资源确定模块具体用于：

确定不同业务类型的监控数据的处理要求；

根据不同业务类型的处理要求，确定不同业务类型的监控数据的处理方式；

根据不同业务类型的监控数据的处理方式，确定处理不同业务类型的监控数据需要的切片资源。

7.如权利要求5所述的监控数据处理装置，其特征在于，所述业务类型包括温度及湿度监控业务、报警器监控业务、作业人员操作监控业务中的其中一种或任意组合。

8.如权利要求5所述的监控数据处理装置，其特征在于，所述物理资源包括计算资源、传输资源和存储资源。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4任一项所述方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至4任一项所述方法的计算机程序。

Images