CN114090395A - 传感器数据处理方法和设备 - Google Patents

Abstract

本申请提供了一种传感器数据处理方法和设备，其中，该方法包括：边缘计算节点获取至少一种传感器采集的监控数据，对监控数据进行数据分析，得到分析结果，将监控数据以预设日志格式通过流处理的方式发送给云端服务节点，使得云端服务节点解析预设日志格式的监控数据得到监控数据，并对监控数据进行统计分析。通过流处理的方式发送预设日志格式的监控数据，延时小并且发送给云端服务节点的数据在格式上是统一的，提高了云端服务节点在统计分析的处理速度，此外，边缘计算节点对监控数据进行分析，进一步减小了云端服务节点的处理压力。

Description

传感器数据处理方法和设备

技术领域

本申请涉及计算机技术领域，具体而言，涉及一种传感器数据处理方法和设备。

背景技术

在智慧城市中，传感器、摄像头、无线设备、数据中心的网络构成了关键的基础架构，能够给用户以更快、更有效的方式提供基本服务，因此更加智能化地提高用户需求就显得尤其重要。

目前，一般采用环境监控传感器对各监测点的环境进行实时分析和监控，并由云端对监测数据进行分析，以在各监测点的环境出现异常或者监测设备故障时能及时响应，为工作人员及时采取必要的应急措施提供决策支持。

然而，由云端对海量监测数据进行分析，处理速度不佳，并且一旦云端计算故障，产生的影响较大。

发明内容

本申请的目的在于，针对上述现有技术中的不足，提供一种传感器数据处理方法和设备，以解决现有技术中云端处理速度不佳的问题。

为实现上述目的，本申请实施例采用的技术方案如下：

第一方面，本申请一实施例提供了一种传感器数据处理方法，应用于边缘计算节点，所述方法包括：

获取至少一种传感器采集的监控数据；

对所述监控数据进行数据分析，得到分析结果；

将所述监控数据以预设日志格式通过流处理的方式发送给云端服务节点，使得所述云端服务节点解析所述预设日志格式的监控数据得到所述监控数据，并对所述监控数据进行统计分析。

在一种可能的实施方式中，所述边缘计算节点部署为集群系统中处理节点的容器，所述集群系统包括：主节点和所述处理节点；

所述对所述监控数据进行数据分析，得到分析结果，包括：

通过所述处理节点的多个容器上部署的数据流处理服务分别对所述监控数据进行数据分析，得到所述分析结果。

在一种可能的实施方式中，所述云端服务节点部署为所述主节点的容器，所述主节点的容器上部署有日志系统和数据分析服务；

所述将所述监控数据以预设日志格式通过流处理的方式发送给云端服务节点，使得所述云端服务节点解析所述预设日志格式的监控数据得到所述监控数据，并对所述监控数据进行统计分析，包括：

通过流处理的方式向所述日志系统推送所述预设日志格式的监控数据，使得所述日志系统将所述预设日志格式的监控数据存储在分布式搜索中间件中，所述数据分析服务从所述分布式搜索中间件中获取所述预设日志格式的监控数据，并对所述监控数据进行统计分析。

在一种可能的实施方式中，所述对所述监控数据进行数据分析，得到分析结果之后，还包括：

若所述分析结果指示所述监控数据不满足预设条件，则通过消息队列遥测传输服务将报警信息推送给监控设备进行显示。

第二方面，本申请另一实施例提供了一种传感器数据处理方法，应用于云端服务节点，所述方法包括：

接收边缘计算节点发送的预设日志格式的监控数据；

对所述预设日志格式的监控数据进行解析，得到所述监控数据；

对所述监控数据进行统计分析，得到统计结果。

在一种可能的实施方式中，所述对所述监控数据进行统计分析，得到统计结果之后，还包括：

将所述统计结果推送给监控设备进行显示。

在一种可能的实施方式中，所述边缘计算节点部署为集群系统中处理节点的容器，所述集群系统包括：主节点和所述处理节点，所述云端服务节点部署为所述主节点的容器，所述主节点的容器上部署有日志系统和数据分析服务；

所述对所述预设日志格式的监控数据进行解析，得到所述监控数据，包括：

通过所述日志系统将所述预设日志格式的监控数据存储至分布式搜索中间件中；

通过所述数据分析服务从所述分布式搜索中间件中获取所述预设日志格式的监控数据，并对所述预设日志格式的监控数据进行解析，得到所述监控数据；

所述对所述监控数据进行统计分析，得到统计结果，包括：

对所述监控数据进行统计分析，得到所述监控数据对应的周期性变换结果、异常事件的发生概率以及发生时间；

确定所述周期性变换结果、所述异常事件的发生概率以及所述发生时间为所述统计结果。

在一种可能的实施方式中，所述主节点的容器上还部署有监控系统；所述方法还包括：

通过所述监控系统从所述边缘计算节点拉取所述边缘计算节点对应的资源使用数据；

将所述资源使用数据推送给监控设备进行显示。

第三方面，本申请另一实施例提供了一种传感器数据处理装置，所述装置包括：

获取模块，用于获取至少一种传感器采集的监控数据；

处理模块，用于对所述监控数据进行数据分析，得到分析结果；

发送模块，用于将所述监控数据以预设日志格式通过流处理的方式发送给云端服务节点，使得所述云端服务节点解析所述预设日志格式的监控数据得到所述监控数据，并对所述监控数据进行统计分析。

第四方面，本申请另一实施例提供了一种传感器数据处理装置，所述装置包括：

接收模块，用于接收边缘计算节点发送的预设日志格式的监控数据；

处理模块，用于对所述预设日志格式的监控数据进行解析，得到所述监控数据；

对所述监控数据进行统计分析，得到统计结果。

第五方面，本申请另一实施例提供了一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的计算机程序，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述处理器执行所述计算机程序，以执行第一方面任一项所述的方法。

第六方面，本申请另一实施例提供了一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的计算机程序，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述处理器执行所述计算机程序，以执行第二方面任一项所述的方法。

第七方面，本申请另一实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行第一方面和第二方面任一项所述的方法。

本申请的有益效果是：

本申请提供的传感器数据处理方法和设备，其中，该方法包括：边缘计算节点获取至少一种传感器采集的监控数据，对监控数据进行数据分析，得到分析结果，将监控数据以预设日志格式通过流处理的方式发送给云端服务节点，使得云端服务节点解析预设日志格式的监控数据得到监控数据，并对监控数据进行统计分析。通过流处理的方式发送预设日志格式的监控数据，延时小并且发送给云端服务节点的数据在格式上是统一的，提高了云端服务节点在统计分析的处理速度，此外，边缘计算节点对监控数据进行分析，进一步减小了云端服务节点的处理压力。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的传感器数据处理方法的系统框架图；

图2为本申请实施例提供的传感器数据处理方法的流程示意图一；

图3为本申请实施例提供的传感器数据处理方法的流程示意图二；

图4为本申请实施例提供的传感器数据处理方法的流程示意图三；

图5为本申请实施例提供的传感器数据处理装置的结构示意图一；

图6为本申请实施例提供的传感器数据处理装置的结构示意图二；

图7为本申请实施例提供的计算机设备的结构示意图一；

图8为本申请实施例提供的计算机设备的结构示意图二。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。 应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。 此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。

另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。

在介绍本申请的技术方案之前，首先对本申请涉及的背景技术进行具体说明：

云计算是一种数据中心，通过互联网来提供动态易扩展且经常虚拟化的资源，海量的计算资源和存储资源，使得云端可以为环境监控的复杂计算提供强有力的后台支持，并且云端的虚拟化、可靠性和高可扩展性等特点也为复杂任务的计算提供了极大的便捷。然而，海量的物联网终端设备直接访问云端的方式在带来计算便利的同时，也增加了网络负荷和数据传输延迟，这对延时敏感型业务造成了一定影响。

边缘计算是继云计算之后的一种新型的计算模式，用于边缘计算的服务器并没有像云计算的服务器那么强大，它是把众多数据计算处理程序分解到各节点中，相比云计算故障所产生的影响更小，同时解决了设备热问题，其拥有更多的节点来负载流量使得数据传输更快、减小延迟、提高网络运营效率、提高业务分发能力、优化终端体验质量。

本申请结合云计算和边缘计算的思路，提出了一种基于边缘云服务架构的传感器数据处理方法，通过边缘计算节点提供边缘支持，且利用的云端海量数据存储能力，提高了系统的有效性和可靠性，以及，通过流处理的方式发送预设日志格式的监控数据，延时小并且发送给云端服务节点的数据在格式上是统一的，提高了云端服务节点在统计分析的处理速度，此外，边缘计算节点对监控数据进行分析，进一步减小了云端服务节点的处理压力。

图1为本申请实施例提供的传感器数据处理方法的系统框架图，如图1所示，该系统包括：终端设备100、边缘计算节点200、云端服务节点300、监控设备400以及传感器，其中，监控设备500可以为边缘计算节点200所对应的计算机设备，也可以为独立为边缘计算节点和云端服务节点的第三方计算机设备。

传感器用于从终端设备100所在环境采集监控数据，并将监控数据上传给边缘计算节点200，其中，边缘计算节点200提供数据流处理服务，数据流处理服务对监控数据进行数据分析，并在分析结果指示监控数据不满足预设条件时，通过消息队列遥测传输（Message Queuing Telemetry Transport，MQTT）服务推送报警信息给监控设备500进行显示。其中，在传感器采集监控数据之前可以配置相应的软件开发工具包（SoftwareDevelopment Kit，SDK）。

云端服务节点300提供日志系统（如ELK日志系统）、数据分析服务以及数据库（如Hbase），边缘计算节点200将监控数据以预设日志格式通过流处理的方式上报给云端服务节点300中的日志系统，日志系统4001将预设日志格式的监控数据存储到分布式搜索中间件中，数据分析服务从分布式搜索中间件中读取预设日志格式的监控数据，并对预设日志格式的监控数据进行解析，得到监控数据，之后对监控数据进行统计分析，并将统计结果推送给监控设备400进行显示。

由于预设日志格式的监控数据的数量巨大且处于持续增长的状态，数据分析服务还可以将从分布式中间件读取的预设日志格式的监控数据存储到Hbase数据库中，然后从Hbase数据库中读取一定数量的预设日志格式的监控数据进行解析。

需要说明的是，边缘计算节点200可以部署为集群系统（如Kubernetes）中处理节点（如Kubernetes Node）的容器，云端服务节点300可以部署为集群系统中主节点（如Kubernetes Master）的容器，主节点的容器上还部署有监控系统还部署有监控系统（如Prometheus），用于从边缘计算节点200拉取资源使用数据，并将资源使用数据推送到监控设备400进行显示。

其中，Kubernetes是一个分布式集群系统，包括主节点（Master）和处理节点（Node），其中，Kubernetes 将容器视为一个 Pod，一个pod 包含容器，容器化部署轻量级、快速和易于迁移。

采用处理节点作为服务的载具，并采用多副本的形式进行容器化部署，即将边缘计算节点200部署为处理节点的容器，在处理节点的多个容器上同时运行数据流处理服务，这样，数据流处理服务不会因为某个容器宕机而无法运行，从而提供了一种复制机制，允许某个容器在损坏时还能在另外容器上运行服务，提到了系统的高可用性。

另外，在运行容器的情况下，如果需要更新数据流服务的版本，可以发出滚动更新指令以逐一更新服务版本，从而允许服务继续运行而不会停机。

需要说明的是，Kubernetes可以提供有多个处理节点，每个处理节点上部署有多个pod，Kubernetes提供负载平衡机制，自动使用资源利用率较低的pod作为目标pod，并在目标pod的容器上运行数据流处理服务，以达到高使用率和高负载之间的最佳权衡，其中，pod上可以运行有网页显示服务、关系型数据库管理系统（MySQL）、MQTT服务、数据流处理服务（如以YoMo为主的边缘计算低时延流式 Serverless 开发框架）。

在一种可能的实施方式中，边缘计算节点200的数据流处理服务从传感器接收监控数据，对监控数据进行数据分析，并在分析结果指示监控数据不满足预设条件时，将分析结果存储在关系型数据库管理系统MySQL，之后将MySQL中的分析结果推送给监控设备400进行显示。

下面结合上述图1示出的系统框架中描述的内容，对本申请实施例提供的传感器数据处理方法进行详细说明。

图2为本申请实施例提供的传感器数据处理方法的流程示意图一，其中，边缘计算节点部署在靠近传感器一侧的计算机设备上，云端服务节点部署在云端计算机设备上。

如图2所示，该方法包括：

S101、边缘计算节点获取至少一种传感器采集的监控数据。

S102、边缘计算节点对监控数据进行数据分析，得到分析结果。

S103、边缘计算节点将监控数据以预设日志格式通过流处理的方式发送给云端服务节点。

至少一种传感器包括但不限于：光敏传感器、声敏传感器、气敏传感器、化学传感器以及力学传感器。其中，至少一种传感器可以设置于待监测终端设备所在环境中，以采集终端设备所在环境的监控数据，例如生产终端设备的工厂车间的湿度。

至少一种传感器将采集的监控数据发送给边缘计算节点，相应地，边缘计算节点接收至少一种传感器发送的监控数据，并对监控数据进行数据分析，得到分析结果，其中，边缘计算节点对监控数据进行数据分析包括判断监控数据是否满足预设条件，预设条件包括未超过预设阈值，该预设阈值可以为设定的环境阈值，即终端设备所在环境是否符合要求，若不满足预设条件，则监控数据超过预设阈值，说明终端设备所在环境不符合要求，若满足预设条件，则监控数据未超过预设阈值，说明终端设备所在环境符合要求。

其中，预设条件还可以包括与标准监控数据的差距不超过预设差距，与标准监控数据的差距可以为均方差或者差值，标准监控数据可以为标准环境下采集的监控数据。

边缘计算节点还可以将监控数据以预设日志格式通过流处理的方法发送给云端服务节点，也就是说，按照统一的日志格式将监控数据转换为预设日志格式的监控数据，并向云端服务节点发送预设日志格式的监控数据，相应地，云端服务节点接收边缘计算节点发送的预设日志格式的监控数据。

S104、云端服务节点对预设日志格式的监控数据进行解析，得到监控数据。

S105、云端服务节点对监控数据进行统计分析，得到统计结果。

云端服务节点对接收到的预设日志格式的监控数据进行解析，得到监控数据，并对监控数据进行统计分析，得到统计结果，其中，云端服务节点对监控数据进行统计分析包括云端服务节点对预设时间段内的监控数据进行大数据分析，例如监控数据为湿度，大数据分析包括统计一个小时内的湿度变化曲线、湿度平均值等。

在一种可能的实施方式中，步骤S105，云端服务节点对监控数据进行统计分析，得到统计结果之后，还包括：

云端服务节点将统计结果推送给监控设备进行显示。

其中，监控设备可以为边缘计算节点所对应的计算机设备，也可以为独立为边缘计算节点和云端服务节点的第三方计算机设备，本实施例对监控设备的具体实现不做限制。

监控设备提供有监控网页，云端服务节点将统计结果推送给监控设备，在监控网页上进行显示，这样提供了一种可视化方式呈现统计结果，便于直观查看对于监控数据的统计结果，便于用户及时采取必要的应急措施，例如统计结果包括一小时内的湿度变化情况，若变化幅度不满足要求，则可以人工调整对应环境的湿度，以避免影响工业生产。

在本实施例的传感器数据处理方法中，边缘计算节点通过流处理的方式发送预设日志格式的监控数据，延时小并且发送给云端服务节点的数据在格式上是统一的，提高了云端服务节点在统计分析的处理速度，此外，边缘计算节点对监控数据进行分析，进一步减小了云端服务节点的处理压力。

下面结合集群系统对本申请实施例提供的传感器数据处理方法的一种可能的实施方式进行详细说明。

图3为本申请实施例提供的传感器数据处理方法的流程示意图二，其中，边缘计算节点部署为集群系统中处理节点的容器，处理节点的容器上分别部署有数据流处理服务，集群系统包括：主节点和处理节点，云端服务节点部署为主节点的容器，主节点的容器上部署有日志系统和数据分析服务。其中，处理节点部署在靠近传感器一侧的计算机设备上，主节点部署在云端计算机设备上。

如图3所示，该方法包括：

S201、边缘计算节点获取至少一种传感器采集的监控数据。

S202、边缘计算节点通过处理节点的多个容器上部署的数据流处理服务分别对监控数据进行数据分析，得到分析结果。

至少一种传感器将采集的监控数据发送给边缘计算节点，边缘计算节点对监控数据进行数据分析得到分析结果，在一种可能的实施方式中，边缘计算节点部署为集群系统（如Kubernetes）中处理节点的容器，处理节点上运行有多个容器，其中，多个容器上分别部署有数据流处理服务，边缘计算节点通过多个容器上部署的数据流处理服务分别对监控数据进行数据分析，得到分析结果，如此，通过多容器运行数据流服务的方式，避免了某个容器宕机而无法运行，允许某个容器在损坏时还能在另外容器上运行服务，提到了系统的高可用性。

在一种可能的实施方式中，步骤S202，边缘计算节点对监控数据进行数据分析，得到分析结果之后，还包括：

S203、若分析结果指示监控数据不满足预设条件，则通过消息队列遥测传输服务将报警信息推送给监控设备进行显示。

其中，对监控数据进行数据分析包括判断监控数据是否满足预设条件，预设条件可以包括未超过设定的预设阈值，或者与标准监控数据的差距不超过预设差距。

若分析结果指示监控数据满足预设条件，则监控数据未超过设定的预设阈值或者与标准监控数据的差距不超过预设差距，若分析结果指示监控数据不满足预设条件，则监控数据超过设定的预设阈值或者与标准监控数据的差距超过预设差距，则还可以通过消息队列遥测传输服务MQTT服务将报警信息推送给监控设备进行显示，该报警信息用于指示监控数据不满足预设条件。

需要说明的是，数据流处理服务可以通过以YOTO为主的边缘计算低延时流式无服务器运算（Serverless computing， Serverless）开发框架实现，基于基于UDP的低时延的互联网传输层协议（Quick UDP Internet Connection，QUIC） Transport 协议通讯，简化构建可靠、安全的低时延计算应用的复杂度，释放实时计算价值，通过接收传感器的监控数据，根据预定的预设阈值，监测异常环境数据，即时实现报警信息的推送。

另外，MQTT 表示消息队列传输，用于物联网机器Socket通信，由于MQTT协议内容精简，适合处理器资源和网络带宽有限的物联网设备。由于MQTT和超文本传输协议（HyperText Transfer Protocol，HTTP）均采用的是传输控制协议/网际协议（TransmissionControl Protocol/Internet Protocol，TCP/IP）协议，那么边缘计算节点可以使用现有的网络基础设施和设备，但在互联网上流动的消息格式和应用处理机制不同，现有的HTTP请求指令头部信息过多，对于物联网应用来说消耗了网络带宽。

S204、边缘计算节点通过流处理的方式向日志系统推送预设日志格式的监控数据。

边缘计算节点将监控数据以预设日志格式通过流处理的方式发送给云端服务节点，在一种可能的实施方式中，边缘计算节点通过流处理的方式向云端服务节点的日志系统推送预设日志格式的监控数据，使得日志系统将预设日志格式的监控数据存储在分布式搜索中间件中，数据分析服务分布式搜索中间件中获取预设日志格式的监控数据，并对监控数据进行统计分析。

S205、云端服务节点通过日志系统将预设日志格式的监控数据存储至分布式搜索中间件中。

其中，云端服务节点部署为主节点的容器，主节点的容器上部署有日志系统和数据分析服务，边缘计算节点通过数据流处理服务将所述预设日志格式的监控数据推送给日志系统，日志系统可以为ELK日志系统，也就是说，边缘计算节点将当前采集的监控数据以日志形式记录在云端日志系统中，云端服务节点可以通过日志系统将预设日志格式的监控数据存储至分布式搜索中间件中。将预设日志格式的监控数据存储到分布式搜索中间件有利于横向扩展，增加吞吐量，并且在分布式搜索中间件中进行数据索引时，便于支持大数量的检索且高效。

S206、云端服务节点通过数据分析服务从分布式搜索中间件中获取预设日志格式的监控数据，并对预设日志格式的监控数据进行解析，得到监控数据。

S207、云端服务节点对监控数据进行统计分析，得到监控数据对应的周期性变换结果、异常事件的发生概率以及发生时间。

S208、云端服务节点确定周期性变换结果、异常事件的发生概率以及发生时间为统计结果。

数据分析服务可以通过Spark大数据处理框架实现，云端服务节点通过数据分析服务从分布式搜索中间件中获取预设日志格式的监控数据，并对预设日志格式的监控数据进行解析，得到监控数据，然后对监控数据进行统计分析，得到监控数据对应的周期性变换结果、异常事件的发生概率以及发生时间，然后确定周期性变换结果、异常事件的发生概率以及发生时间为统计结果。

其中，周期性变换结果包括监控数据的周期性统计数据，例如一段时间内的湿度变化数据、一段时间内的湿度平均值等，异常事件的发生概率和发生时间可以为基于一段时间的监控数据预估出的异常事件的发生概率以及异常事件的发生时间，例如，将一段时间的监控数据输入到预先训练的异常事件预估模型中，得到异常事件的发生概率以及发生时间，其中，异常事件包括但不限于湿度值过低或过高，或者还可以根据一段时间的监控数据以及监控数据对应的发生时间进行分析，以确定异常事件的发生概率以及发生时间，监控数据对应的发生时间可以为传感器采集到监控数据的时间。

需要说明的是，还可以将从分布式中间件读取的预设日志格式的监控数据存储到Hbase数据库中，再对Hbase数据库中的预设日志格式的监控数据进行解析得到一段时间的监控数据，再对一段时间的监控数据进行统计分析，得到统计结果。另外，云端服务节点进行数据统计过程中产生的日志数据可以存储在ELK日志系统中。

在一种可能的实施方式中，云端服务节点对监控数据进行统计分析，得到统计结果之后，还包括：

云端服务节点将统计结果推送给监控设备进行显示。

其中，监控设备提供有监控网页，云端服务节点将统计结果可以推送给监控设备，在监控网页上显示该统计结果，通过可视化的方式便于用户及时获知对于监控数据的统计情况，例如，一段时间内的湿度变化数据中在凌晨2点湿度均偏低，那么用户可以特别关注凌晨两点的监控情况，在出现异常情况时可以及时参与处理。

需要说明的是，云端服务节点在集群系统中主节点部署为容器，边缘计算节点在集群系统中处理节点部署为容器，为避免运行在容器上的应用发生迁移，还可以将集群系统中的处理节点和主节点设置为互相不可调度，以保证边缘计算节点和云端服务节点的稳定且互不影响。

在本实施例的传感器数据处理方法中，采用集群系统的方式部署，应用基于容器多副本方式部署大大减少了云传输和存储负载的数量，且减少前期基础设施成本，并且实现了系统的有效性和可靠性。

图4为本申请实施例提供的传感器数据处理方法的流程示意图三，如图4所示，该方法还包括：

S301、云端服务节点通过监控系统从边缘计算节点拉取边缘计算节点对应的资源使用数据。

S302、云端服务节点将资源使用数据推送给监控设备进行显示。

集群系统中主节点的容器上还部署有监控系统（如Prometheus），云端服务节点可以通过该监控系统从边缘计算节点拉取边缘计算节点对应的资源使用数据，并将拉取的资源使用数据推送给监控设备进行显示，其中，监控系统可以定时从边缘计算节点拉取资源使用数据。

需要说明的是，监控设备提供有监控页面，云服务节点将资源使用数据推送给监控设备，在监控页面上进行显示，便于用户直观获知边缘计算节点的资源使用情况，并基于资源使用情况预估环境周期性的变化以及优化系统性能等。

其中，边缘计算节点对应的资源使用数据包括：节点资源使用数据和部署在边缘计算节点对应容器上各服务和系统的资源使用数据，其中，节点资源使用数据包括但不限于处理器使用数据、内存使用数据、磁盘使用数据，各服务和系统的资源使用数据包括但不限于各服务和系统的内存使用数据、网络利用率、启动时长和功耗。需要说明的是，边缘计算节点对应容器为集群系统中处理节点的容器，部署在处理节点的容器上的服务和系统包括但不限于网页显示服务、MySQL、MQTT服务、数据流处理服务。

当然，监控系统还可以拉取集群系统的负载以及集群系统的网络输入量和网络输出量，以便及时调整集群系统以提高集群系统的性能。

在本实施例的传感器数据处理方法中，采用监控系统对集群系统的资源使用情况进行评估和测量，便于获知监控集群系统的资源占用情况。

图5为本申请实施例提供的传感器数据处理装置的结构示意图一，该装置集成在边缘计算节点中。如图5所示，该装置包括：

获取模块401，用于获取至少一种传感器采集的监控数据；

处理模块402，用于对所述监控数据进行数据分析，得到分析结果；

发送模块403，用于将所述监控数据以预设日志格式通过流处理的方式发送给云端服务节点，使得所述云端服务节点解析所述预设日志格式的监控数据得到所述监控数据，并对所述监控数据进行统计分析。

在一种可能的实施方式中，所述边缘计算节点部署为集群系统中处理节点的容器，所述集群系统包括：主节点和所述处理节点；

所述处理模块402，具体用于：

通过所述处理节点的多个容器上部署的数据流处理服务分别对所述监控数据进行数据分析，得到所述分析结果。

在一种可能的实施方式中，所述云端服务节点部署为所述主节点的容器，所述主节点的容器上部署有日志系统和数据分析服务；

所述发送模块403，具体用于：

通过流处理的方式向所述日志系统推送所述预设日志格式的监控数据，使得所述日志系统将所述预设日志格式的监控数据存储在分布式搜索中间件中，所述数据分析服务从所述分布式搜索中间件中获取所述预设日志格式的监控数据，并对所述监控数据进行统计分析。

在一种可能的实施方式中，所述发送模块403，还用于：

若所述分析结果指示所述监控数据不满足预设条件，则通过消息队列遥测传输服务将报警信息推送给监控设备进行显示。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中边缘计算节点所执行方法中的相关说明，这里不再详述。

图6为本申请实施例提供的传感器数据处理装置的结构示意图二，该装置集成在云端服务节点中。如图6所示，该装置包括：

接收模块501，用于接收边缘计算节点发送的预设日志格式的监控数据；

处理模块502，用于对所述预设日志格式的监控数据进行解析，得到所述监控数据；

对所述监控数据进行统计分析，得到统计结果。

在一种可能的实施方式中，还包括：

发送模块503，用于将所述统计结果推送给监控设备进行显示。

在一种可能的实施方式中，所述边缘计算节点部署为集群系统中处理节点的容器，所述集群系统包括：主节点和所述处理节点，所述云端服务节点部署为所述主节点的容器，所述主节点的容器上部署有日志系统和数据分析服务；

所述处理模块502，具体用于：

通过所述日志系统将所述预设日志格式的监控数据存储至分布式搜索中间件中；

通过所述数据分析服务从所述分布式搜索中间件中获取所述预设日志格式的监控数据，并对所述预设日志格式的监控数据进行解析，得到所述监控数据；

对所述监控数据进行统计分析，得到所述监控数据对应的周期性变换结果、异常事件的发生概率以及发生时间；

确定所述周期性变换结果、所述异常事件的发生概率以及所述发生时间为所述统计结果。

在一种可能的实施方式中，所述主节点的容器上还部署有监控系统；

还包括：

获取模块504，用于通过所述监控系统从所述边缘计算节点拉取所述边缘计算节点对应的资源使用数据；

发送模块503，还用于将所述资源使用数据推送给监控设备进行显示。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中云端服务节点所执行方法中的相关说明，这里不再详述。

图7为本申请实施例提供的计算机设备的结构示意图一，如图7所示，包括：处理器601、存储器602和总线603，所述存储器602存储有所述处理器601可执行的计算机程序，当计算机设备运行时，所述处理器601与所述存储器602之间通过总线603通信，所述处理器601执行所述计算机程序，以执行上述方法实施例中边缘计算节点所执行方法。

图8为本申请实施例提供的计算机设备的结构示意图二，如图8所示，包括：处理器701、存储器702和总线703，所述存储器702存储有所述处理器701可执行的计算机程序，当计算机设备运行时，所述处理器701与所述存储器702之间通过总线703通信，所述处理器701执行所述计算机程序，以执行上述方法实施例中云端服务节点所执行方法。

本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本申请中不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，RandomAccess Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。

Claims (10)

1.一种传感器数据处理方法，其特征在于，应用于边缘计算节点，所述方法包括：

获取至少一种传感器采集的监控数据；

对所述监控数据进行数据分析，得到分析结果；

将所述监控数据以预设日志格式通过流处理的方式发送给云端服务节点，使得所述云端服务节点解析所述预设日志格式的监控数据得到所述监控数据，并对所述监控数据进行统计分析。

2.根据权利要求1所述的方法，其特征在于，所述边缘计算节点部署为集群系统中处理节点的容器，所述集群系统包括：主节点和所述处理节点；

所述对所述监控数据进行数据分析，得到分析结果，包括：

通过所述处理节点的多个容器上部署的数据流处理服务分别对所述监控数据进行数据分析，得到所述分析结果。

3.根据权利要求2所述的方法，其特征在于，所述云端服务节点部署为所述主节点的容器，所述主节点的容器上部署有日志系统和数据分析服务；

所述将所述监控数据以预设日志格式通过流处理的方式发送给云端服务节点，使得所述云端服务节点解析所述预设日志格式的监控数据得到所述监控数据，并对所述监控数据进行统计分析，包括：

通过流处理的方式向所述日志系统推送所述预设日志格式的监控数据，使得所述日志系统将所述预设日志格式的监控数据存储在分布式搜索中间件中，所述数据分析服务从所述分布式搜索中间件中获取所述预设日志格式的监控数据，并对所述监控数据进行统计分析。

4.根据权利要求1或2所述的方法，其特征在于，所述对所述监控数据进行数据分析，得到分析结果之后，还包括：

若所述分析结果指示所述监控数据不满足预设条件，则通过消息队列遥测传输服务将报警信息推送给监控设备进行显示。

5.一种传感器数据处理方法，其特征在于，应用于云端服务节点，所述方法包括：

接收边缘计算节点发送的预设日志格式的监控数据；

对所述预设日志格式的监控数据进行解析，得到所述监控数据；

对所述监控数据进行统计分析，得到统计结果。

6.根据权利要求5所述的方法，其特征在于，所述对所述监控数据进行统计分析，得到统计结果之后，还包括：

将所述统计结果推送给监控设备进行显示。

7.根据权利要求5所述的方法，其特征在于，所述边缘计算节点部署为集群系统中处理节点的容器，所述集群系统包括：主节点和所述处理节点，所述云端服务节点部署为所述主节点的容器，所述主节点的容器上部署有日志系统和数据分析服务；

所述对所述预设日志格式的监控数据进行解析，得到所述监控数据，包括：

通过所述日志系统将所述预设日志格式的监控数据存储至分布式搜索中间件中；

通过所述数据分析服务从所述分布式搜索中间件中获取所述预设日志格式的监控数据，并对所述预设日志格式的监控数据进行解析，得到所述监控数据；

所述对所述监控数据进行统计分析，得到统计结果，包括：

对所述监控数据进行统计分析，得到所述监控数据对应的周期性变换结果、异常事件的发生概率以及发生时间；

确定所述周期性变换结果、所述异常事件的发生概率以及所述发生时间为所述统计结果。

8.根据权利要求7所述的方法，其特征在于，所述主节点的容器上还部署有监控系统；所述方法还包括：

通过所述监控系统从所述边缘计算节点拉取所述边缘计算节点对应的资源使用数据；

将所述资源使用数据推送给监控设备进行显示。

9.一种计算机设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的计算机程序，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述处理器执行所述计算机程序，以执行权利要求1至4任一项所述的方法。

10.一种计算机设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的计算机程序，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述处理器执行所述计算机程序，以执行权利要求5至8任一项所述的方法。

Images