CN115840726A - 一种基于节点串行采集数据处理的方法与装置 - Google Patents

Abstract

本发明提供一种基于节点串行采集数据处理方法及装置，该方法包括：对需要采集的数据进行统计，并进行数据建模，将建模后的数据作为第一结果存储至Mysql数据库；新建边缘端通道，将建模完成的设备点位数据挂载在相对应的通道下，并设置点位采集频率；启动边缘端通道，边缘端根据点位采集频率定时获取点位实时值为第二结果；根据第二结果的点位的路径是否存在于数据库事件监听或业务事件监听中，分别进行存储或发送至消息队列；第三方业务平台监听消息队列，获取数据实时值。本发明可实现数据信息传输的自动化、精确化、定制化的要求，同时也达到了提高效率、节约成本的效果。

Description

一种基于节点串行采集数据处理的方法与装置

技术领域

本发明涉及采集数据处理领域，具体是一种基于节点串行采集数据处理的方法与装置。

背景技术

物联网，是指通过各种信息传感器、射频识别技术、全球定位系统、红外传感器、激光扫描器等各种装置与技术，实时采集任何需要监控、连接、互动的物体或过程，采集其声、光、热、电、力学、化学等各种需要的信息，实现物与物、物与人的泛在连接，实现对物品和过程的智能化感知、识别和管理。随着物联网应用的普及，物联网系统的使用场景越来越复杂，物联网系统中的接入设备也越来越多，这些设备在实现数据采集时需要配置相应的数据采集服务组件，因此，对物联网系统中的多个接入设备进行配置，是物联网系统进行数据采集、处理、推送的重要步骤。

现有技术中，由于物联网的各设备的通信采集数据格式可能并不相同，采集流程也不相同，在对新接入物联网系统的设备进行数据采集后，需要开发人员对数据进行规整、处理，根据业务进行数据整合，对新接入设备的数据格式进行分析，重新开发采集后数据进一步处理单元。这种方式使得当前物联网系统在数据接入单元的开发过程中，开发效率低，软件编程工作量较大，导致开发成本增加，也增长了交付时间。

发明内容

本发明提供了一种基于节点串行采集数据处理方法及装置，包括数据采集、数据处理、数据存储和数据传输，采用多进程多任务的功能模式，解决了现有技术中数据信息量大、数据获取及时性要求高、自动化程度要求高、负载均衡器的能力以及应用的扩展能力均受到限制的技术问题。

一种基于节点串行采集数据处理的方法，包括如下步骤：

对需要采集的数据进行统计，并进行数据建模，将建模后的数据作为第一结果存储至Mysql数据库，所述第一结果包括空间信息、设备信息以及设备下点位的信息；

新建边缘端通道，将建模完成的设备点位数据挂载在相对应的通道下，并设置点位采集频率；

启动边缘端通道，边缘端根据点位采集频率定时获取点位实时值为第二结果，并通过Netty建立长连接的方式，发送至主平台，所述第二结果包含点位的路径以及点位的实时值；

获取第二结果，判断第二结果的点位的路径是否存在于数据库事件监听中，如果存在，则将第二结果中点位的路径以及点位的实时值存储至内存缓存数据库Redis和实时历史数据库Influxdb中，实现多数据库存储；

获取第二结果，判断第二结果的点位的路径是否存在于业务事件监听中，如果存在，则获取每个点位对应的消息队列，将点位的路径以及点位的实时值发送至消息队列；

第三方业务平台监听消息队列，获取数据实时值。

进一步的，所述边缘端通道是指主平台和边缘端之间建立的的传输通道，并进行传输配置，配置完成并开启边缘端时，向主平台发送开始传输信号的一系列流程。

进一步的，所述点位采集频率是指类似于定时器，根据定时器设置的时间频率，边缘端定时采集点位实时数据。

一种基于节点串行采集数据处理的装置，包括：

第一获得单元，用于对需要采集的数据进行统计，并进行数据建模，将建模后的数据作为第一结果存储至Mysql数据库，所述第一结果包括空间信息，设备信息以及设备下点位的信息；

第二获得单元，用于新建边缘端通道，将建模完成的设备点位数据挂载在相对应的通道下，并设置点位采集频率，启动边缘端通道，边缘端根据点位的采集频率定时获取点位实时值为第二结果，并通过Netty建立长连接的方式，发送至主平台，所述第二结果包含点位的路径以及点位的实时值；

数据库事件监听单元，用于获取所述第二获得单元获取的第二结果，判断第二结果中的点位的路径是否存在于数据库事件监听中，如果存在，则将第二结果中点位的路径以及点位的实时值存储至内存数据库Redis和实时历史数据库Influxdb中，实现多数据库存储；

业务事件监听单元，用于获取所述第二获得单元获取的第二结果，判断第二结果中的点位的路径是否存在于业务事件监听中，如果存在，则获取每个点位对应的消息队列，将点位的路径以及点位的实时值发送至消息队列；

第三方监听单元，用于监听消息队列，获取数据实时值。

进一步的，所述边缘端通道是指主平台和边缘端之间建立的的传输通道，并进行传输配置，配置完成并开启边缘端时，向主平台发送开始传输信号的一系列流程。

进一步的，所述点位采集频率是指类似于定时器，根据定时器设置的时间频率，边缘端定时采集点位实时数据。

本发明基于节点串行采集数据处理方法及装置，可实现基础数据采集、存储、通信收发、通信方式分化、通信流程控制、底层协议规整、基础数据整合等网络通信职责，达到了高效传输并充分共享数据信息，实现了数据信息传输的自动化、精确化、定制化的要求，同时也达到了提高效率，节约成本的效果。例如：在整个基础数据采集、存储、与业务平台通信过程中，CPU使用率在40％-100％之间，平均利用率小于85％，符合性能指标。内存使用率最高峰值在66％左右，同时该服务器还有系统资源占据内存，所以实际内存占用率低于66％，小于85％，符合性能指标。同时，在基于100万基础数据的秒级采集、存储、与业务平台通信过程中，峰值速率接近总速率的12.8％，即9Mbps相当于9000kbps，完全满足用户的速率需求(10kbps)。

附图说明

图1为本发明实施例中一种基于节点串行采集数据处理方法的流程示意图；

图2为本发明实施例中一种基于节点串行采集数据处理装置的结构示意图；

图3现有技术基于节点串行采集数据处理装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

图1为本发明实例中一种基于节点串行采集数据处理方法的流程示意图。如图1所示，本申请实施例中的一种采集数据处理方法，应用于一服务器，所述方法包括：

步骤110，首先对需要采集的数据进行统计，并进行数据建模，将建模后的数据存储至Mysql数据库，存储的这些数据为第一结果，所述第一结果包括空间信息、设备信息以及设备下点位的信息。

这里采集的数据信息，需要以一定的方式进行组织、处理和存储，才能有效进行处理和利用。无序的数据信息既不方便信息的存储、传输和处理，更不利于信息的使用。基本的方法是采用实时数据库来存储信息。实时数据库既是信息存储的基本方法，也是信息组织的有效形式，是信息组织和信息存储的有机结合，是设备信息存储的基本方法。实时数据库的一个重要特性就是实时性，包括数据实时性和事务实时性。数据实时性是现场IO数据的更新周期，作为实时数据库，不能不考虑数据实时性。一般数据的实时性主要受现场设备的制约，特别是对于一些比较老的系统而言，情况更是这样。事务实时性是指数据库对其事务处理的速度，它可以是事件触发方式或定时触发方式。事件触发是该事件一旦发生可以立刻获得调度，这类事件可以得到立即处理，但是比较消耗系统资源；而定时触发是在一定时间范围内获得调度权。作为一个完整的实时数据库，从系统的稳定性和实时性而言，必须同时提供两种调度方式。

具体而言，物联网时代数据采集、处理、推送有着广泛的应用，在零售门店、电力巡检、景区管理、生产制造、智慧建筑等领域发挥着重要的作用。

零售门店，用于超市卖场、连锁店、专柜、门店等线下门店的数据采集、处理与推送，帮助门店实现高效便捷的货品出入库管理、库存盘点、调拨、导购等，助力门店实现全方位数字化运营，优化流程，提升效率，增加销量。

电力巡检，在电力巡检工作中的应用主要有数据采集、数据推送、路线安排、工作状态监督、人员巡查、设备监控等方面，可以帮助科学地管理电力设备和进行人员巡检安排，改善工作效率，降低生产运营成本。

景区管理，在景区管理中，常用于检票、票据核对、客流量统计、票据鉴别等环节中，全程电子化操作不仅大幅度减少了工作人员的工作量，提高了工作效率，助力更好地应对节假日高峰客流压力，还加强了门票的防伪管理。适用于游乐场所、旅游景区、博览会等。

生产制造，用于生产制造型企业的仓库管理、流程管控、设备管理、人员追踪等各个环节，以数据为纽带，将生产全流程的人、物、设备相互关联，帮助企业实现高效、精准、智能的业务和人员管理。

智慧建筑，通过采集的数据，感知室内照明情况自动调节光亮度节约能源，同时可实现智能家居、智能安防、远程监控等多位一体功能。

步骤120，新建边缘端通道，将这些建模完成的设备点位数据挂载在相对应的通道下，并设置点位采集频率。

具体而言，所述的边缘端通道是指：主平台和边缘端之间建立的的传输通道，并进行传输配置，配置完成并开启边缘端时，向主平台发送开始传输信号的一系列流程。注意：边缘端通道的创建要根据专业相关，这样方便分专业查看日志输出。所述的根据专业相关是指：每个专业启动一个边缘端通道，可能存在多个通道，通道的标识可以根据专业的唯一标识即可，这样可以清晰的观察每个专业的日志信息。所述的点位采集频率是指类似于定时器，根据定时器设置的时间频率，边缘端定时采集点位实时数据。

步骤130，启动边缘端通道，边缘端根据点位采集频率定时获取点位实时值为第二结果，并通过Netty建立长连接的方式，发送至主平台，所述第二结果包含点位的路径以及点位的实时值；数据处理的基础是数据，数据处理就是对数据的接收、存储、转化、传送和发布等。数据加工是对收集来的数据进行去伪存真、去粗取精、由表及里、由此及彼的加工过程。

数据加工是在原始信息的基础上，生产出价值含量高、方便用户利用的二次信息的活动过程。这一过程将使数据增值。只有在对数据进行适当处理的基础上，才能产生新的、用以指导决策的有效数据。获得数据后，数据都是混乱的，要对数据做一系列处理(重新组合等方式)，将所有的点位数据信息进行加工处理，并产生新的有效的信息。

步骤140，获取第二结果，判断第二结果的点位的路径是否存在于数据库事件监听中，如果存在，则将第二结果中点位的路径以及点位的实时值存储至内存缓存数据库Redis和实时历史数据库Influxdb中，实现多数据库存储；

具体而言，所述数据库存储的数据格式：设备点位的path与设备点位的value。

进一步的，内存缓存是一种通用的设计模式：这种模式一般利用增加存储空间的方式，实现低速部件与高速部件之间的解耦。也就是说，实现了解耦的地方就有存在内存缓存的可能，既然解耦是计算机系统架构设计中最常用的手段，那么内存缓存就必将在IT系统和架构中无处不在，如CPU内部缓存，客户端浏览器缓存，Web服务器缓存，应用程序缓存，数据库缓存等。在各种普遍使用的缓存技术中，基于内存数据库的NoSQL分布式缓存技术在目前的缓存数据库领域得到了广泛的应用。其中最为典型的就是Redis这种高性能分布式内存缓存数据库，一般用来缓存访问的热点数据，减轻物理数据库压力和负载。

Redis支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)和zset(有序集合)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，Redis支持各种不同方式的排序。为了保证效率，数据都是缓存在内存中。区别的是Redis会周期性的使用RDB快照的方式，将更新的数据写入磁盘或者使用类似MySQL的AOF日志方式将修改操作写入追加的记录文件，并且在此基础上实现了master-slave(主从)同步。Redis支持将数据同步到多台从数据库上，这种特性对提高读取性能非常有益。

进一步的，实时历史数据库InfluxDB的一个重要特性就是实时性，包括数据实时性和事务实时性。数据实时性是现场IO数据的更新周期，作为实时数据库，不能不考虑数据实时性。InfluxDB是支持时序数据高效读写、压缩存储、实时计算能力的数据库服务，除了具有成本优势的高性能读、高性能写、高存储率，InfluxDB还具有无系统环境依赖，部署方便；无模式(schema-less)的数据模型，灵活强大；原生HTTP管理接口，免插件配置和免第三方依赖；强大的类SQL查询语句，学习成本低，上手快；丰富的权限管理功能：精细到“表”级别；丰富的时效管理功能：自动删除过期数据，自定义删除指标数据；低成本存储，采样时序数据，压缩存储；丰富的聚合函数，支持AVG、SUM、MAX、MIN等聚合函数。

步骤150，获取第二结果，判断第二结果的点位的路径是否存在于业务事件监听中，如果存在，则获取每个点位对应的消息队列，将点位的路径以及点位的实时值发送至消息队列；

最后，第三方业务平台监听消息队列，获取数据实时值。

具体而言，如果第二结果的点位的路径存在于业务事件的监听中，会主动将点位数据推送至消息队列中，业务平台监听消息队列，获取点位数据的实时值，做后续业务处理。

实施例二

如图2所示，本发明实施例提供一种基于节点串行采集数据处理装置，包括：

第一获得单元，用于对需要采集的数据进行统计，并进行数据建模，将建模后的数据存储至Mysql数据库，存储的这些数据为第一结果，所述第一结果包括空间信息、设备信息以及设备下点位的信息。

第二获得单元，用于新建边缘端通道，将这些建模完成的设备点位数据挂载在相对应的通道下，并设置点位采集频率，启动边缘端通道，边缘端根据点位的采集频率定时获取点位实时值为第二结果，并通过Netty建立长连接的方式，发送至主平台,所述第二结果包含点位的路径以及点位的实时值。

数据库事件监听单元，用于获取所述第二获得单元获取的第二结果，判断第二结果中的点位的路径是否存在于数据库事件监听中，如果存在，则将第二结果中点位的路径以及点位的实时值存储至内存数据库Redis和实时历史数据库Influxdb中，实现多数据库存储；

业务事件监听单元，用于获取所述第二获得单元获取的第二结果，判断第二结果中的点位的路径是否存在于业务事件监听中，如果存在，则获取每个点位对应的消息队列，将点位的路径以及点位的实时值发送至消息队列。

第三方监听单元，用于监听消息队列，获取数据实时值。

如图3所示，现有技术基于节点串行采集数据处理装置提供了一个总线接口306，边缘端接采集到点位的实时数据，发送到总线接口306，给其他的接口监听以及修改数据的方式。处理器302和存储器304监听总线接口306，处理和监听点位的实时数据。这种方式，虽然可以获取到点位的实时数据，但是不能达到点位灵活配置的方式。本发明提供的一种基于节点串行采集数据处理方法及装置，新建边缘端通道，将这些建模完成的设备点位数据挂载在相对应的通道下，并设置点位采集频率，启动边缘端通道，边缘端根据点位的采集频率定时获取点位实时值，可以对点位进行灵活配置。同时，通过Netty建立长连接的方式，发送至主平台，而不是通过提供总线接口的方式。Netty是提供异步的、网络应用程序框架和工具，用以快速开发高性能、高可靠性的网络服务器和客户端，使边缘端发送数据到主平台时，保证数据的稳定性和实时性，证了内存数据库Redis和实时历史数据库Influxdb数据的有效性。

本发明可以在智慧农业中进行应用，增值智慧农业是农业中的智慧经济，或智慧经济形态在农业中的具体表现。智慧农业是智慧经济重要的组成部分；智慧农业是智慧经济主要的组成部分，是发展中国家消除贫困、实现后发优势、经济发展后来居上、实现赶超战略的主要途径。

在农业园区内实现自动信息检测与控制，通过串行采集数据处理方法及装置，采集农业大鹏相关设备点位数据，首先，可以把需要监测的设备点位数据进行统计，如土壤水分、土壤温度、空气温度、空气湿度、光照强度、植物养分含量等点位参数。将这先点位数据存储至Mysql数据库。创建智慧农业相关的边缘端通道，将这些建模完成的设备点位数据挂载在相对应的通道下，并设置点位采集频率，启动边缘端通道，边缘端根据点位的采集频率定时获取农业园区内点位实时值。

边缘端将采集到的点位数据通过Netty建立长连接的方式，发送至主平台,把这些点位数据进行存储，以及发送至消息队列，业务平台通过监听消息队列，获取数据实时值。用户从终端可以查看温室大棚现场的实时数据，并使用远程控制功能通过继电器控制设备或模拟输出模块对温室大棚自动化设备进行控制操作，如自动喷洒系统、自动换气系统、自动浇灌系统。

由无线墒情监测站、苗情监控摄像头、可视化自动虫情测报灯、灾情视频监控摄像机。通过业务平台，用户可以通过移动端和PC端随时随地登陆自己专属的网络客户端，访问田间的实时数据并进行系统管理，对每个监测点的环境、气象、病虫状况、作物生长情况等进行实时监测。

结合系统预警模型，对作物实时远程监测与诊断，并获得智能化、自动化的解决方案，实现作物生长动态监测和人工远程精准管理，保证农作物在适宜的环境条件下生长，提高农业生产力，增加农民收入。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何属于本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (6)

1.一种基于节点串行采集数据处理的方法，其特征在于：包括如下步骤：

对需要采集的数据进行统计，并进行数据建模，将建模后的数据作为第一结果存储至Mysql数据库，所述第一结果包括空间信息、设备信息以及设备下点位的信息；

新建边缘端通道，将建模完成的设备点位数据挂载在相对应的通道下，并设置点位采集频率；

启动边缘端通道，边缘端根据点位采集频率定时获取点位实时值为第二结果，并通过Netty建立长连接的方式，发送至主平台，所述第二结果包含点位的路径以及点位的实时值；

获取第二结果，判断第二结果的点位的路径是否存在于数据库事件监听中，如果存在，则将第二结果中点位的路径以及点位的实时值存储至内存缓存数据库Redis和实时历史数据库Influxdb中，实现多数据库存储；

获取第二结果，判断第二结果的点位的路径是否存在于业务事件监听中，如果存在，则获取每个点位对应的消息队列，将点位的路径以及点位的实时值发送至消息队列；

第三方业务平台监听消息队列，获取数据实时值。

2.如权利要求1所述的基于节点串行采集数据处理的方法，其特征在于：所述边缘端通道是指主平台和边缘端之间建立的的传输通道，并进行传输配置，配置完成并开启边缘端时，向主平台发送开始传输信号的一系列流程。

3.如权利要求1所述的基于节点串行采集数据处理的方法，其特征在于：所述点位采集频率是指类似于定时器，根据定时器设置的时间频率，边缘端定时采集点位实时数据。

4.一种基于节点串行采集数据处理的装置，其特征在于，包括：

第一获得单元，用于对需要采集的数据进行统计，并进行数据建模，将建模后的数据作为第一结果存储至Mysql数据库，所述第一结果包括空间信息，设备信息以及设备下点位的信息；

第二获得单元，用于新建边缘端通道，将建模完成的设备点位数据挂载在相对应的通道下，并设置点位采集频率，启动边缘端通道，边缘端根据点位的采集频率定时获取点位实时值为第二结果，并通过Netty建立长连接的方式，发送至主平台，所述第二结果包含点位的路径以及点位的实时值；

数据库事件监听单元，用于获取所述第二获得单元获取的第二结果，判断第二结果中的点位的路径是否存在于数据库事件监听中，如果存在，则将第二结果中点位的路径以及点位的实时值存储至内存数据库Redis和实时历史数据库Influxdb中，实现多数据库存储；

业务事件监听单元，用于获取所述第二获得单元获取的第二结果，判断第二结果中的点位的路径是否存在于业务事件监听中，如果存在，则获取每个点位对应的消息队列，将点位的路径以及点位的实时值发送至消息队列；

第三方监听单元，用于监听消息队列，获取数据实时值。

5.如权利要求4所述的基于节点串行采集数据处理的装置，其特征在于：所述边缘端通道是指主平台和边缘端之间建立的的传输通道，并进行传输配置，配置完成并开启边缘端时，向主平台发送开始传输信号的一系列流程。

6.如权利要求4所述的基于节点串行采集数据处理的装置，其特征在于：所述点位采集频率是指类似于定时器，根据定时器设置的时间频率，边缘端定时采集点位实时数据。

Images