CN116074399A - 基于可视化配置灵活接入的数据采集及控制系统与方法 - Google Patents

Abstract

本发明属于数据采集及控制技术领域，为解决硬件接入高度依赖编程实现，接入流程复杂且内置规约单一的问题，提供了一种基于可视化配置灵活接入的数据采集及控制系统与方法。其中，基于可视化配置灵活接入的数据采集及控制系统包括感知终端设备、网络传输设备、数据处理设备和控制显示终端；感知终端设备用于感知监测点数据；网络传输设备中的下行通信接口模块内集成有若干预设通信规约，用于对各个感知终端设备的通信规约进行个性化配置；上行通信接口模块通过适配器封装成一个统一形式的接口类，用于将各个感知终端设备相匹配的通信规约转换成统一通信规约传输至数据处理设备。该系统实现了可视化灵活快速接入各种硬件设备的目的。

Description

基于可视化配置灵活接入的数据采集及控制系统与方法

技术领域

本发明属于数据采集及控制技术领域，尤其涉及一种基于可视化配置灵活接入的数据采集及控制系统与方法。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

数据采集与控制平台的基本任务是物理信号(电压/电流)的产生或测量，必要时使用传感器把物理信号转换成电信号(电压或电流信号)，有时不能把被测信号直接连接到数据采集卡，而必须使用信号调理辅助电路，先将信号进行一定的处理。总之，数据采集与控制平台是在硬件板卡/远程采集模块的基础上借助软件来控制整个系统的工作包括采集原始数据、分析数据、给出结果等。

目前市场上硬件数据采集和控制平台主要存在以下问题：硬件接入高度依赖编程实现，接入环节多，接入流程复杂，并且实现接入后代码不可复用，比较浪费开发资源；而且目前的平台适用于单一业务和场景，内置规约单一，主要为对应领域的国标或自定义规约标准，缺乏可拓展性，通讯协议兼容性低，使用传统TCP等通讯协议，服务器资源占用率高，并且横向可拓展性弱，无法满足高并发场景下持续提供稳定服务的能力。

发明内容

为了解决上述背景技术中存在的技术问题，本发明提供一种基于可视化配置灵活接入的数据采集及控制系统与方法，其能够可视化灵活快速接入各种硬件设备且通信协议可拓展性强。

为了实现上述目的，本发明采用如下技术方案：

本发明的第一个方面提供了一种基于可视化配置灵活接入的数据采集及控制系统。

一种基于可视化配置灵活接入的数据采集及控制系统，其包括：

感知终端设备，其布设在预设监测点处，用于感知监测点数据；

网络传输设备，其包括下行通信接口模块和上行通信接口模块；所述下行通信接口模块内集成有若干预设通信规约，用于对各个感知终端设备的通信规约进行个性化配置；所述上行通信接口模块通过适配器封装成一个统一形式的接口类，用于将各个感知终端设备相匹配的通信规约转换成统一通信规约传输至数据处理设备；

数据处理设备，其用于对感知终端设备上报的相应监测点数据进行解码及分流处理；

控制显示终端，其用于基于预设需求对感知终端设备的运行状态或采集任务进行配置并向感知终端设备下发运行控制指令或采集任务指令，以及实时展示解码及分流处理后的相应监测点数据。

作为一种实施方式，在所述下行通信接口模块中，对各个感知终端设备的通信规约进行个性化配置的过程包括：

从预设通信规约数据库中调取出与各个感知终端设备相兼容的通信协议；

根据调取的通信协议，确定出相应编码格式及消息帧结构，最终形成相应通信规约。

作为一种实施方式，所述网络传输设备还包括物联网网关，所述物联网网关用于初步处理上行通信接口模块传送的监测点数据并将初步处理结果传送至数据处理设备。

作为一种实施方式，所述物联网网关内有边缘计算模型，用于初步处理感知终端设备的监测点数据以及分发控制显示终端向感知终端设备下发的控制指令。

作为一种实施方式，所述控制显示终端包括终端可视化配置模块及实时展示模块，所述终端可视化配置模块用于基于预设需求对终端设备的运行状态或采集任务进行配置，所述实时展示模块用于实时展示解码及分流处理后的相应监测点数据。

作为一种实施方式，所述终端可视化配置模块采用组织结构树形式存储所有感知终端设备的相关信息。

作为一种实施方式，所述控制显示终端包括异常与告警模块，用于可视化展示监测点数据的异常类型并进行告警。

作为一种实施方式，在所述异常与告警模块中，通过设备类型的属性配置异常数据监测的阈值。

作为一种实施方式，在所述异常与告警模块中，通过设定需要监测的属性与其取值来构建规则引擎，基于运行过程中的规则引擎监测异常数据，自动转发至报警消息队列并进行实时展示。

本发明的第二个方面提供了一种基于可视化配置灵活接入的数据采集及控制方法。

一种基于可视化配置灵活接入的数据采集及控制方法，包括：

控制显示终端基于预设需求依次通过数据处理设备和网络传输设备对感知终端设备的运行状态或采集任务进行配置并向感知终端设备下发运行控制指令或采集任务指令；

布设在预设监测点处的感知终端设备，接收控制显示终端下发的指令并执行相应任务；

当感知终端设备执行采集监测点数据任务时，感知终端设备将其所采集的监测点数据依次通过网络传输设备和数据处理设备传送至控制显示终端，进行实时展示处理后的相应监测点数据；

其中，网络传输设备中的下行通信接口模块内集成有若干预设通信规约，用于对各个感知终端设备的通信规约进行个性化配置；网络传输设备中的上行通信接口模块通过适配器封装成一个统一形式的接口类，用于将各个感知终端设备相匹配的通信规约转换成统一通信规约传输至数据处理设备。

与现有技术相比，本发明的有益效果是：

（1）本发明将若干通信规约预先集成在下行通信接口模块中，进而对各个感知终端设备的通信规约进行个性化配置，通过适配器将上行通信接口模块封装成一个统一形式的接口类，这样将各个感知终端设备相匹配的通信规约转换成统一通信规约，这样简化了终端设备接入环节，降低了终端设备接入流程复杂性，解决了接入后代码不可复用以及浪费开发资源的问题。

（2）本发明在通信规约数据库内预先存储多种通信协议，通过从通信规约数据库中筛选出与各个感知终端设备相兼容的通信协议，确定出相应编码格式及消息帧结构，最终形成相应通信规约并下发至对应终端设备，解决了通讯协议兼容性低，使用传统TCP等通讯协议，服务器资源占用率高，并且横向可拓展性弱，无法满足高并发场景下持续提供稳定服务的能力的问题，拓展了整个数据采集及控制系统所适用的业务和场景，提升了通讯协议横向可拓展性。

本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明实施例的可视化配置灵活接入的数据采集及控制系统示意图；

图2为本发明实施例的可视化配置灵活接入的数据采集及控制系统的硬件结构示意图；

图3为本发明实施例的通信规约配置原理图；

图4为本发明实施例的通信规约配置的协议选择示意图；

图5为本发明实施例的帧结构配置示意图；

图6为本发明实施例的设备类型新增和属性配置示意图；

图7为本发明实施例的终端管理点位配置示意图。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一

参照图1，本实施例提供了一种基于可视化配置灵活接入的数据采集及控制系统，其包括感知终端设备、网络传输设备、数据处理设备及控制显示终端。

在具体实施过程中，所述感知终端设备布设在预设监测点处，以感知监测点数据。例如：监测点数据湿度、角速度、通讯状态等数据。

在具体实施过程中，所述网络传输设备包括下行通信接口模块和上行通信接口模块；所述下行通信接口模块内集成有若干预设通信规约（如：HTTP、TCP、UDP等），用于对各个感知终端设备的通信规约进行个性化配置；所述上行通信接口模块通过适配器封装成一个统一形式的接口类，用于将各个感知终端设备相匹配的通信规约转换成统一通信规约传输至数据处理设备。

本实施例将若干通信规约预先集成在下行通信接口模块中，进而对各个感知终端设备的通信规约进行个性化配置，通过适配器将上行通信接口模块封装成一个统一形式的接口类，这样将各个感知终端设备相匹配的通信规约转换成统一通信规约，这样简化了终端设备接入环节，降低了终端设备接入流程复杂性，解决了接入后代码不可复用以及浪费开发资源的问题。

其中，图3给出了通信规约配置原理图。在所述下行通信接口模块中，对各个感知终端设备的通信规约进行个性化配置的过程包括：

从预设通信规约数据库中调取出与各个感知终端设备相兼容的通信协议；

根据调取的通信协议，确定出相应编码格式（如JSON、纯文本等）及消息帧结构，最终形成相应通信规约，如图4和图5所示。

在一些其他实施例中，网络传输设备还包括物联网网关，所述物联网网关用于初步处理上行通信接口模块传送的监测点数据并将初步处理结果传送至数据处理设备。

其中，所述物联网网关内有边缘计算模型，用于初步处理感知终端设备的监测点数据以及分发控制显示终端向感知终端设备下发的控制指令。

边缘计算模型主要是在靠近物或者数据源头的一侧，采用网络、计算、存储、应用核心能力为一体的开放平台，就近提供最近端服务。

具体地，选定通讯协议后，自动生成对应的协议唯一标识。根据相应的编码格式，存储数据帧结构的方式也不一样。当编码格式为JSON时，对应的帧结构不需要配置。当对应的编码格式为HEX、BASE64、纯文本时，需要配置对应的帧结构。

其中，数据帧由多个帧块组成，主要包括帧头、起始位、控制域、数据位、自定义位数、校验位、帧尾等，可以针对各个帧块配置帧块位数和进制，配置完成后，整个数据帧的结构则可固定，相应的配置项会以JSON格式存入数据库。

在具体实施过程中，配置完规约后，可添加设备。除填写设备的台账信息之外，还可配置设备的属性信息以及新增多项属性。在新增属性时，首选需要对设备属性进行命名，然后设置编码，也就是属性在数据库存储的字段名。针对每个属性，还可设置取值和对应的含义。配置完成之后，相应配置数据传入MYSQL库。

在一些具体实施过程中，设备新建之后，需要绑定其至网关。绑定的网关需要选定之前配置的协议。这样设备数据就可以上传了，数据上传到服务器之后，代码首先捕获到数据包，根据网关绑定的设备协议唯一标识，可以获得设备编码格式，根据编码格式调用指定解码库进行解码，获取数据帧。之后根据协议号选择对应的规约配置，根据帧块的结构，得到数据位和其他有效数据。得到数据位之后，根据数据位的位数和属性配置，得到数据位中上传的所有属性。得到属性互殴，根据之前的属性字典配置，得到属性取值对应的可读性含义，就得到了设备数据，之后就可以入库到实时库。

本实施例在通信规约数据库内预先存储多种通信协议，通过从通信规约数据库中筛选出与各个感知终端设备相兼容的通信协议，确定出相应编码格式及消息帧结构，最终形成相应通信规约并下发至对应终端设备，解决了通讯协议兼容性低，使用传统TCP等通讯协议，服务器资源占用率高，并且横向可拓展性弱，无法满足高并发场景下持续提供稳定服务的能力的问题，拓展了整个数据采集及控制系统所适用的业务和场景，提升了通讯协议横向可拓展性。

在具体实施过程中，所述数据处理设备用于对感知终端设备上报的相应监测点数据进行解码及分流处理。

根据图2，数据处理设备包括消息中继群，消息中继服务集群包括消息中继服务子集群和轻骑兵服务子集群，其中消息中继服务子集群最低包含两套消息中继服务，轻骑兵服务子集群包含加密/解密服务和JAVA协议栈解析库。

在本实施例中，通信协议包括HTTP、TCP、MQTT、MODBUS等协议，当在平台侧选择某一类型通信协议后，对应配置数据会写入数据库。对应协议服务会以正确协议接收设备数据，并根据编码格式解码数据，以获取正确的数据格式，防止出现乱码等情况。获得正确数据后，把数据送入加密/解密服务进行解密，解密后的数据进入规约栈解析库，根据具体的规约解析出具体的指令或者数据，然后送入消息中继服务。

消息中继服务集群中的消息中继服务子集群，在技术组件选型、协议选型、技术架构等方面均有提高。技术组件AMQ能够更好的保证高实时性，软实时的运行时系统设计能够让消息分发与投递时延降低至1毫秒以下，同时单节点支持每秒实时接收、移动、处理和分发数百万条的MQTT消息；消息中继服务集群在兼容古典TCP协议的基础上，100%支持MQTT5.0和3.X协议标准，具备更好的伸缩性、安全性和可靠性。同时也支持MQTT overQUIC，能在减少连接开销与消息延迟的同时，显著提升整体吞吐量和移动连接的稳定性。更适合解决物联网场景下复杂网络环境下的通信问题。因为传统物联网场景中，MQTT物联网通信协议主要基于TCP进行消息的传输，但在某些复杂网络环境下，例如在车联网环境中，车辆可能会在山区、矿区、隧道等地方运行，当进入到信号死角或被动切换基站时会导致连接中断，频繁连接中断与较慢的连接恢复速度会导致用户体验变差。

具体地，消息中继服务集群中的加密/解密服务主要是通过非对称加密算法等现有的加解密方法进行加密解密。其中，非对称加密算法是通过公钥和私钥来实现的。如果使用私钥对数据进行加密，则使用公钥对数据进行解密。如果用公钥对数据进行加密，则使用私钥对数据进行解密。当硬件设备发送数据时，需要使用本地存储的私钥对数据进行加密，数据经过边缘计算设备或者网关时不做处理，上传至消息中继服务集群后，再转发至轻骑兵加密/解密服务进行解密。这样解决了传统技术和方案存在一定的数据丢失可能性，在某些业务场景下，这样的数据丢失会被系统安全和稳定造成很大的隐患的问题，提高了数据传输的安全性与稳定性。

在消息中继服务集群中还内置了负责均衡以实现大规模设备数据并发上报和下行场景下稳定服务的功能。同时提供对接入速度、消息速度的限制，内置包含了速率控制层级，在节点、监听器和连接3级进行速率控制，从入口处避免了系统过载，保证了系统的稳定和可预测的吞吐。

在一些其他实施例中，根据图2，数据处理设备还包括数据库集群，数据库集群包含INFLUX DB集群、MongoDB集群、MYSQL集群和数据同步服务。其中数据同步服务包含定时同步任务和DATAX同步服务。这样解决了大量平台还在使用传统的结构化数据库存储物联网数据，存储成本高，在某些场景下查询效率低下，无法满足海量数据存储需求的问题，提升了数据存储的能力。

在具体实施过程中，所述控制显示终端，其用于基于预设需求对感知终端设备的运行状态或采集任务进行配置并向感知终端设备下发运行控制指令或采集任务指令，以及实时展示解码及分流处理后的相应监测点数据。

具体地，所述控制显示终端包括终端可视化配置模块及实时展示模块，其中，所述终端可视化配置模块用于基于预设需求对终端设备的运行状态或采集任务进行配置，所述实时展示模块用于实时展示解码及分流处理后的相应监测点数据。其中，控制显示终端对设备类型新增和属性配置、终端管理点位配置、采集任务以及手工召测，分别如图6和图7所示。

在一些实施例中，所述终端可视化配置模块采用组织结构树形式存储所有感知终端设备的相关信息。这样能够提高感知终端设备的相关信息的查询速度。

在一个或多个实施例中，所述控制显示终端还包括异常与告警模块，用于可视化展示监测点数据的异常类型并进行告警。

在一些具体实施例中，在所述异常与告警模块中，通过设备类型的属性配置异常数据监测的阈值。

例如：在设备的属性配置中，可以对单个属性进行字典配置，即单个属性的单个取值代表的含义。支持配置单个属性为报警属性，并配置属性取值代表的含义。当数据解析服务解析完数据之后，如果识别到报警属性，则把相关数据送入报警消息队列，然后前端实时展示，展示的报警类型取决于属性如何配置。

在其他实施例中，在所述异常与告警模块中，通过设定需要监测的属性与其取值来构建规则引擎，基于运行过程中的规则引擎监测异常数据，自动转发至报警消息队列并进行实时展示。

例如：规则引擎使用类SQL语言编写消息转发逻辑。可手动编写脚本，选择需要监测的属性与其取值，并设置运行。则在消息引擎运行过程中，如果消息命中规则脚本，则自动转发至报警消息队列，然后前端实时展示。规则脚本的报警逻辑取决于具体行业和上层系统。

实施例二

本实施例提供了一种基于可视化配置灵活接入的数据采集及控制方法，包括：

步骤1：控制显示终端基于预设需求依次通过数据处理设备和网络传输设备对感知终端设备的运行状态或采集任务进行配置并向感知终端设备下发运行控制指令或采集任务指令；

步骤2：布设在预设监测点处的感知终端设备，接收控制显示终端下发的指令并执行相应任务；

当感知终端设备执行采集监测点数据任务时，感知终端设备将其所采集的监测点数据依次通过网络传输设备和数据处理设备传送至控制显示终端，进行实时展示处理后的相应监测点数据；

其中，网络传输设备中的下行通信接口模块内集成有若干预设通信规约，用于对各个感知终端设备的通信规约进行个性化配置；网络传输设备中的上行通信接口模块通过适配器封装成一个统一形式的接口类，用于将各个感知终端设备相匹配的通信规约转换成统一通信规约传输至数据处理设备。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于可视化配置灵活接入的数据采集及控制系统，其特征在于，包括：

感知终端设备，其布设在预设监测点处，用于感知监测点数据；

网络传输设备，其包括下行通信接口模块和上行通信接口模块；所述下行通信接口模块内集成有若干预设通信规约，用于对各个感知终端设备的通信规约进行个性化配置；所述上行通信接口模块通过适配器封装成一个统一形式的接口类，用于将各个感知终端设备相匹配的通信规约转换成统一通信规约传输至数据处理设备；

数据处理设备，其用于对感知终端设备上报的相应监测点数据进行解码及分流处理；

控制显示终端，其用于基于预设需求对感知终端设备的运行状态或采集任务进行配置并向感知终端设备下发运行控制指令或采集任务指令，以及实时展示解码及分流处理后的相应监测点数据。

2.如权利要求1所述的基于可视化配置灵活接入的数据采集及控制系统，其特征在于，在所述下行通信接口模块中，对各个感知终端设备的通信规约进行个性化配置的过程包括：

从预设通信规约数据库中调取出与各个感知终端设备相兼容的通信协议；

根据调取的通信协议，确定出相应编码格式及消息帧结构，最终形成相应通信规约。

3.如权利要求1所述的基于可视化配置灵活接入的数据采集及控制系统，其特征在于，所述网络传输设备还包括物联网网关，所述物联网网关用于初步处理上行通信接口模块传送的监测点数据并将初步处理结果传送至数据处理设备。

4.如权利要求3所述的基于可视化配置灵活接入的数据采集及控制系统，其特征在于，所述物联网网关内有边缘计算模型，用于初步处理感知终端设备的监测点数据以及分发控制显示终端向感知终端设备下发的控制指令。

5.如权利要求1所述的基于可视化配置灵活接入的数据采集及控制系统，其特征在于，所述控制显示终端包括终端可视化配置模块及实时展示模块，所述终端可视化配置模块用于基于预设需求对终端设备的运行状态或采集任务进行配置，所述实时展示模块用于实时展示解码及分流处理后的相应监测点数据。

6.如权利要求5所述的基于可视化配置灵活接入的数据采集及控制系统，其特征在于，所述终端可视化配置模块采用组织结构树形式存储所有感知终端设备的相关信息。

7.如权利要求1或5所述的基于可视化配置灵活接入的数据采集及控制系统，其特征在于，所述控制显示终端包括异常与告警模块，用于可视化展示监测点数据的异常类型并进行告警。

8.如权利要求7所述的基于可视化配置灵活接入的数据采集及控制系统，其特征在于，在所述异常与告警模块中，通过设备类型的属性配置异常数据监测的阈值。

9.如权利要求7所述的基于可视化配置灵活接入的数据采集及控制系统，其特征在于，在所述异常与告警模块中，通过设定需要监测的属性与其取值来构建规则引擎，基于运行过程中的规则引擎监测异常数据，自动转发至报警消息队列并进行实时展示。

10.一种基于可视化配置灵活接入的数据采集及控制方法，其特征在于， 包括：

控制显示终端基于预设需求依次通过数据处理设备和网络传输设备对感知终端设备的运行状态或采集任务进行配置并向感知终端设备下发运行控制指令或采集任务指令；

布设在预设监测点处的感知终端设备，接收控制显示终端下发的指令并执行相应任务；

当感知终端设备执行采集监测点数据任务时，感知终端设备将其所采集的监测点数据依次通过网络传输设备和数据处理设备传送至控制显示终端，进行实时展示处理后的相应监测点数据；

其中，网络传输设备中的下行通信接口模块内集成有若干预设通信规约，用于对各个感知终端设备的通信规约进行个性化配置；网络传输设备中的上行通信接口模块通过适配器封装成一个统一形式的接口类，用于将各个感知终端设备相匹配的通信规约转换成统一通信规约传输至数据处理设备。

Images