CN112583652B

CN112583652B - 工业实时数据过滤方法及装置

Info

Publication number: CN112583652B
Application number: CN201910931821.XA
Authority: CN
Inventors: 龚磊
Original assignee: Beijing Gridsum Technology Co Ltd
Current assignee: Beijing Gridsum Technology Co Ltd
Priority date: 2019-09-29
Filing date: 2019-09-29
Publication date: 2022-09-30
Anticipated expiration: 2039-09-29
Also published as: CN112583652A

Abstract

本发明公开了一种工业实时数据过滤方法及装置，工业互联网中的边缘设备获取待进行数据过滤处理的工业实时数据之后，对待进行数据过滤处理的工业实时数据进行数据过滤处理，得到数据过滤处理后的工业实时数据；然后将数据过滤处理后的工业实时数据传输至工业互联网中的目标实时数据库进行存储。基于本方案，将工业实时数据的数据过滤处理在边缘设备处进行，由于一个边缘设备对应一部分传感器，因此，可以由不同的边缘设备同步执行一部分工业实时数据的数据过滤处理，提升了数据过滤处理的效率，而且，边缘设备仅仅将数据过滤处理后的工业实时数据传输至实时数据库，减少了传输的数据量，节省了网络资源，也降低了实时数据库的存储压力。

Description

工业实时数据过滤方法及装置

技术领域

本发明涉及工业互联网技术领域，尤其涉及一种工业实时数据过滤方法及装置。

背景技术

工业互联网是全球工业系统与高级计算、分析、感应技术以及互联网连接融合的结果。工业互联网的本质和核心是通过工业互联网平台把设备、生产线、工厂、供应商、产品和客户紧密地连接融合起来，可以帮助制造业拉长产业链，形成跨设备、跨系统、跨厂区、跨地区的互联互通，从而提高效率，推动整个制造服务体系智能化。还有利于推动制造业融通发展，实现制造业和服务业之间的跨越发展，使工业经济各种要素资源能够高效共享。传统的工业互联网的网络组成结构如图1所示。

工业实时数据是工业互联网中的重要数据来源，通常由工业系统中的传感器产生，工业实时数据一般经由边缘设备传输至实时数据库进行统一存放。

传统的工业互联网中，在进行数据过滤处理时，是由办公网的某个设备从实时数据库中获取全部工业实时数据，基于全部工业实时数据进行数据过滤处理。但是，以一个中等规模的工业系统为例，可能会有5至10万个传感器，每天产出的工业实时数据能达到上百GB，将这些工业实时数据传输至实时数据库中会消耗过多的网络资源，且办公网的某个设备基于全部工业实时数据进行数据过滤处理，也会导致处理效率较低。

发明内容

鉴于上述问题，本发明提供一种克服上述问题或者至少部分地解决上述问题的工业实时数据过滤方法及装置。

一种工业实时数据过滤方法，应用于工业互联网中的边缘设备，所述方法包括：

获取待进行数据过滤处理的工业实时数据；

对所述待进行数据过滤处理的工业实时数据进行数据过滤处理，得到数据过滤处理后的工业实时数据；

将所述数据过滤处理后的工业实时数据传输至所述工业互联网中的目标实时数据库进行存储。

可选地，所述获取待进行数据过滤处理的工业实时数据，包括：

获取所述工业互联网中的传感器采集的原始工业实时数据；

对所述原始工业实时数据进行协议转换处理，生成协议转换处理后的工业实时数据；

则对所述待进行数据过滤处理的工业实时数据进行数据过滤处理，得到数据过滤处理后的工业实时数据，包括：

对所述协议转换处理后的工业实时数据进行数据过滤处理，得到数据过滤处理后的工业实时数据。

可选地，所述边缘设备中配置有Docker容器运行环境、消息队列遥测传输协议MQTT服务端以及基础配置文件，所述边缘设备中安装有基于所述Docker运行环境获取的协议转换镜像以及数据过滤镜像。

可选地，所述对所述原始工业实时数据进行协议转换，生成协议转换处理后的工业实时数据，包括：

运行所述协议转换镜像，对所述原始工业实时数据进行协议转换，生成协议转换处理后的工业实时数据，其中，所述协议转换处理后的工业实时数据是基于MQTT封装的；

将所述协议转换处理后的工业实时数据缓存至所述MQTT服务端。

可选地，所述对所述协议转换处理后的工业实时数据进行数据过滤处理，得到数据过滤处理后的工业实时数据，包括：

运行所述数据过滤镜像，从所述MQTT服务端获取所述协议转换处理后的工业实时数据；

根据所述基础配置文件中指定的数据过滤条件对所述协议转换处理后的工业实时数据进行数据过滤处理，得到数据过滤处理后的工业实时数据。

可选地，所述将所述数据过滤处理后的工业实时数据传输至所述工业互联网中的目标实时数据库进行存储，包括：

根据所述基础配置文件中指定的实时数据库地址确定所述工业互联网中的目标实时数据库；

将所述数据过滤处理后的工业实时数据传输至所述目标实时数据库。

可选地，所述方法还包括：

获取数据过滤条件更新指令，所述过滤条件更新指令中包括最新的数据过滤条件；

将所述基础配置文件中指定的数据过滤条件替换为所述最新的数据过滤条件。

一种工业实时数据过滤装置，应用于工业互联网中的边缘设备，所述装置包括：

获取单元，用于获取待进行数据过滤处理的工业实时数据；

数据过滤处理单元，用于对所述待进行数据过滤处理的工业实时数据进行数据过滤处理，得到数据过滤处理后的工业实时数据；

发送单元，用于将所述数据过滤处理后的工业实时数据传输至所述工业互联网中的目标实时数据库进行存储。

一种存储介质，其上存储有程序，该程序被处理器执行时实现如上所述的工业实时数据过滤方法。

一种设备，所述设备包括至少一个处理器、以及与处理器连接的至少一个存储器、总线；

其中，所述处理器、存储器通过总线完成相互间的通信；

所述处理器用于调用所述存储器中的程序指令，以实现如上所述的工业实时数据过滤方法。

借由上述技术方案，本发明提供的工业实时数据过滤方法及装置，工业互联网中的边缘设备获取待进行数据过滤处理的工业实时数据之后，对所述待进行数据过滤处理的工业实时数据进行数据过滤处理，得到数据过滤处理后的工业实时数据；然后将所述数据过滤处理后的工业实时数据传输至所述工业互联网中的目标实时数据库进行存储。基于本方案，将工业实时数据的数据过滤处理在工业互联网中的边缘设备处进行，由于一个边缘设备对应一部分传感器，因此，可以由不同的边缘设备同步执行一部分工业实时数据的数据过滤处理，提升了数据过滤处理的效率，而且，边缘设备仅仅将数据过滤处理后的工业实时数据传输至实时数据库，减少了传输的数据量，节省了网络资源，也降低了实时数据库的存储压力。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本申请实施例公开的一种传统的工业互联网的网络组成结构图；

图2为本申请实施例公开的一种工业实时数据过滤方法的流程示意图；

图3为本申请实施例公开的另一种工业实时数据过滤方法的流程示意图；

图4为本申请实施例公开的一种工业实时数据过滤装置的结构示意图；

图5为本申请实施例公开的一种设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

为了引用和清楚起见，下文中使用的技术名词的说明、简写或缩写总结如下：

Docker：是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化，容器是完全使用沙箱机制，相互之间不会有任何接口。

MQTT(Message Queuing Telemetry Transport，消息队列遥测传输协议)：是一种基于发布/订阅(publish/subscribe)模式的“轻量级”通讯协议，该协议构建于TCP/IP协议上，广泛应用于工业互联网中。

边缘设备：是向企业或服务提供商核心网络提供入口点的设备。例如：路由器、路由交换、PLC(Programmable Logic Controller，可编程逻辑控制器)、RTU(RemoteTerminal Unit，远程终端单元)。

请参阅附图2，图2为本申请实施例公开的一种工业实时数据过滤方法的流程示意图，该方法的执行主体为工业互联网中的边缘设备，该方法包括如下步骤：

S201：获取待进行数据过滤处理的工业实时数据。

工业互联网中的不同的传感器所采用的工业协议不同，因此，在本实施例中，待进行数据过滤处理的工业实时数据可以为对传感器采集的原始工业实时数据进行协议处理之后生成的工业实时数据。

S202：对所述待进行数据过滤处理的工业实时数据进行数据过滤处理，得到数据过滤处理后的工业实时数据。

本实施例中，由边缘设备对待进行数据过滤处理的工业实时数据进行数据过滤处理，得到数据过滤处理后的工业实时数据。需要说明的是，边缘设备具体采用的数据过滤处理方式可以为现有的任意一种数据过滤方式，对此，本实施例不进行任何限定。

S203：将所述数据过滤处理后的工业实时数据传输至所述工业互联网中的目标实时数据库进行存储。

本实施例中，边缘设备数据过滤处理完毕之后，只将数据过滤处理后的工业实时数据传输至所述工业互联网中的目标实时数据库进行存储，以使工业互联网中的办公网设备从实时数据库中获取数据过滤处理后的工业实时数据，并基于数据过滤处理后的数据进行数据分析，获知工业互联网中各生产设备的运行状况。

本实施例提供的工业实时数据过滤方法，工业互联网中的边缘设备获取待进行数据过滤处理的工业实时数据之后，对所述待进行数据过滤处理的工业实时数据进行数据过滤处理，得到数据过滤处理后的工业实时数据；然后将所述数据过滤处理后的工业实时数据传输至所述工业互联网中的目标实时数据库进行存储。基于本方案，将工业实时数据的数据过滤处理在工业互联网中的边缘设备处进行，由于一个边缘设备对应一部分传感器，因此，可以由不同的边缘设备同步执行一部分工业实时数据的数据过滤处理，提升了数据过滤处理的效率，而且，边缘设备仅仅将数据过滤处理后的工业实时数据传输至实时数据库，减少了传输的数据量，节省了网络资源，也降低了实时数据库的存储压力。

请参阅附图3，图3为本申请实施例公开的另一种工业实时数据过滤方法的流程示意图，该方法的执行主体为工业互联网中的边缘设备，该方法包括如下步骤：

S301：获取所述工业互联网中的传感器采集的原始工业实时数据。

在本申请中，所述工业互联网中的传感器采集的原始工业实时数据是基于通用工业协议封装的，所述通用工业协议包括Modbus、RS-485、RS-232、OPC、串口。

S302：对所述原始工业实时数据进行协议转换处理，生成协议转换处理后的工业实时数据。

在本申请中，对所述原始工业实时数据进行协议转换处理，生成协议转换处理后的工业实时数据，即将所述原始工业实时数据的封装格式进行统一。

作为一种可实施方式，本申请中所述边缘设备中配置有Docker容器运行环境、消息队列遥测传输协议MQTT服务端以及基础配置文件，所述边缘设备中安装有基于所述Docker运行环境获取的协议转换镜像以及数据过滤镜像。则所述对所述原始工业实时数据进行协议转换，生成协议转换处理后的工业实时数据，包括：运行所述协议转换镜像，对所述原始工业实时数据进行协议转换，生成协议转换处理后的工业实时数据，其中，所述协议转换处理后的工业实时数据是基于MQTT封装的；将所述协议转换处理后的工业实时数据缓存至所述MQTT服务端。

S303：对所述协议转换处理后的工业实时数据进行数据过滤处理，得到数据过滤处理后的工业实时数据。

作为一种可实施方式，所述对所述协议转换处理后的工业实时数据进行数据过滤处理，得到数据过滤处理后的工业实时数据，包括：

数据过滤条件举例如下：

比如需要设备1的温度数据，需要获取低于25°的温度进行分析，那么设定的数据过滤条件就是“温度<25°”。

需要说明的是，基础配置文件中指定的数据过滤条件是可以更新的，具体的，可获取数据过滤条件更新指令，所述过滤条件更新指令中包括最新的数据过滤条件；将所述基础配置文件中指定的数据过滤条件替换为所述最新的数据过滤条件。

S304：将所述数据过滤处理后的工业实时数据传输至所述工业互联网中的目标实时数据库进行存储。

作为一种可实施方式，所述将所述数据过滤处理后的工业实时数据传输至所述工业互联网中的目标实时数据库进行存储，包括：

本实施例中，给出了一种采用边缘设备实现数据过滤处理的具体实现方式，该实现方式中用到了Docker容器技术、协议转换技术以及MQTT，实现了边缘设备的可移植性，可以在不同的数据过滤处理场景中通用。

上述本发明公开的实施例中详细描述了方法，对于本发明的方法可采用多种形式的装置实现，因此本发明还公开了一种装置，下面给出具体的实施例进行详细说明。

请参阅附图4，图4为本申请实施例公开的一种工业实时数据过滤装置的结构示意图，应用于工业互联网中的边缘设备，所述装置包括：

获取单元41，用于获取待进行数据过滤处理的工业实时数据；

数据过滤处理单元42，用于对所述待进行数据过滤处理的工业实时数据进行数据过滤处理，得到数据过滤处理后的工业实时数据；

发送单元43，用于将所述数据过滤处理后的工业实时数据传输至所述工业互联网中的目标实时数据库进行存储。

可选地，所述获取单元，具体包括：

获取子单元，用于获取所述工业互联网中的传感器采集的原始工业实时数据；

协议转换子单元，用于对所述原始工业实时数据进行协议转换处理，生成协议转换处理后的工业实时数据；

则所述数据过滤处理单元，具体用于：

可选地，所述协议转换子单元，具体用于：

可选地，所述数据过滤处理单元，具体用于：

可选地，所述发送单元，具体用于：

可选地，所述装置还包括：

数据过滤条件更新单元，用于获取数据过滤条件更新指令，所述过滤条件更新指令中包括最新的数据过滤条件；将所述基础配置文件中指定的数据过滤条件替换为所述最新的数据过滤条件。

所述工业实时数据过滤装置包括处理器和存储器，上述获取单元、数据过滤处理单元和发送单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来实现由工业互联网中的边缘设备执行工业实时数据过滤。

本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述工业实时数据过滤方法。

本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述工业实时数据过滤方法。

本发明实施例提供了一种设备，请参阅附图5，图5为本申请实施例公开的一种设备的结构图，设备50包括至少一个处理器501、以及与处理器501连接的至少一个存储器502、总线503；其中，处理器、存储器通过总线完成相互间的通信；处理器用于调用存储器中的程序指令，以执行上述的工业实时数据过滤方法。本文中的设备可以是服务器、PC、PAD、手机等。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：

获取待进行数据过滤处理的工业实时数据；

获取所述工业互联网中的传感器采集的原始工业实时数据；

可选地，所述方法还包括：

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

在一个典型的配置中，设备包括一个或多个处理器(CPU)、存储器和总线。设备还可以包括输入/输出接口、网络接口等。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims

1.一种工业实时数据过滤方法，其特征在于，应用于工业互联网中的边缘设备，所述方法包括：

获取待进行数据过滤处理的工业实时数据；

将所述数据过滤处理后的工业实时数据传输至所述工业互联网中的目标实时数据库进行存储；

所述边缘设备中配置有Docker容器运行环境、消息队列遥测传输协议MQTT服务端以及基础配置文件，所述边缘设备中安装有基于所述Docker容器运行环境获取的协议转换镜像以及数据过滤镜像；

对原始工业实时数据进行协议转换，生成协议转换处理后的工业实时数据，包括：

将所述协议转换处理后的工业实时数据缓存至所述MQTT服务端；

对所述协议转换处理后的工业实时数据进行数据过滤处理，得到数据过滤处理后的工业实时数据，包括：

根据所述基础配置文件中指定的数据过滤条件对所述协议转换处理后的工业实时数据进行数据过滤处理，得到数据过滤处理后的工业实时数据；

所述将所述数据过滤处理后的工业实时数据传输至所述工业互联网中的目标实时数据库进行存储，包括：

将所述数据过滤处理后的工业实时数据传输至所述目标实时数据库；

所述方法还包括：

2.根据权利要求1所述的方法，其特征在于，所述获取待进行数据过滤处理的工业实时数据，包括：

获取所述工业互联网中的传感器采集的原始工业实时数据；

3.一种工业实时数据过滤装置，其特征在于，应用于工业互联网中的边缘设备，所述装置包括：

获取单元，用于获取待进行数据过滤处理的工业实时数据；

发送单元，用于将所述数据过滤处理后的工业实时数据传输至所述工业互联网中的目标实时数据库进行存储；

还包括：

4.一种存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现权利要求1至2任一项所述的工业实时数据过滤方法。

5.一种设备，其特征在于，所述设备包括至少一个处理器、以及与处理器连接的至少一个存储器、总线；

其中，所述处理器、存储器通过总线完成相互间的通信；

所述处理器用于调用所述存储器中的程序指令，以实现权利要求1至2任一项所述的工业实时数据过滤方法。