CN114363347A

CN114363347A - 自适应的工业设备数据采集方法及系统

Info

Publication number: CN114363347A
Application number: CN202111486155.7A
Authority: CN
Inventors: 庞涛; 马征; 何伟; 秦大林
Original assignee: Beijing Navroom Technology Co ltd
Current assignee: Beijing Navroom Technology Co ltd
Priority date: 2021-12-07
Filing date: 2021-12-07
Publication date: 2022-04-15

Abstract

本发明提供了一种自适应的工业设备数据采集方法及系统，方法包括以下步骤：将采集服务器与待采集的工业设备连接；在所述采集服务器设置有设定网关，所述设定网关用于调取与所述工业设备的通信协议匹配类型的通信协议；所述采集服务器根据所述匹配类型的通信协议采集所述工业设备的全量数据；通过预设的数据智能清洗程序对所述全量数据进行脏数据和坏点的清洗过滤，以获取所述全量数据的有效数据，所述有效数据通过时间序列数据库存储；所述有效数据通过隔离网关进行安全过滤后传输给转发服务器，所述转发服务器向上级服务器传输所述有效数据。利用上述方法能够适应各种工业设备的数据采集，保证了数据的可靠性、连续性、实时性。

Description

自适应的工业设备数据采集方法及系统

技术领域

本发明涉及数据采集技术领域，更为具体地，涉及一种自适应的工业设备数据采集方法及系统。

背景技术

在大数据的时代，完整、准确、全面、可靠的数据采集是数据中台建设的基础，随着科技的发展，具有智能化工业控制系统的设备越来越多的被应用到大型企业中，数据的采集来源和范围更加多样化，例如风电企业，只是风机或光伏机组设备的数据就包括实时运行数据、实时测风塔数据、升压站运行数据、智能电表数据、振动监测数据等，这些是发电量计算、限电分析、损失电量分析、健康状态评估、性能分析、故障诊断和故障预警的直接数据基础。

数据中台建设项目面向企业运营全生命周期，旨在通过对数据的挖掘，发挥数据资产和模型资产的最大化价值，客观洞察本行产业。所以企业生产管理及运营全数据采集是构建大数据建设的重要基础，而数据的实时性、连续性、全面性、准确性是数据采集质量的基本要求。

但是目前，来自不同厂家的PLC(Programmable Logic Controller，可编程逻辑控制器)工业设备采用的通信协议不同，将信息打包成数据包的方式不同，这样就很难对不同的工业设备数据进行全面的采集转发处理，为采集工作带来不便。由于不同的设备尚未实现统一的网络对时功能，数据采集与传输的实时性和同步性弱。如果偶发网络设备中断、传输受限等不可避免的原因，会导致数据传输发生中断情况，数据的连续性差。

发明内容

鉴于上述问题，本发明的目的是提供一种自适应的工业设备数据采集方法及系统，能够适应各种工业设备的数据采集，保证了数据的可靠性、连续性、实时性。

根据本发明的一个方面，提供了一种自适应的工业设备数据采集方法，包括以下步骤：将采集服务器与待采集的工业设备连接；其中，在所述采集服务器设置有设定网关，所述设定网关用于调取与所述工业设备的通信协议匹配类型的通信协议；所述采集服务器根据所述匹配类型的通信协议采集所述工业设备的全量数据；通过预设的数据智能清洗程序对所述全量数据进行脏数据和坏点的清洗过滤，以获取所述全量数据的有效数据，所述有效数据通过时间序列数据库存储；所述有效数据通过隔离网关进行安全过滤后传输给转发服务器，所述转发服务器向上级服务器传输所述有效数据。

进一步，所述采集服务器的采集、传输、存储均采用标准统一的时间戳标记，所述采集服务器支持断点续传方式传输数据。

进一步，所述采集服务器采集数据的频率为1次/秒。

进一步，所述采集服务器采用双服务器集群负载均衡采集方式采集所述工业设备的全量数据，所述双服务器集群中的每个服务器均通过交换机与所述工业设备连接。

进一步，所述设定网关封装有不同类型的通信协议，根据所述工业设备的数据采集指令确定所述工业设备的通信协议类型，在所述设定网关中提取与所述工业设备的通信协议类型匹配类型的通信协议，利用所述匹配类型的通信协议采集所述工业设备中的数据。

进一步，所述隔离网关用于实现所述有效数据从所述采集服务器向所述转发服务器的单向传输。

进一步，所述转发服务器包括转发服务器集群，在转发所述有效数据之前，还包括：对所述有效数据进行加密处理。

进一步，所述转发服务器采用Modbus通信协议，实现对外提供标准化的数据接口。

进一步，所述采集服务器通过以太网接口或串行接口或无线通讯接口与所述工业设备连接，所述工业设备的数量至少为两个。

根据本发明的另一方面，提供了一种自适应的工业设备数据采集系统，包括：

连接模块：用于将采集服务器与待采集的工业设备连接；其中，在所述采集服务器设置有设定网关，所述设定网关用于调取与所述工业设备的通信协议匹配类型的通信协议；并且，在所述设定网关内封装有不同类型的通信协议，根据所述工业设备的数据采集指令确定所述工业设备的通信协议类型，在所述设定网关中提取与所述工业设备的通信协议类型匹配类型的通信协议，利用所述匹配类型的通信协议采集所述工业设备中的数据；

采集模块：用于所述采集服务器根据所述匹配类型的通信协议采集所述工业设备的全量数据；通过预设的数据智能清洗程序对所述全量数据进行脏数据和坏点的清洗过滤，以获取所述全量数据的有效数据，所述有效数据通过时间序列数据库存储；

转发模块：用于所述有效数据通过隔离网关进行安全过滤后传输给转发服务器，由所述转发服务器向上级服务器传输所述有效数据。

上述根据本发明的自适应的工业设备数据采集方法及系统，采用了可以兼容不同通信协议的采集服务器，与不同的工业设备通信，同时采集不同的工业设备的数据，清洗脏数据和坏点，得到有效数据，采用时间序列数据库存储工业设备的有效数据，通过隔离网关安全的向转发服务器传送有效数据，转发服务器向上级服务器传输加密后的数据。本方法兼容各种工业设备的数据采集，并向上级服务器提供标准的数据接口，可连接各种服务器和终端，保证了采集和传输的数据的多元化、完整性、有效性、及时性、连续性、安全性。

为了实现上述以及相关目的，本发明的一个或多个方面包括后面将详细说明并在权利要求中特别指出的特征。下面的说明以及附图详细说明了本发明的某些示例性方面。然而，这些方面指示的仅仅是可使用本发明的原理的各种方式中的一些方式。此外，本发明旨在包括所有这些方面以及它们的等同物。

附图说明

通过参考以下结合附图的说明及权利要求书的内容，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：

图1示出了根据本发明实施例1的自适应的工业设备数据采集方法的流程图；

图2为根据本发明实施例2的自适应的工业设备数据采集系统的结构示意图；

图3为根据本发明实施例的计算机可读存储介质的示意图。

在所有附图中相同的标号指示相似或相应的特征或功能。

具体实施方式

在下面的描述中，出于说明的目的，为了提供对一个或多个实施例的全面理解，阐述了许多具体细节。然而，很明显，也可以在没有这些具体细节的情况下实现这些实施例。在其它例子中，为了便于描述一个或多个实施例，公知的结构和设备以方框图的形式示出。

以下将结合附图对本发明的具体实施例进行详细描述。

实施例1

图1为根据本发明实施例1的自适应的工业设备数据采集方法的流程图；

如图1所示，本实施例提出的自适应的工业设备数据采集方法，可用于企业内所有PLC工业设备的数据采集和转发。包括以下步骤：

将采集服务器与待采集的工业设备连接，采集服务器具有设定网关，设定网关用于调取与工业设备的通信协议匹配类型的通信协议。

本实施例中的采集服务器可采用多种国产CPU服务器设备。由于不同的工业设备的输出接口不同，本系统中的采集服务器设置有多种数据接口，便于采集服务器可以同时与多个工业设备连接，同时采集各种工业设备的数据。采集服务器可设置有以太网接口：RJ45接口，串行接口：RS485/RS232/RS422接口，还可设置有4G、WIFI等无线通信接口。工业设备可为具有PLC控制器的各种设备和MODBUS(串行通信协议)系列等，如风机、光伏逆变器、光伏环网、变电箱、设备生产线等。采集服务器通过相应的接口与工业设备的上位机或PLC连接。

具体的，设定网关可封装有不同类型的通信协议，根据工业设备的数据采集指令确定工业设备的通信协议类型，在设定网关中提取与工业设备的通信协议类型匹配类型的通信协议，利用匹配类型的通信协议采集工业设备中的数据。设定网关通过预设的不同类型的通信协议，兼容了多种类型的通信协议，实现了实时采集多个工业设备中的数据。

采集服务器根据匹配类型的通信协议采集工业设备的全量数据，通过预设的数据智能清洗程序清洗过滤掉脏数据和坏点，以获取全量数据的中的有效数据，通过时间序列数据库存储工业设备的有效数据。

全量数据包括工业设备自身能够监测到的所有数据，保证了数据的完整性。通过数据清洗和过滤方法，剔除坏点及脏数据，包括超出正常逻辑范围的参数、不正常随时间变化的死数据等，保证数据库里存储的为有效数据值，消除对后续数据分析的消极影响。通过时间序列数据库存储工业设备的有效数据，即采即存，实现了数据的完全无损存储，保障了数据的完备性。采集服务器采集数据的频率为1次/秒，能够及时反应工业设备的状态及参数变化。

采集服务器可采用双服务器集群负载均衡采集方式采集工业设备的全量数据，双服务器集群中的每个服务器均通过交换机与工业设备连接。保证了采集服务器数据采集的稳定性和可靠性。采集服务器支持断点续传格式传输数据，当发生通讯中断的情况，能够实现就地缓存，保障数据不发生丢失，一旦故障点消除，通讯恢复，能够实现断点续传，将缓存数据上传数据库，填补数据的缺失。

有效数据通过隔离网关正向隔离并安全过滤后，传输给转发服务器，转发服务器向上级服务器传输有效数据，隔离网关实现了有效数据的从采集服务器向转发服务器的单向传输，保证了数据的安全性。隔离网关是防火墙、IPS、内容过滤、反病毒、Web安全各种技术有机的融合，具有重要且独特的保护作用，其范围从协议级过滤到十分复杂的应用级过滤。转发服务器包括转发服务器集群，在转发有效数据时，还包括对有效数据进行加密处理。可采用端到端加密的方式，端到端加密允许数据在从转发服务器到终点上级服务器的传输过程中始终以密文形式存在。采用端到端加密,数据在被传输时到达终点之前不进行解密,因为数据在整个传输过程中均受到保护,所以即使有节点被损坏也不会使数据泄露。

转发服务器采用Modbus通信协议，实现对外提供标准化的数据接口，可以连接不同的上级服务器和终端设备。Modbu是一种串行通信协议，是工业领域通信协议标准，实现转发服务器与各上位机之间的连接。实现转发服务器输出数据归一化，同时转发服务器作为数据源对外提供标准化数据接口，可以为其他大数据平台、集中监控系统提供数据支撑。

由于各工业设备尚未实现统一的网络对时功能，来自不同工业设备的数据在时间上不遵循同一个时间源，会扰乱后期数据的分析。所以采集服务器的采集、传输、存储各个环节均采用标准统一的时间戳标记，确保同一时刻采集的工业设备的各部件状态、参数的一致性。

实施例2

如图2所示，本实施例提供的自适应的工业设备数据采集系统是与实施例1中所示的自适应的工业设备数据采集方法相对应的系统，用于实现实施例1所示的自适应的工业设备数据采集方法，主要包括连接模块、采集模块和转发模块。

其中，连接模块用于将采集服务器与待采集的工业设备连接；其中，在采集服务器设置有设定网关，设定网关用于调取与工业设备的通信协议匹配类型的通信协议。

由于不同的工业设备的输出接口不同，本系统中的采集服务器设置有多种数据接口，便于采集服务器可以同时与多个工业设备连接同时采集各种工业设备的数据，可设置有以太网接口：RJ45接口，串行接口：RS485/RS232/RS422接口，还可设置有4G、WIFI等无线通信接口。

由于工业设备中的通信协议不同，因此采集服务器设置有设定网关，通过设定网关采集服务器可与多种工业设备通信。

在设定网关内封装有不同类型的通信协议，根据工业设备的数据采集指令确定工业设备的通信协议类型，在设定网关中提取与工业设备的通信协议类型匹配类型的通信协议，利用匹配类型的通信协议采集工业设备中的数据。设定网关通过预设的不同类型的通信协议，兼容了多种类型的通信协议，实现了实时采集多个工业设备中的数据。采集服务器通过相应的接口与工业设备的上位机或PLC连接。

采集模块：用于采集服务器根据匹配类型的通信协议采集工业设备的全量数据，通过预设的数据智能清洗程序对所述全量数据进行脏数据和坏点的清洗过滤，以获取所述全量数据的有效数据，所述有效数据通过时间序列数据库存储。

采集服务器采集数据的频率为1次/秒，具备秒级数据采集和传输，能够及时反应工业设备的状态及参数变化。

采集服务器可采用双服务器集群负载均衡采集方式采集工业设备的全量数据，双服务器集群中的每个服务器均通过交换机与工业设备连接。保证了采集服务器数据采集的稳定性和可靠性。采集服务器支持断点续传格式传输数据，当发生通讯中断的情况，能够实现就地缓存，通讯恢复，将缓存数据上传数据库，填补数据的缺失。

在有效数据通过隔离网关正向隔离并安全过滤后，通过转发模块传输给转发服务器，由转发服务器向上级服务器传输有效数据，隔离网关实现了有效数据的从采集服务器向转发服务器的单向传输，保证了数据的安全性。转发服务器包括转发服务器集群，在转发有效数据之前，还包括对有效数据进行加密处理。加密处理可采用端到端加密的方式，端到端加密是允许数据在从源点转发服务器到终点上级服务器的传输过程中始终以密文形式存在。

转发服务器采用Modbus通信协议，实现对外提供标准化的数据接口，可以连接不同的上级服务器和终端设备。为其他大数据平台、集中监控系统提供数据支撑。

由于来自不同工业设备的数据在时间上不遵循同一个时间源不能同步，采集服务器的采集、传输、存储各个环节均采用标准统一的时间戳标记。确保同一时刻工业设备的各部件状态、参数的一致性。

再一方面，本发明还提供一种计算机可读存储介质，图3为根据本发明实施例的计算机可读存储介质的示意图。如图3所示，在该计算机可读存储介质中存储有至少一个指令，该至少一个指令被电子设备中的处理器执行以实现上述自适应的工业设备数据采集方法。具体的，作为示例，存储器11中存储的自适应的工业设备数据采集程序12是多个指令的组合，在处理器10中运行时，可以实现：

将采集服务器与待采集的工业设备连接；其中，在所述采集服务器设置有设定网关，所述设定网关用于调取与所述工业设备的通信协议匹配类型的通信协议；

所述采集服务器根据所述匹配类型的通信协议采集所述工业设备的全量数据；

通过预设的数据智能清洗程序对所述全量数据进行脏数据和坏点的清洗过滤，以获取所述全量数据的有效数据，所述有效数据通过时间序列数据库存储；

所述有效数据通过隔离网关进行安全过滤后传输给转发服务器，所述转发服务器向上级服务器传输所述有效数据。

具体地，该自适应的工业设备数据采集程序12被处理器执行时具体实现方法可参考实施例自适应的工业设备数据采集方法中相关步骤的描述，在此不赘述。

在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。

因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。

如上参照附图以示例的方式描述根据本发明的自适应的工业设备数据采集方法及系统。但是，本领域技术人员应当理解，对于上述本发明所提出的自适应的工业设备数据采集方法及系统，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。

Claims

1.一种无自适应的工业设备数据采集方法，其特征在于，包括以下步骤：

2.如权利要求1所述的自适应的工业设备数据采集方法，其特征在于，所述采集服务器的采集、传输、存储均采用标准统一的时间戳标记，所述采集服务器支持断点续传方式传输数据。

3.如权利要求1所述的自适应的工业设备数据采集方法，其特征在于，所述采集服务器采集数据的频率为1次/秒。

4.如权利要求1所述的自适应的工业设备数据采集方法，其特征在于，所述采集服务器采用双服务器集群负载均衡采集方式采集所述工业设备的全量数据，所述双服务器集群中的每个服务器均通过交换机与所述工业设备连接。

5.如权利要求1所述的自适应的工业设备数据采集方法，其特征在于，所述设定网关封装有不同类型的通信协议，根据所述工业设备的数据采集指令确定所述工业设备的通信协议类型，在所述设定网关中提取与所述工业设备的通信协议类型匹配类型的通信协议，利用所述匹配类型的通信协议采集所述工业设备中的数据。

6.如权利要求1所述的自适应的工业设备数据采集方法，其特征在于，所述隔离网关用于实现所述有效数据从所述采集服务器向所述转发服务器的单向传输。

7.如权利要求1所述的自适应的工业设备数据采集方法，其特征在于，所述转发服务器包括转发服务器集群，在转发所述有效数据之前，还包括：对所述有效数据进行加密处理。

8.如权利要求1所述的自适应的工业设备数据采集方法，其特征在于，所述转发服务器采用Modbus通信协议，实现对外提供标准化的数据接口。

9.如权利要求1所述的自适应的工业设备数据采集方法，其特征在于，所述采集服务器通过以太网接口或串行接口或无线通讯接口与所述工业设备连接，所述工业设备的数量至少为两个。

10.一种自适应的工业设备数据采集系统，其特征在于，包括：

转发模块：用于所述有效数据通过隔离网关进行安全过滤后传输给转发服务器，所述转发服务器向上级服务器传输所述有效数据。