CN108563664A - 一种工业设备端的实时数据处理方法 - Google Patents

Abstract

本发明公开了一种工业设备端的实时数据处理方法，其属于数据分析领域的技术，包括以下步骤：步骤S1，用户通过所述用户端选择若干需要进行数据采集的所述测点，与所述关联测点相连的所述智能终端作为关联终端；步骤S2，所述用户端生成一包括数据配置文件的分析程序并发送至所述服务器；步骤S3，向所述关联终端下发相应的数据处理指令；步骤S4，根据所述实时运行数据提取所述关联测点的特征数据；步骤S5，反馈至所述服务器；步骤S6，所述服务器得到对应的数据分析结果。该技术方案的有益效果是：本发明减少了数据传输量，提高了数据处理的实时性和数据分析的效率，提高了服务器的运行效率，提高了系统的可维护性和鲁棒性。

Description

一种工业设备端的实时数据处理方法

技术领域

本发明涉及的是一种数据分析领域的技术，具体是一种工业设备端的实时数据处理方法。

背景技术

工业设备运行过程中，存在传感系统、控制指令、生产状态等多方面的数据，应用数据分析技术能够有效挖掘数据潜在价值，客观评估设备运行性能，是保证设备高效、可靠运行的重要手段。

工业设备运行中，存在大量的传感器节点和控制节点，实时采集的数据量巨大，数据一般在现场部署数据库进行持久化存储。

数据处理技术是工业数据分析中的重要步骤之一，数据处理是指对所采集的数据进行必要的处理。传统工业数据分析过程中，数据处理环节一般集中在用户端服务器，需要处理的实时数据是持续不断的，对网络带宽和数据库硬件资源要求较高，并且分析效率受限。

工业设备运行过程中，存在大量的冗余、无效、高频的数据，分析过程中持续的访问查询会占用大量通信带宽，存在数据丢包、网络延时等问题，也会降低设备端数据库的稳定性与实时性。

由于数据处理集中在用户端，需要同时处理多个工业设备运行数据，服务器核心模块负载重，制约系统性能瓶颈。同时分析过程中，局部节点的失效易造成系统异常，难以保证系统负载均衡和容错性。

发明内容

本发明针对现有技术存在的上述不足，提出一种工业设备端的实时数据处理方法。本发明减少了数据传输量，降低了网络资源的占用率，提高了数据处理的实时性和数据分析的效率，降低了服务器的数据处理压力，提高了服务器的运行效率，保证了数据的可靠性和准确性，提高了系统的可维护性和鲁棒性。

本发明是通过以下技术方案实现的：

本发明涉及一种工业设备端的实时数据处理方法，预先设置一远程连接用户端的服务器，以及设置通过网络与所述服务器相连的至少一个智能终端，每个所述智能终端关联于至少一个所述工业设备端，每个所述工业设备端设有若干数据采集装置，每个所述数据采集装置对应于若干测点，还包括以下步骤：

步骤S1，用户通过所述用户端选择若干需要进行数据采集的所述测点，与所述关联测点相连的所述智能终端作为关联终端；

步骤S2，所述用户端生成一包括数据配置文件的分析程序并发送至所述服务器，所述数据配置文件中包括所述关联终端的终端描述信息和所述关联测点的所述测点描述信息；

步骤S3，所述服务器根据所述数据配置文件中的所述终端描述信息与所述关联终端建立通信连接，并根据所述数据配置文件中的所述测点描述信息向所述关联终端下发相应的数据处理指令；

步骤S4，所述关联终端根据所述数据处理指令，通过对应于所述关联测点的所述数据采集装置采集所述关联测点的实时运行数据，并根据所述实时运行数据提取所述关联测点的特征数据；

步骤S5，所述关联终端将所述特征数据按照预设的数据格式形成数据包并反馈至所述服务器；

步骤S6，所述服务器运行所述分析程序以根据所述数据包得到对应的数据分析结果并反馈至所述用户端。

优选的，该工业设备端的实时数据处理方法，其中，所述终端描述信息包括：终端型号、终端IP、连接端口、身份认证信息、记录所述特征数据种类的数据清单、数据传输频率以及数据传输格式。

优选的，该工业设备端的实时数据处理方法，其中，所述测点描述信息包括：测点名称、采样频率、所述实时运行数据的数据长度以及预设的所述数据格式。

优选的，该工业设备端的实时数据处理方法，其中，所述的步骤S4具体包括以下步骤：

步骤S41，根据所述数据长度和所述采样频率所述关联测点的所述实时运行数据；

步骤S42，通过预设的数据处理策略对所述实时运行数据进行数据处理，得到符合所述数据清单的所述特征数据。

优选的，该工业设备端的实时数据处理方法，其中，在所述步骤S41之前，所述关联终端判断所述关联测点是否有效：

若否，则以缺省值代替所述特征数据，以完成对所述关联测点的数据采集；

若是，则进行所述步骤S41。

优选的，该工业设备端的实时数据处理方法，其中，所述数据处理策略包括：数据标准化处理策略，和/或异常值剔除处理策略，和/或数据降维处理策略，和/或统计指标处理策略，和/或傅里叶变换处理策略，和/或短时傅里叶变换处理策略。

优选的，该工业设备端的实时数据处理方法，其中，所述步骤S4中的所述实时运行数据通过以下步骤获得：

步骤S51，所述关联终端根据所述数据处理指令向对应的所述关联测点的所述数据采集装置下发数据采集指令；

步骤S52，所述数据采集装置根据所述数据采集指令对所述关联测点进行数据采集，以得到所述实时运行数据并保存于一数据库模块中；

步骤S53，所述关联终端从所述数据库模块中调取所述实时运行数据。

优选的，该工业设备端的实时数据处理方法，其中，所述数据库模块为面向对象数据库。

上述技术方案的有益效果是：本发明减少了数据传输量，降低了网络资源的占用率，提高了数据处理的实时性和数据分析的效率，降低了服务器的数据处理压力，提高了服务器的运行效率，保证了数据的可靠性和准确性，提高了系统的可维护性和鲁棒性。

附图说明

图1为本发明的较佳的实施例中，一种工业设备端的实时数据处理方法的流程示意图；

图2为本发明的较佳的实施例中，一种工业设备端的实时数据处理方法的特征数据提取过程示意图；

图3为本发明的较佳的实施例中，实时运行数据采集流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

如图1所示，本实施例涉及一种工业设备端的实时数据处理方法：

本实施例涉及的一种工业设备端的实时数据处理方法，预先设置一远程连接用户端的服务器，以及设置通过网络与服务器相连的至少一个智能终端，每个智能终端关联于至少一个工业设备端，每个工业设备端设有若干数据采集装置，每个数据采集装置对应于若干测点。

本实施例中数据处理方法用于工业设备的实时数据处理，可应用于风力放电机、磨煤机、机床以及发电机组等工业设备中。

用户端连有用户服务器，在工业设备端连有若干智能终端，工业设备端设有若干数据采集装置，数据采集装置对应于若干测点。

数据采集装置用于直接采集工业设备的测点处的数据，并能够传送到与该数据采集装置相连的智能终端，以供进一步处理。

如图1所示，本实施例的工业设备端的实时数据处理方法，还包括以下步骤：

步骤S1，用户通过用户端选择若干需要进行数据采集的测点，与关联测点相连的智能终端作为关联终端。

当用户需要进行数据采集时，用户首先确定所要进行数据采集的测点。根据确定的测点，进一步选择与之相连的智能终端。将被选择的测点作为关联测点，与这些关联测点相连的智能终端作为关联终端。

步骤S2，用户端生成一包括数据配置文件的分析程序并发送至服务器，数据配置文件中包括关联终端的终端描述信息和关联测点的测点描述信息。

用户根据所要进行的实时数据分析业务的要求，建立一分析模型，并根据该分析模型形成分析程序，而后将分析程序通过用户端下发到与该用户端相连的服务器中，通过服务器执行该分析程序。

数据配置文件中包括：关联终端的终端描述信息和关联测点的测点描述信息。

终端描述信息包括：终端型号、终端IP、连接端口、身份认证信息、记录特征数据种类的数据清单、数据传输频率以及数据传输格式。

测点描述信息包括：测点名称、采样频率、实时运行数据的数据长度以及预设的数据格式。

步骤S3，服务器根据数据配置文件中的终端描述信息与关联终端建立通信连接，并根据数据配置文件中的测点描述信息向关联终端下发相应的数据处理指令。

服务器根据数据配置文件中的终端描述信息与关联终端建立通信连接。终端描述信息包括：终端型号、终端IP、连接端口、身份认证信息、记录特征数据种类的数据清单、数据传输频率以及数据传输格式。

服务器与根据终端型号、连接端口以及终端IP与对应的智能终端即关联终端建立通信连接。服务器与关联终端建立通信连接时，需要按照身份认证信息进行身份认证，完成身份认证后建立通信连接。

服务器与关联终端建立通信连接后，根据数据配置文件中的测点描述信息向关联终端下发相应的数据处理指令。

数据处理指令以指令代码和操作内容的形式下发，根据数据配置文件中的测点描述信息形成数据处理指令。

步骤S4，关联终端根据数据处理指令，通过对应于关联测点的数据采集装置采集关联测点的实时运行数据，并根据实时运行数据提取关联测点的特征数据。

如图2所示，步骤S4具体包括：

步骤S41，根据数据长度和采样频率关联测点的实时运行数据。

在步骤S41之前，关联终端判断关联测点是否有效：

若否，则以缺省值代替特征数据，以完成对关联测点的数据采集；

若是，则进行步骤S41。

智能终端与关联测点处的数据采集装置无法建立连接，即数据采集装置无响应时，则判定该关联测点无效，以缺省值代替所要采集的特征数据，之后完成对该无效关联测点的数据采集。

以缺省值代替所要采集的特征数据能够有效的防止分析程序因数据缺失而出现异常终止。

关联测点被判定为无效测点后，分析程序能够及时的向用户发出提示，快速制定维护措施。

关联测点被判定为有效测点则对该关联测点进行数据采集。数据采集装置根据测点描述信息中的数据长度和采样频率来采集实时运行数据。

在一种较佳的实施例中，

如图3所示，实时运行数据可以通过以下步骤获得：

步骤S51，关联终端根据数据处理指令向对应的关联测点的数据采集装置下发数据采集指令；

步骤S52，数据采集装置根据数据采集指令对关联测点进行数据采集，以得到实时运行数据并保存于一数据库模块中；

步骤S53，关联终端从数据库模块中调取实时运行数据。

现场的传感器节点和控制节点的数量巨大，作为数据采集装置的传感器数量也十分巨大。数据采集装置需要采集的关联测点的实时运行数据的数据量也十分庞大。所以，关联测点的数据采集装置根据数据处理指令来采集实时运行数据，数据采集装置采集的实时运行数据预先送入数据库模块中存储。

数据库模块采用面向对象数据库。

步骤S42，通过预设的数据处理策略对实时运行数据进行数据处理，得到符合数据清单的特征数据。

关联终端采用数据处理策略对采集到的实时运行数据进行数据处理。

数据处理策略包括：数据标准化处理策略，异常值剔除处理策略，数据降维处理策略，统计指标处理策略，傅里叶变换处理策略以及短时傅里叶变换处理策略。

进行实时运行数据处理时，可采用一种或者多种数据处理策略，以获得数据清单中的所需的特征数据。

数据标准化模块用于将实时运行数据标准化。

异常值剔除模块用于剔除实时运行数据中的异常值。

统计指标模块用于计算实时运行数据的平均值、方差、斜度、峭度、协方差以及相关系数。

傅里叶变换模块以及短时傅里叶变换模块用于对实时运行数据进行傅里叶变换和短时傅里叶变换。

数据降维模块用于实时运行数据的降维。

在关联终端中提取特征数据，可以降低用户的二次开发的工作量，加快数据的处理速度。相对于原始的实时运行数据，特征数据的数据量较小，减少了整个系统的负荷。

步骤S5，关联终端将特征数据按照预设的数据格式形成数据包并反馈至服务器。

关联终端采用一种或多种数据处理策略后获得特征数据按照预设的数据格式形成数据包。

数据格式记载于测点描述信息中。特征数据按照预设的数据格式形成数据包，即特征数据按照记载的排列顺序存储，各个特征数据在数据包中的顺序按照数据格式中记载的顺序进行排列。

步骤S6，服务器运行分析程序以根据数据包得到对应的数据分析结果并反馈至用户端。

服务器接收关联终端传回的数据包，并对数据包中的各个特征数据进行数据分析，运行分析程序以得到分析结果。将最终的分析结果反馈至用户端以供用户查询。用户根据分析结果调节工业设备的运行，对各个工业设备进行优化。

本发明的工业设备端的实时数据处理方法及其系统，与现有技术相比：本发明减少了数据传输量，降低了网络资源的占用率，提高了数据处理的实时性和数据分析的效率，降低了服务器的数据处理压力，提高了服务器的运行效率，保证了数据的可靠性和准确性，提高了系统的可维护性和鲁棒性。

以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (8)

1.一种工业设备端的实时数据处理方法，其特征在于，预先设置一远程连接用户端的服务器，以及设置通过网络与所述服务器相连的至少一个智能终端，每个所述智能终端关联与至少一个所述工业设备端，每个所述工业设备端设有若干数据采集装置，每个所述数据采集装置对应于若干测点，还包括以下步骤：

步骤S1，用户通过所述用户端选择若干需要进行数据采集的所述测点，与所述关联测点相连的所述智能终端作为关联终端；

步骤S2，所述用户端生成一包括数据配置文件的分析程序并发送至所述服务器，所述数据配置文件中包括所述关联终端的终端描述信息和所述关联测点的所述测点描述信息；

步骤S3，所述服务器根据所述数据配置文件中的所述终端描述信息与所述关联终端建立通信连接，并根据所述数据配置文件中的所述测点描述信息向所述关联终端下发相应的数据处理指令；

步骤S4，所述关联终端根据所述数据处理指令，通过对应于所述关联测点的所述数据采集装置采集所述关联测点的实时运行数据，并根据所述实时运行数据提取所述关联测点的特征数据；

步骤S5，所述关联终端将所述特征数据按照预设的数据格式形成数据包并反馈至所述服务器；

步骤S6，所述服务器运行所述分析程序以根据所述数据包得到对应的数据分析结果并反馈至所述用户端。

2.根据权利要求1所述的工业设备端的实时数据处理方法，其特征是，所述终端描述信息包括：终端型号、终端IP、连接端口、身份认证信息、记录所述特征数据种类的数据清单、数据传输频率以及数据传输格式。

3.根据权利要求1所述的工业设备端的实时数据处理方法，其特征是，所述测点描述信息包括：测点名称、采样频率、所述实时运行数据的数据长度以及预设的所述数据格式。

4.根据权利要求3所述的工业设备端的实时数据处理方法，其特征是，所述终端描述信息包括：终端型号、终端IP、连接端口、身份认证信息、记录所述特征数据种类的数据清单、数据传输频率以及数据传输格式；

所述的步骤S4具体包括以下步骤：

步骤S41，根据所述数据长度和所述采样频率采集所述关联测点的所述实时运行数据；

步骤S42，通过预设的数据处理策略对所述实时运行数据进行数据处理，得到符合所述数据清单的所述特征数据。

5.根据权利要求4所述的工业设备端的实时数据处理方法，其特征是，在所述步骤S41之前，所述关联终端判断所述关联测点是否有效：

若否，则以缺省值代替所述特征数据，以完成对所述关联测点的数据采集；

若是，则进行所述步骤S41。

6.根据权利要求4所述的工业设备端的实时数据处理方法，其特征是，所述数据处理策略包括：数据标准化处理策略和/或异常值剔除处理策略和/或数据降维处理策略和/或统计指标处理策略和/或傅里叶变换处理策略和/或短时傅里叶变换处理策略。

7.根据权利要求1所述的工业设备端的实时数据处理方法，其特征是，在所述步骤S4中的所述实时运行数据通过以下步骤获得：

步骤S51，所述关联终端根据所述数据处理指令向对应的所述关联测点的所述数据采集装置下发数据采集指令；

步骤S52，所述数据采集装置根据所述数据采集指令对所述关联测点进行数据采集，以得到所述实时运行数据并保存于一数据库模块中；

步骤S53，所述关联终端从所述数据库模块中调取所述实时运行数据。

8.根据权利要求7所述的工业设备端的实时数据处理方法，其特征是，所述数据库模块为面向对象数据库。