CN110597057A - 在工业应用场景下的数据处理系统 - Google Patents

Abstract

一种在工业应用场景下的数据处理系统，包括数据存储模块、数据分析计算模块和数据应用模块。一方面数据分析计算模块接收数据存储模块中的大量工业数据集来训练机器学习回归模型进行预测性分析；另一方面数据分析计算模块直接接收外部设备的原始工业数据进行实时流式数据分析，两者分析后的结果再返回给数据存储模块进行存储，数据应用模块的各类子模块根据需求调用相应的数据结果，达到数据处理应用的目的。系统模块之间通过消息传输队列相连，结构明确，耦合程度较低。本系统能为工厂管理者在设备状态监控、排产和设备保养维护等方面提供合理准确的参考，提升工厂的经济效益。

Description

在工业应用场景下的数据处理系统

技术领域

本发明涉及一种在工业应用场景下的数据处理系统。主要对于工业生产中的大量传感器数据进行合理化存储与智能化分析，以便为一线工程师提供实时的工业设备状态信息，并且根据工业大数据分析结果制定预测性维护方案，减少设备损耗，提高经济效益。

背景技术

随着现代工业的迅猛发展，在现代工业生产中，无时无刻不在产生数据。无论是德国“工业4.0”、美国“工业互联网”，还是“中国制造2025”，各国制造业创新战略的实施都是基于工业大数据的采集和分析，并以此为制造系统搭建应用环境的。在工业企业生产制造产品的过程中，通过数据采集存储和分析，可以提供信息决策支持，在产品的生产流程、产品质量、生产管理控制、研发设计、远程维修维护等环节起到重要作用。因此，对于工业数据的处理是十分有价值的。

同时伴随着人工智能特别是机器学习的发展，将工业生产数据与机器学习相结合进行大数据智能化分析是目前主流的工业设备预测性维护的方式之一。图灵奖获得者、美国国家科学院院士、美国国家工程院院士John E.Hopcroft曾发表人工智能技术主题演讲，称机器学习将推动下一次工业革命的到来。

目前的工业数据主要是依赖各种设备上的传感器进行相关数据的读取与发送，如温度、电流、电压等基础数据信息。但是由于数据体量庞大、分布广泛、结构复杂、价值不均匀等多种实际存在的问题，数据在分析之前需要规范和清洗，并且需要根据实际数据需求速度进行分布式存储，同时仅仅依赖单一的统计学分析已经远远不能满足现代智能化的工业生产线需要。目前针对海量工业数据的存储和将存储之后的数据结合合适的机器学习模型分析得出结果并进行预测性维护这方面还少有研究。马贺贺、许伟等提出了一种基于工业数据的分析系统(马贺贺，许伟，郭双全.一种基于工业数据的分析系统：中国，108229828[A].2018-06-29)其介绍了一种将工业数据结合人工智能进行分析的方法，并给出处理结果供工程师参考。但是该系统没有对大量的工业数据存储方式进行说明，并且没有设备预测性维护内容，不能从大数据的角度对设备的使用寿命进行预测；许飞、林海等提出了一种基于工业大数据的设备状态预测分析系统(许飞，林海，易文凯，冀道立，叶昆华.一种基于工业大数据的设备状态预测分析系统：中国，108228822[A].2018-06-29)其介绍了一种工业设备预测性维护的方法，但是内部的数学模型比较简单，并没有与机器学习等人工智能领域相结合。

所以对于实现采集到的工业数据合理化存储，并结合当前成熟的机器学习算法进行数据智能化分析，从而为工厂管理者制定生产计划、设备维护管理等提供参考依据，即将成为未来工业生产智能化发展的新趋势。

发明内容

本发明要克服现有技术的上述缺点，提供一种在工业应用场景下的数据处理系统。

首先，本发明的核心是工业数据的分析与利用。一方面利用集群计算平台ApacheSpark中的MLlib机器学习算法实现库，根据工业设备和数据存储模块中存储的该设备工业历史数据集，选择合适的机器学习算法进行模型训练，获得准确的预测模型，该模型可用来实现下一步的实时数据分析和设备未来的预测性维护；另一方面是对工业设备实时的流式数据进行分析，主要通过滑动窗口法和设置阈值来进行数据的筛选。其次，为了将海量的工业化数据和数据分析模块的分析结果进行合理化存储，本发明构建了数据存储模块，工业实时数据标准JSON化后再存储到结构化数据存储仓库中，数据处理结果数量较少，可以直接存储到关系型数据存储仓库中，对于数据需求实时度高的内容则直接缓存到热数据存储仓库中方便调用。最后，在数据存储和数据分析的基础上，结合网页编程和后台编程技术，对结果进行数据应用，主要有预测性维护、数据可视化显示、警报及设备控制三个方面。

本发明为解决现有技术问题所采用的技术方案是：

一种在工业应用场景下的数据处理系统，包括：用于存储大量原始工业数据、设备基本信息和数据分析结果的数据存储模块、用于对工业数据进行流式分析和训练机器学习回归模型以达到实时预测的数据分析计算模块、用于将数据分析结果、设备常规信息展示、报警和干预控制的数据应用模块；数据存储模块和数据分析计算模块分别连接外部设备，通过消息传输队列接受外部设备传感器上的工业数据；数据存储模块分别连接数据分析计算模块和数据应用模块，其中数据应用模块通过消息传输队列从数据存储模块调用并接收数据，数据分析计算模块与数据存储模块通过消息传输队列双向数据交互；

所述数据存储模块包括：

结构化数据存储仓库：存储大量原始工业数据；所述的大量原始工业数据由外部工业设备上的传感器通过网关和消息传输队列发送至结构化数据存储存储仓库；当工业原始数据量到预设规模时，结构化数据存储仓库再将存储的工业原始数据集发送至数据分析计算模块以供回归模型训练；

关系型数据存储仓库：存储设备常规信息和数据分析结果，数据分析计算模块将获得的数据分析结果发送至关系型数据存储仓库进行存储，等待数据应用模块的调用；同时也会将数据分析结果发送至热数据存储仓库；

热数据存储仓库：存储数据应用模块多次频繁调用的热数据，热数据存储仓库接收来自关系型数据存储仓库的数据分析结果和直接接收数据分析计算模块的分析结果，并将数据进行缓存，等调用结束后会根据情况决定再将数据发送到关系型数据存储仓库进行持久化；

所述数据分析计算模块包括：

流式数据分析子模块：外部工业设备上的传感器通过网关和消息传输队列发送连续不断的工业数据至流式数据分析子模块，分析完成后该子模块将结果上传至数据存储模块中的关系型数据存储仓库；

离线模型训练子模块：数据存储模块的结构化数据存储仓库将达到预设数量的原始工业数据集发送至离线模型训练子模块进行训练；训练完成后，离线模型训练子模块接收来自外部设备的数据进行分析，同时将分析结果再上传至数据存储模块中的关系型数据存储仓库或热数据存储仓库；

所述数据应用模块包括：

预测性维护子模块：与数据存储模块中的热数据存储仓库相连，接收离线模型的数据预测结果，发送给外部的web服务器；

可视化显示子模块：与数据存储模块中的关系型数据存储仓库相连，调用存储的设备常规信息、设备的历史数据和历史分析结果，发送给外部的web服务器；

报警及控制子模块：接受数据存储模块中的报警信息，若产生报警，则将信息发送至web服务器上；同时控制部分发送控制信息给外部设备进行干预控制；

本发明的优点和积极效果是：

1.本发明对工业数据进行合理化的存储，将不同设备、不同用途的数据分开存放在三个数据仓库中，使存储结构更加明细，读取大量工业数据更加方便，数据可视化支持更加优化。

2.本发明对工业数据的分析提供两种方式：一种是流式数据的实时分析，这一种方法适用于工业数据通过传感器实时上传至分析模块的情形，分析方法简单，对于结果获取的实时性有很大提升；另一种是结合机器学习的回归模型对设备使用情况进行预测性维护，真正做到从传统的故障修复变为结合人工智能的预测修复。

3.本发明的核心部分为离线模型训练，采用专为大规模数据处理而设计的快速通用的分布式计算引擎Apache Spark，抛弃旧有迭代速度慢、实时性能低的Hadoop框架，Spark框架迭代速度块，并行计算能力强，可以同时支持多个模型的并行训练。并且Spark框架提供了大量的库，其中就包含本发明中的MLlib，即机器学习算法实现库，该库包含多种经典的机器学习算法，可保证多种实际应用背景下的模型选择，开发人员只需要填入数据，设置参数就可以使用，在减少开发者工作量的同时还能保证模型训练的准确度与快速性。

4.本发明对数据分析结果的利用率大大提高，通过网页编程技术结合外部图表API调用，用丰富的图表内容显示设备信息和分析结果，提升可视化直观程度；同时区别于其它数据处理系统只分析不干预的问题，本发明还能在报警情况发生时，工程师只需在电脑客户端上点击相应的控制功能按钮，通过消息传输机制发送控制消息给底层代码实现设备的在线控制功能，做到设备远程维护与控制。

5.系统各个模块之间由消息传输队列连接，消息实时性能较好，模块耦合较低，系统功能更加明确。

本发明设计的人机交互界面，使工程师需要在工厂现场进行设备信息读取和设备调试的情况得到改变，现在只需在界面上就能进行设备状态获取和远程控制设备等操作，降低人力成本和设备操作风险，工厂智能化程度显著提升。

附图说明

图1为本发明的系统原理框图。

图2为本发明的系统硬件图。

图3为设备历史数据显示图

图4为设备基本信息显示图

具体实施方式

以下为结合附图对本发明的实施做进一步详述。

参照图1和图2，一种在工业应用场景下的数据处理系统，主要由数据存储模块、数据分析计算模块、数据应用模块三大块组成，其中数据存储模块用于存储工业设备的基本信息、设备传感器数据以及数据分析计算模块的分析结果；数据分析计算模块是整个系统的核心模块，用于数据处理，包括预测模型的训练、预测模型的选择、流式数据实时分析；数据应用模块根据数据存储模块的数据用于对工厂设备的监控管理，对数据处理结果的反馈，对报警情况的远程控制。

如图2所示，在工业应用场景下的数据处理系统主要包括1.多台发送传感器数据的外部设备，2.云端服务器上的数据存储仓库和大数据分析平台，3.若干使用客户端。

所述的系统数据存储模块、数据分析计算模块、数据应用模块都分布在云端服务器上，主要依托于ElasticSearch、MySQL、Redis三种数据存储仓库，Spark通用计算框架和成熟的网页后台编程技术。各个模块之间通过消息传输队列进行交互，实现互联，同时减少模块之间的复杂度，减少程序设计的复杂性。

数据存储模块主要用于存储各个设备的工作参数和基本信息，其主要由结构化数据存储仓库、关系型数据存储仓库、热数据存储仓库组成。

结构化数据存储仓库采用开源的ElasticSearch，它是基于Lucene的搜索服务器，用Java语言开发，通过RESTful web接口调用，主要的存储对象是结构化的设备数据，例如数据格式为标准化JSON格式，设备数据主要是在设备运行过程中传感器发出的运行数据经转化后形成标准的JSON格式再存入结构化数据仓库。例如，某外部设备机械臂关节上的传感器向消息传输队列MQTT发布主题为“joint-current”的关节电流数据，订阅该主题的后台程序就能收到这一条传感器数据并将其存入结构化数据存储仓库中相应的机械臂关节电流数据表，完成一次设备状态数据的存储。当存储的数据量达到预设阈值之后，数据存储模块会将数据集发送给数据分析计算模块进行相应的机器学习回归模型的训练，获得最终的预测模型。

关系型数据存储仓库采用目前通用的MySQL数据库，技术成熟且全面，主要的存储对象是读取速度要求不高的数据，例如某外部设备机械臂的品牌、型号、维修日期等基本信息，还有一部分为热数据存储仓库持久化后的数据分析结果。该存储数据仓库主要用来支持数据可视化界面的调用，且调用频率、速度要求低，可用来显示设备的信息和设备的历史分析结果等数据。

热数据存储仓库采用Redis缓存，主要的存储对象是对读取速度要求高，读取频繁的数据，例如数据的分析结果等需要被多次调用显示的数据，以便可视化界面的快速调用，提高网页运行速度。对于读取过后的缓存数据还可以持久化到关系型数据存储仓库中，以便历史数据的查询操作。

数据分析计算模块主要用于工业数据的分析，分析结果可以用来显示状态、发出报警和预测性维护等。数据分析计算模块的流式数据分析子模块和离线模型训练子模块分别对应于两种分析方式：流式数据实时分析和机器学习模型预测。

流式数据是指设备上的传感器连续不断的传回数据，如同一个数据流一样。对于这类数据的分析要求实时性较高，因此主要采用滑动窗口法，通过设定滑动时间，在该时间内的连续数据会被缓存，然后经过统一的逻辑处理，例如比较数据是否超过设定阈值，来决定是否要发出警报。当这一段时间的数据处理完成后，数据全部清除，重新开始缓存新的时间窗口数据。例如，系统需要对外部设备机械臂关节的实时电流情况进行分析，采样频率每秒一次，如果对传回数据不做流式数据分析就在可视化界面上直接显示关节电流情况会导致不易进行作图观察，并且会因数据量过大而导致界面显示缓慢，甚至崩溃。通过对滑动窗口时间的设定，对每一个一秒时间窗口的数据都取一个平均值和最大最小值，数据可视化界面参考股票K线图进行显示，更利于观察关节电流情况。

机器学习模型预测是该系统的核心，是工业大数据技术的主要体现。结构化数据存储仓库的数据集达到预设数量之后，经过数据清洗、补全等预处理操作，提取数据特征值，选择合适的机器学习回归算法，建立特征模型，再用处理完后的数据对模型进行训练，使模型更加贴合实际，该模型可以对实时数据进行设备状态预测，达到预测性维护的目的。

数据应用模块由可视化显示子模块、报警及控制子模块、预测性维护子模块三大块组成。

可视化显示子模块主要用于设备的状态信息显示，包括设备的品牌型号等基本信息以及当前经过数据处理分析后的设备运行信息，也可以显示设备的历史分析数据，并借助图表的形式使数据显示更加直观。

预测性维护子模块主要是根据数据分析计算模块训练的离线回归模型，根据设备的实时数据进行设备的状态预测，返回设备的使用寿命、故障预测结果，以供工厂工程师参考。

报警及控制子模块主要是根据预测性维护结果和数据分析模块返回结果来进行报警，当使用寿命少于某一阈值或者流式数据分析高于某一阈值时，将产生报警信息并显示在可视化界面上，同时将报警信息发送到工程师手机上。工程师接受到报警信息后，登陆系统客户端，在页面上进行设备操作，消除故障，主要方法是通过消息传输队列发送相关主题消息，底层设备操作系统订阅接收到这一消息后即进行设备控制，最终解除警报。例如，当机械臂到达关节限位后，数据分析计算系统通过传感器上传的关节各项数据分析出机械臂工作故障，工程师通过客户端和手机短信收到故障通知后，登陆机械臂控制界面点击机械臂回零运动，后台程序在MQTT服务器上发布“joint-control”主题，消息为“joint-return”，底层设备控制代码接收该主题消息并控制设备作出相应动作，工程师同时通过安装在工厂的摄像头在网页上实时观察机械臂运转情况，直至回到机械原点解除故障。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (5)

1.一种在工业应用场景下的数据处理系统，包括：用于存储大量原始工业数据、设备基本信息和数据分析结果的数据存储模块、用于对工业数据进行流式分析和训练机器学习回归模型以达到实时预测的数据分析计算模块、用于将数据分析结果、设备常规信息展示、报警和干预控制的数据应用模块；数据存储模块和数据分析计算模块分别连接外部设备，通过消息传输队列接受外部设备传感器上的工业数据；数据存储模块分别连接数据分析计算模块和数据应用模块，其中数据应用模块通过消息传输队列从数据存储模块调用并接收数据，数据分析计算模块与数据存储模块通过消息传输队列双向数据交互；

所述数据存储模块包括：

结构化数据存储仓库：存储大量原始工业数据；所述的大量原始工业数据由外部工业设备上的传感器通过网关和消息传输队列发送至结构化数据存储仓库；当工业原始数据量到预设规模时，结构化数据存储仓库再将存储的工业原始数据集发送至数据分析计算模块以供回归模型训练；

关系型数据存储仓库：存储设备常规信息和数据分析结果，数据分析计算模块将获得的数据分析结果发送至关系型数据存储仓库进行存储，等待数据应用模块的调用；同时也会将数据分析结果发送至热数据存储仓库；

热数据存储仓库：存储数据应用模块多次频繁调用的热数据，热数据存储仓库接收来自关系型数据存储仓库的数据分析结果和直接接收数据分析计算模块的分析结果，并将数据进行缓存，等调用结束后会根据情况决定再将数据发送到关系型数据存储仓库进行持久化；

所述数据分析计算模块包括：

流式数据分析子模块：外部工业设备上的传感器通过网关和消息传输队列发送连续不断的工业数据至流式数据分析子模块，分析完成后该子模块将结果上传至数据存储模块中的关系型数据存储仓库；

离线模型训练子模块：数据存储模块的结构化数据存储仓库将达到预设数量的原始工业数据集发送至离线模型训练子模块进行训练；训练完成后，离线模型训练子模块接收来自外部设备的数据进行分析，同时将分析结果再上传至数据存储模块中的关系型数据存储仓库或热数据存储仓库；

所述数据应用模块包括：

预测性维护子模块：与数据存储模块中的热数据存储仓库相连，接收离线模型的数据预测结果，发送给外部的web服务器；

可视化显示子模块：与数据存储模块中的关系型数据存储仓库相连，调用存储的设备常规信息、设备的历史数据和历史分析结果，发送给外部的web服务器；

报警及控制子模块：接受数据存储模块中的报警信息，若产生报警，则将信息发送至web服务器上；同时控制部分发送控制信息给外部设备进行干预控制。

2.根据权利要求1所述的在工业应用场景下的数据处理系统，其特征在于：所述的数据存储模块、数据分析计算模块和数据应用模块都在云服务器端，并且都有各自的公网IP端口以供外部设备或服务的数据发送与调用，互相模块之间都有统一的消息传输队列进行信息交互。

3.根据权利要求1所述的在工业应用场景下的数据处理系统，其特征在于：所述的数据存储模块提供三种数据存储形式，使数据存储方式多样化，数据存储之间耦合程度较低，数据调用查找方便；同时将数据分析结果存储在所述模块中等待其它需要该数据的模块调用，改善传输堵塞的问题。

4.根据权利要求1所述的在工业应用场景下的数据处理系统，其特征在于：所述的数据分析计算模块存在的两种数据分析方式，在接收来自外部设备和数据存储模块的工业数据后可以根据情况选择调用何种分析方式，都能满足系统的实时性要求，提升系统的可扩展性。

5.根据权利要求1所述的在工业应用场景下的数据处理系统，其特征在于：所述的数据应用模块调用所述数据存储模块中的关系型数据存储仓库和缓存热数据存储仓库数据，丰富显示部分内容，提高可视化程度，完善功能；并且如果产生报警，可以通过UI界面进行外部设备直接控制。