CN112016828A - 基于流式大数据的工业设备健康管理云平台架构 - Google Patents

Abstract

本发明涉及一种基于流式大数据的工业设备健康管理云平台架构，该平台架构包括：接入层进行数据采集得到多源异构数据；测试层进行测试得到质量测试结果；一次处理层进行标准化处理得到标准化数据；元数据存储层进行优化处理和存储；二次处理层进行关联分析和特征分析得到数据之间的时态关联特征数据；特征数据存储层对时态关联特征数据进行存储；数据集融层进行数据集成与融合；计算模型层构建符合使用场景的计算模型；诊断预测层选择相应的计算模型进行计算得到计算结果；服务层将数据和结果提供给相应的平台服务对象。本发明实现分布式的数据采集和分阶段的数据处理方式，可以减少开发周期，每层单独处理使得系统具有更好的扩展性和灵活性。

Description

基于流式大数据的工业设备健康管理云平台架构

技术领域

本发明涉及物联网技术领域，尤其涉及一种基于流式大数据的工业设备健康管理云平台架构。

背景技术

随着物联网与工业融合创新，智能制造时代的到来，各种工业设备所产生的工业大数据技术及应用将成为未来提升制造业生产力、竞争力、创新能力的关键要素，是驱动产品智能化、生产过程智能化、管理智能化、服务智能化、新业态新模式，支撑制造业转型和构建开放、共享、协作的智能制造产业生态的重要基础。

现有的工业云平台在构建通用云平台方面发挥重要作用，并且已经在很多商业项目中投入实际应用。但由于工业领域相对于其它领域存在着很大的特殊性，特别是添加健康监测系统之后，改变了传统企业供产销的管理模式，比如数据采集协议的复杂性和多样性、工业领域行业应用和数据分析的专业性和定制性，以及其对于数据安全性、稳定性的要求，都使得市场上绝大多数的云平台产品难以满足工业领域实际需求。

基于上述，针对工业设备大数据多源异构的特点，现有工业云平台存在扩展性差、不够灵活的问题，不便于管理，维护成本较高。

上述缺陷是本领域技术人员期望克服的。

发明内容

(一)要解决的技术问题

为了解决现有技术的上述问题，本发明提供一种基于流式大数据的工业设备健康管理云平台架构，进而至少在一定程度上克服现有工业云平台扩展性差、不够灵活的问题。

(二)技术方案

为了达到上述目的，本发明采用的主要技术方案包括：

本发明的一实施例提供一种基于流式大数据的工业设备健康管理云平台架构，包括：

对象层，包括至少一种类型的工业设备；

接入层，用于针对对象层的工业设备选择相应的接入方式进行数据采集，得到多源异构数据；

测试层，用于对采集终端数据质量、数据集成前后以及数据传输过程进行测试，得到质量测试结果；

一次处理层，用于根据数据的质量测试结果进行标准化处理，得到标准化数据，其中标准化处理包括格式标准化、异常数据的清除、错误纠正以及重复数据的清除；

元数据存储层，用于对标准化数据按照生命周期进行优化处理和存储；

二次处理层，用于对元数据存储层中的数据基于时态约束进行关联分析和特征分析，得到数据之间的时态关联特征数据；

特征数据存储层，用于对时态关联特征数据进行存储；

数据集融层，用于按照多维度时态关联特征数据与历史特征数据进行横向与纵向的集成与融合；

计算模型层，用于基于数据集融层处理后的数据构建符合使用场景的计算模型；

诊断预测层，用于对采集的实时数据选择计算模型层中相应的计算模型进行计算，得到计算结果；

服务层，用于根据计算结果确定平台服务对象，将计算结果提供给相应的平台服务对象。

在本发明一实施例中，所述接入层包括：

类型确定模块，用于对采集的数据进行整理并根据工业设备的类型结合设备类型与数据类型的映射关系确定需采集的数据类型；

接入方式确定模块，用于根据数据类型确定数据来源、数据存放位置、数据内容形式以及接入方式；

其中接入方式包括中间件接入方式和远程传输方式。

在本发明一实施例中，所述质量测试结果包括数据完整性测试结果、数据规范性测试结果、数据准确性测试结果、数据一致性测试结果和数据实时性测试结果，所述测试层包括：

完整性测试模块，用于对采集的数据是否有数据缺失进行测试，得到数据完整性测试结果；

规范性测试模块，用于对采集的数据传输的发送方与接收方的数据格式进行比对，得到数据规范性测试结果；

准确性测试模块，用于对采集的数据的测量值与实际值之间的符合程度进行测试，得到数据准确性测试结果；

一致性测试模块，用于判断采集的数据是否有不合语义的错误和关联逻辑关系的相同程度，得到数据一致性测试结果；

实时性测试模块，用于根据采集的数据带有的时间戳与接收时间进行比较，得到数据实时性测试结果。

在本发明一实施例中，所述测试层针对结构化数据进行数据准确性测试、数据完整性测试、数据一致性测试和数据规范性测试，针对非结构化数据进行数据完整性测试，针对实时数据进行实时性测试。

在本发明一实施例中，所述元数据存储层包括：

优化处理模块，用于对全生命周期数据库中的非强相关的标准化数据进行分解，并按照生命周期进行优化处理，划分为历史数据和近期数据，其中历史数据为生命周期超过预设期限的数据，近期数据为生命周期在预设期限以内的数据；

归档模块，用于利用非关系型数据库对历史数据进行归档存储；

缓存模块，用于对近期数据加载到缓存中。

在本发明一实施例中，所述二次处理层包括：

图像处理模块，用于对元数据存储层中的图像数据进行图像处理与识别；

数据处理模块，用于对元数据存储层中的数据和图像处理识别后的数据进行相应的数据处理；

数据挖掘模块，用于对处理后的数据基于时态约束进行时间维度的因果性分析、关联分析和特征分析，得到数据之间的时态关联特征数据。

在本发明一实施例中，所述元数据存储层中存储的数据包括：产品设计数据、制造工艺数据、人员操作数据、运行工况数据、设备状态数据、检验检测数据、历史故障数据、维护维修数据和运行环境数据从设计到运维的全生命周期的九类数据；

所述特征数据存储层包括：产品设计特征数据、制造工艺特征数据、人员操作特征数据、运行工况特征数据、设备状态特征数据、检验检测特征数据、历史故障特征数据、维护维修特征数据和运行环境特征数据。

在本发明一实施例中，所述数据集融层包括：

历史数据提取模块，用于对数据库中的数据按照时间序列、事务序列和事件序列获取融合时态数据集，得到历史特征数据；

数据集融模块，用于对历史特征数据按照设备全生命周期内多源时态数据基于时态关联特征数据进行深度挖掘。

在本发明一实施例中，所述计算模型包括累积损伤计算模型、疲劳寿命预测模型、可靠性评估模型和风险评估模型。

在本发明一实施例中，所述诊断预测层包括：

健康状态诊断模块，用于根据实时数据对设备进行健康状态诊断，得到设备健康状态；

损伤识别模块，用于根据实时数据结合累积损伤计算模型进行损伤判断，得到损伤状态；

趋势预测模块，用于根据实时数据结合疲劳寿命预测模块进行状态趋势分析，得到趋势预测结果；

可靠性评估模块，用于根据实时数据结合可靠性评估模型进行评估，得到可靠性评估结果；

风险评估模块，用于根据实时数据结合风险评估模型进行评估，得到风险评估结果。

(三)有益效果

本发明的有益效果是：本发明实施例提供的基于流式大数据的工业设备健康管理云平台架构，针对工业设备的数据多源异构的特点，在管理系统中将数据采集、处理、存储等阶段进行细化，设置对象层、接入层、测试层、一次处理层、元数据存储层、二次处理层、特征数据存储层、数据集融层、计算模型层、诊断预测层、服务层的多层系统架构，通过纵向划分将流式大数据梳理的更为清晰，实现分布式的数据采集和分阶段的数据处理方式，可以减少开发周期，每层单独处理使得系统具有更好的扩展性和灵活性。

附图说明

图1为本发明一个实施例提供的一种基于流式大数据的工业设备健康管理云平台架构的示意图；

图2为本发明实施例中根据产品全生命周期的定义得到的九类数据示意图；

图3为本发明一实施例中以岸桥数据为例的起重机械全生命周期数据库的示意图；

图4为本发明一实施例中数据接入方式过程示意图；

图5为本发明一实施例中存储数据结构的优化的示意图；

图6为本发明一实施例中设备管理平台架构从数据来源到数据集成再到数据融合过程的示意图；

图7为本发明一实施例图6中数据分析过程的示意图。

具体实施方式

为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。

本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。

本发明提供一种基于流式大数据的工业设备健康管理云平台架构，搭建一个全面的云平台架构与服务模式，平台架构由多步处理过程按序组成，数据流从对象出发，依次经过采集、处理、存储等十个层次的加工后为服务层提供数据支撑，以解决现有技术中工业设备的数据采集、传输、处理等方面的问题。

图1为本发明一个实施例提供的一种基于流式大数据的工业设备健康管理云平台架构的示意图，如图1所示，该系统100包括对象层、接入层、测试层、一次处理层、元数据存储层、二次处理层、特征数据存储层、数据集融层、计算模型层、诊断预测层、服务层共11层，其中对象层101包括至少一种类型的工业设备；接入层102用于针对对象层的工业设备选择相应的接入方式进行数据采集，得到多源异构数据；测试层103用于对采集终端数据质量、数据集成前后以及数据传输过程进行测试，得到质量测试结果；一次处理层104用于根据数据的质量测试结果进行标准化处理，得到标准化数据，其中标准化处理包括格式标准化、异常数据的清除、错误纠正以及重复数据的清除；元数据存储层105用于对标准化数据按照生命周期进行优化处理和存储；二次处理层106用于对元数据存储层中的数据基于时态约束进行关联分析和特征分析，得到数据之间的时态关联特征数据；特征数据存储层107用于对时态关联特征数据进行存储；数据集融层108用于按照多维度时态关联特征数据与历史特征数据进行横向和纵向的数据集成与融合；计算模型层109用于基于数据集融层处理后的数据构建符合使用场景的计算模型；诊断预测层110用于对采集的实时数据选择计算模型层中相应的计算模型进行计算，得到计算结果；服务层111用于根据计算结果确定平台服务对象，将计算结果提供给相应的平台服务对象。

基于上述，在管理系统中将数据采集、处理、存储等阶段进行细化，设置多层系统架构，通过纵向划分将流式大数据梳理的更为清晰，实现分布式的数据采集和分阶段的数据处理方式，可以减少开发周期，每层单独处理使得系统具有更好的扩展性和灵活性。

以下对图1所示系统逐层进行详细介绍：

在本发明一实施例中，对象层101主要是一些工业设备，例如以起重机、车载气瓶、电站锅炉、工业储罐等典型特种设备为对象。

在本发明一实施例中，接入层102包括：类型确定模块和接入方式确定模块，类型确定模块用于对采集的数据进行整理并根据工业设备的类型结合设备类型与数据类型的映射关系确定需采集的数据类型；接入方式确定模块用于根据数据类型确定数据来源、数据存放位置、数据内容形式以及接入方式；其中接入方式包括中间件接入方式和远程传输方式。

接入层102用于将典型工业设备上需要采集的数据通过不同途径收集上来，具体途径与方法就是接入层需要完成的任务。在数据接入之前，需要确定采集哪些数据、数据存在方式以及数据接入方式。

图2为本发明实施例中根据产品全生命周期的定义得到的九类数据示意图，如图2所示，工业设备全生命周期的数据包括产品的设计、制造和运维三个阶段九类数据，分别是产品设计数据、制造工艺数据、人员操作数据、运行工况数据、设备状态数据、检验检测数据、历史故障数据、维护维修数据和运行环境数据从设计到运维的全生命周期的九类数据，每种数据具有很复杂的数据组成与相关关系，需要对这些数据进行分类整理，明确每类数据的具体内容，确定数据来源和数据内容形式，如表1所示：

表1

图3为本发明一实施例中以岸桥数据为例的起重机械全生命周期数据库的示意图，包括50多张表和600多个字段。

最后，对于数据源与平台之间的接入方式，根据表1可以将数据源有五个，数据形式可以分成三大类，具体接入方式可以分成两种，一种是利用中间件实现数据共享，另一种就是数据远程传输。

图4为本发明一实施例中数据接入方式过程示意图，如图4所示，数据来源有涉及部门系统、制造部门系统、检验部门系统、检测监测终端、设计使用单位，数据形式有数据库存储、结构化数据和非结构化数据，接入形式有中间件和远程传输。

中间件接入方式就是基于现有系统特征和应用需求，对应已有系统的数据采用基于中间件的数据集成方法进行集成，能够屏蔽操作系统和网络协议的差异，通过提供统一的数据逻辑视图，隐藏底层的数据细节，为用户提供透明的数据共享服务。其中，数据源可以是不同数据源中的数据，封装器用于解决局部模式到全局模式的映射，中间件则通过封装器和各个数据源进行交互，处理用户请求以及对全局查询的处理和优化，具有良好的通用性和扩展性。

本发明以起重机械的数据为例，根据其特征属性，采用中间件进行数据集成，具体过程为：

采集系统与平台数据库之间数据传输采用Socket方式。一台客户机，一台服务器。服务器提供服务，通IP地址和端口进行服务访问。而客户机通过连接服务器指定的端口进行消息交互。其中传输协议可以是TCP/UDP协议。而服务器根据具体对象接入的数据内容约定请求报文格式和响应报文格式。对于没有在数据库中存储管理的使用单位的纸质文件经过扫描之后上传至云服务器，具有的上传过程可以使用文件流来处理，从MultipartHttpServletRequest中获取MultipartFile对象即可，最后再调用文件服务器的接口上传即可，这个结果这样做可以同时被浏览器、IOS以及安卓等多方调用。

对于各种类型的实时数据需要通过远程传输的方式将其数据发送至云平台的数据中心。采集系统与平台数据库之间的数据传输有三个要素：传输方式、传输协议和数据格式，根据具体对象接入的数据内容分别确定其数据接口形式。

本实施例中关于使用单位的相关文件采用文件管理的方式上传至云平台数据中心，考虑到系统平台的分布式部署和集群环境，为了保证上传的文件能够统一管理，采用fastdfs的文件服务器(fastdfs是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件上传、文件下载等)，各个项目上传的图片都统一由文件服务器来管理，之后不论在分布式环境下或者集群环境下，只要根据分配的路径去访问就可以获得文件。

在本发明一实施例中，测试层103位于数据接入层和数据存储层之间，测试工作从数据源头出发，分别对采集终端数据质量、数据集成前后及数据传输过程进行测试。按照数据来源的不同，数据测试可以分成检验数据测试、动态运行参数的数据测试和结构健康监测状态数据测试三部分。

检验数据测试首先采用盲图像质量(Blind image quality，简称BIQ)评价方法，无需参考图像，根据失真图像的自身特征来估计图像的质量。然后将图像进行文本识别，提取数据信息，最后根据数据信息提取情况来判断检测数据的完整性。

动态运行参数的数据测试包括数据完整性、规范性、实时性的测试；结构健康监测状态数据测试包括数据完整性、规范性、准确性、实时性和可靠性的测试。工业大数据的数据质量特性与具体应用对象相关，可用一组维度来度量，质量测试结果的核心指标可以包括：数据完整性测试结果、数据规范性测试结果、数据准确性测试结果、数据一致性测试结果和数据实时性测试结果，测试层103主要通过完整性测试模块、规范性测试模块、准确性测试模块、一致性测试模块和实时性测试模块分别得到上述质量测试结果，具体如下：

完整性测试模块用于对采集的数据是否有数据缺失进行测试，得到数据完整性测试结果，测试数据支持各类应用，可追溯来源，不存在缺失的程度，例如结构健康监测状态数据包括很多传感器实时传输的数据，某些传感器可能因为线路、性能等问题导致数据缺失的现象，所以需要对数据的完整性进行测试。如约定有50个数据，分别代表各个开关量和操作指令，但是在传输过程中可能只有40个数据进行传输，这样就存在数据不完整的情况。

规范性测试模块用于对采集的数据传输的发送方与接收方的数据格式进行比对，得到数据规范性测试结果，例如平台内部事先已经嵌套了对应的数据发送格式，所以在接收数据之后需要比对数据定义核查每组数据的格式和内容，如果格式有问题，不仅向采集终端发送错误提示，以便采集终端可以根据错误提示对发送的数据进行相应的调整，便于纠错，而且对在规范性测试里面记录出现问题数据的时间和内容。

准确性测试模块用于对采集的数据的测量值与实际值之间的符合程度进行测试，得到数据准确性测试结果，针对结构化数据测试其数据的准确性，可在采集终端设定标准化事件，然后经过采集数据、发送数据、接收数据的过程，最后由平台判断接收数据与标准化数据的偏差程度，进而判断数据的准确度。

一致性测试模块用于判断采集的数据是否有不合语义的错误和关联逻辑关系的相同程度得到数据一致性测试结果，这里的数据主要是指可以根据使用方进行自定义刻画的数据，例如制造厂家、使用单位及检验机构所使用的设备编号是否一致，如果不一致也需要向采集终端发送提醒，以便纠错。

实时性测试模块用于根据采集的数据带有的时间戳与接收时间进行比较，得到数据实时性测试结果，该模块主要是判断测试数据是否符合应用时效要求的程度，每次上传的数据都带有时间戳，通过对比时间戳和接收时间来进行数据实时性测试，以便发现实时性不满足要求的数据。

需要说明的是，测试层103中针对结构化数据主要进行数据准确性测试、数据完整性测试、数据一致性测试和数据规范性测试，针对非结构化数据主要进行数据完整性测试，针对实时数据进行实时性测试。

在本发明一实施例中，一次处理层104用于根据数据质量测试结果对数据进行系列的适用性的一次处理，这里可以通过专业的ETL(Extract Transform Load，数据仓库技术)工具，进行清洗、转换、转载，转载到大数据平台，并形成元数据存储层相应的数据集和数据仓库以供上层业务进行统一数据的分析和处理。该层主要包括数据清洗处理和数据降噪处理，数据清洗主要通过填写缺失的值、光滑噪声数据、识别或删除离群点并解决不一致性来清理数据，通过一次处理层主要是达到格式标准化、异常数据清除、错误纠正、重复数据的清除。

根据数据源的不同，开展三种数据类型的预处理，具体为：检验元数据处理：将检验文本报告的非结构化数据转化为结构化数据等，这里采用图像处理方法；动态运行参数数据处理首先是对数据格式进行转换，然后再考虑对开关量数据进行处理，如去掉开关量的毛躁数据；结构健康监测状态数据处理主要针对采集频率较高的振动数据和声发射数据进行数据滤波和去噪处理。

在本发明一实施例中，数据存储是该系统的核心，本发明主要包括大量原始数据的元数据存储层105和经过特征分析处理过的特征数据存储层107。其中元数据存储层105包括：优化处理模块、归档模块和缓存模块，优化处理模块用于对全生命周期数据库中的非强相关的标准化数据进行分解，并按照生命周期进行优化处理，划分为历史数据和近期数据，其中历史数据为生命周期超过预设期限的数据，近期数据为生命周期在预设期限以内的数据；归档模块用于利用非关系型数据库对历史数据进行归档存储；缓存模块用于对近期数据加载到缓存中。

不同类型传感器采集数据的内容不同、衡量数值的尺度不同，比如有的长度单位用厘米有的用米，有的长度保存为整数有的保存为3位小数。

元数据存储层105中针对不同的数据进行不同的处理，经过对全生命周期数据内容分析发现有些数据实体本身体量较大并且有很多非强相关部分可以分解，图5为本发明一实施例中存储数据结构的优化的示意图，将较大的数据实体转化为多个较小的数据实体并使用关联关系进行关联，优化数据结构，减少数据的存储空间，提高了据的存取效率。由于设备全生命周期数据中有些数据经常被用到，比如某类型设备的编号，可以采用缓存策略将经常用到的数据加载到缓存中，可以加快数据的存取效率。

全生命周期数据存储需要占用大量空间，全部数据都保存在数据库中使得数据的使用效率十分低下。为了解决数据查询效率的低下问题，可以根据实际的数据使用需求使用非关系型数据库对数据进行归档，最频繁使用的数据仅是近一年内的数据，因此将历史数据进行归档可以很大程度提高数据使用效率。经过试验，非关系型数据库可以有效压缩非常用数据占用空间的大小。将超过一年的数据定时自动归档，并使用非关系型数据库保存历史数据，在提高数据使用效率的同时，降低数据存储所需空间。

PostgreSQL数据库是一个开放源码的免费数据库系统，主要用于对HIVE元数据的存储。元数据存储层105中存储的九类数据包括：产品设计数据、制造工艺数据、人员操作数据、运行工况数据、设备状态数据、检验检测数据、历史故障数据、维护维修数据和运行环境数据，其中设备状态数据进一步包括应变数据、振动数据和声发数据。

在本发明一实施例中，二次处理层106特征数据处理层，是对元数据存储层的数据进行二次处理，主要包括数据挖掘、图像处理、DS分析等方法，通过DS分析将数据进行一系列检索、整理，提取有效信息的专业，完成数据分析与挖掘。具体的，二次处理层106根据所进行的处理包括：图像处理模块、数据处理模块和数据挖掘模块，图像处理模块用于对元数据存储层中的图像数据进行图像处理识别；数据处理模块用于对元数据存储层中的数据和图像处理识别后的数据进行相应的数据处理；数据挖掘模块用于对处理后的数据基于时态约束进行时间维度的因果性分析、关联分析和特征分析，得到数据之间的时态关联特征数据。

针对工业设备检测监测多源异构数据，综合耦合多元分析、分形技术、信息熵和分类聚类等技术，交叉统计学、信息论、物理和机器学习等多学科理论，研究基于时态约束的多源数据线性和非线性关联辨识方法，分析不同时态和时滞场景下的多源信息关联特征和规则，为后续工业设备健康诊断和故障预测提供数据支持；基于时间维度上因果性分析，从物理角度尝试解析各关联信息间因果性机理，寻找设备检测监测生命周期内健康演进过程的重要影响因素，增加挖掘数据的有用性。

在本发明一实施例中，特征数据存储层107包括：产品设计特征数据、制造工艺特征数据、人员操作特征数据、运行工况特征数据、设备状态特征数据、检验检测特征数据、历史故障特征数据、维护维修特征数据和运行环境特征数据。特征数据存储层针对九类数据分别进行分析处理，从而得出九类特征数据，该数据为后面的数据集成、融合、诊断计算提供了基础。

数据存储层的整体架构图如图1所示，主要有三大部分组成：HDFS海量分布式文件系统，MPP DB海量结构化数据和以及前文的元数据存储系统。

HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储，为超大数据集(Large Data Set)的应用处理带来了很多便利。

MPP DB是海量结构化数据查询系统，可以进行准实时检索，有着对百亿级数据记录秒级检索查询能力，支持PB级别容量扩展，计算资源按需扩展，支持行存储和列存储两种存储模型，一般情况下，如果表的字段比较多(大宽表)，查询中涉及到的列不很多的情况下，适合列存储。如果表的字段个数比较少，查询大部分字段，那么选择行存储比较好。数据量比较大时，应该使用集群，使得数据尽量分布到各个节点，以提高并发度。

在本发明一实施例中，数据集融层108包括：历史数据提取模块和数据集融模块，历史数据提取模块用于对数据库中的数据按照时间序列、事务序列和事件序列获取融合时态数据集，得到历史特征数据；数据集融模块用于对历史特征数据按照设备全生命周期内多源时态数据基于时态关联特征数据进行深度挖掘，其中数据集成与融合过程中的“横向”是指同一时间段不同类型数据之间的融合，“纵向”是指一段时间内同一类型数据的融合。

数据集融层108就是平台特征数据集成和融合层，针对工业设备全生命周期内多源时态数据(包括时间序列、事务序列和事件序列的融合时态数据集)，基于时态关联特征，结合时间序列、小波变换、神经网络等多学科方法技术，从聚类、分类、趋势、离群分析等数据挖掘范畴，改进现有数据挖掘算法和模型，并通过仿真试验手段进行测试和比对，研发适用于时变、高维和多源的时态数据挖掘模型和算法，实现工业设备检测监测时态数据的特征识别和数据挖掘。

图6为本发明一实施例中设备管理平台架构从数据来源到数据集成再到数据融合过程的示意图，如图6所示，数据来源部分包括从设计系统、制造系统、安全监控系统、采集终端、检验系统、厂家管理系统和控制终端等，采集得到上述九类数据，经服务器端进行融合和存储，期间进行的处理包括数据压缩、数据融合、图像处理和数据挖掘，存储在分布式数据库、主数据仓库和Hadoop平台。

图7为本发明一实施例图6中数据分析过程的示意图，如图7所示，分别基于数据压缩算法库、数据融合算法库、图像处理算法库和数据挖掘算法库对数据进行压缩处理、融合处理、图像处理和挖掘处理，并对各自结果进行可视化。

在本发明一实施例中，计算模型层109用于计算模型层建立各种数据计算模型，主要以库文件进行存储，由关系数据库进行分类管理，计算模型包括累积损伤计算模型、疲劳寿命预测模型、可靠性评估模型和风险评估模型；然后根据关系数据库可以展示平台内包括的数据计算模型分类和数量情况。其中计算模型初步考虑一下几种情形：

(1)依据检验数据中设计、制造等结构尺寸、制造工艺等数据的特点，构建统计模型；

(2)依据设备运行过程参数的特点，构建相应的分析模型；

(3)依据设备状态监测数据，如应力、振动、温度、声发射等，构建相应的计算模型。

在本发明一实施例中，诊断预测层110主要依据动态监测数据开展设备健康状态诊断，包括初级诊断和高级诊断，初级诊断以检验数据为主的评估；高级诊断是数据驱动的诊断，除了诊断外，还包括性能评估、故障预测以及预知维修等工作。该层是将采集的数据通过计算模型进行分析计算，最终得出诊断和预测结果，因此该层包括：健康状态诊断模块、损伤识别模块、趋势预测模块、可靠性评估模块和风险评估模块，健康状态诊断模块用于根据实时数据对设备进行健康状态诊断，得到设备健康状态；损伤识别模块用于根据实时数据结合累积损伤计算模型进行损伤判断，得到损伤状态；趋势预测模块用于根据实时数据结合疲劳寿命预测模块进行状态趋势分析，得到趋势预测结果；可靠性评估模块用于根据实时数据结合可靠性评估模型进行评估，得到可靠性评估结果；风险评估模块用于根据实时数据结合风险评估模型进行评估，得到风险评估结果。

在本发明一实施例中，服务层120首先确定平台服务对象，包括：服务于特种设备安全监察政府、服务于特种设备检验检测机构、服务于特种设备产品应用企业、服务于特种设备产品制造企业。其中面向四类服务对象开展相关挖掘性服务，具体为：向政府提供风险评估结果，向企业提供优化设计和优化制造，向制造企业的用户提供趋势预测结果和设备健康状态，向检验机构提供健康诊断结果、趋势预测结果、风险评估结果、损伤状态和可靠性评估结果。

平台服务内容包括：

1、对于特种设备安全监察机构的服务包括：(1)起重机械数量分布图：国家监察部门落实到省、各省落实到地市、地市落实到各区县、区县落实到各企业；(2)起重机械分类与数量图；(3)起重机械设备数、年度待检设备数、已检设备数以及定检率；(4)起重机械风险分布图；(5)制造企业分布图；(6)检验机构分布图；(7)设备年限序列图。

2、对于特种设备检验检测机构的服务包括：(1)起重机械数量分布图：国家监察部门落实到省、各省落实到地市、地市落实到各区县、区县落实到各企业；(2)起重机械分类与数量图；(3)起重机械设备数、年度待检设备数、已检设备数以及定检率；(4)起重机械风险分布图；(5)起重机械设备年限序列图；(6)起重机械历史检验报告关联管理。

3、对于特种设备产品使用企业的服务包括：(1)起重机械制造企业与数量；(2)起重机械历史检验报告关联管理；(3)起重机械运行参数监控；(4)起重机械运行状态监测；(5)基于运行数据的健康状态诊断；(6)基于运行数据的性能评估；(7)基于运行数据的故障预测；(8)基于健康状态、性能评估、故障预测的多级预知维修决策。

4、对于特种设备产品制造企业的服务包括：(1)设备数量及全国分布图；(2)设备生产日期、数量及分布图；(3)设备投入运行日期、数量及分布图；(4)设备按投入时间排序；(5)设备健康状态及性能评估结果；(6)设备故障预测结果；(7)远程运维模式。

综上所述，采用本发明实施例提供的技术方案，针对典型工业设备大数据多源异构的特点，提出一种基于流式大数据的典型工业设备健康管理云平台架构与服务模式，通过纵向划分设计出多层次架构将数据流梳理的更为清晰，每层单独处理，使原来繁琐、困难的数据处理传输工作变得更加简单、安全、可靠；分布式的数据采集和分阶段的数据处理方式，便于开发工作并行，将极大的减少开发周期；数据采集、处理等模块单独成层，使系统具有更好的扩展性，给用户有足够的灵活度来定制今后的新的需求，为提升健康管理云服务奠定理论基础，具有较大的实践价值，将产生巨大的社会经济效益。基于测试层可以对数据进行完整性、准确性、一致性等多个维度的测试，排除干扰数据，简化后续处理。一次处理后的数据存储在元数据存储层，二次处理后的数据存储在特征数据存储层，然后再经数据集融层进行特征识别和数据挖掘，为后续评估和预测提供数据基础。最后在服务层为四类用户提供多种服务和相应的服务内容与形式，满足多样性要求。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种基于流式大数据的工业设备健康管理云平台架构，其特征在于，包括：

对象层，包括至少一种类型的工业设备；

接入层，用于针对对象层的工业设备选择相应的接入方式进行数据采集，得到多源异构数据；

测试层，用于对采集终端数据质量、数据集成前后以及数据传输过程进行测试，得到质量测试结果；

一次处理层，用于根据数据的质量测试结果进行标准化处理，得到标准化数据，其中标准化处理包括格式标准化、异常数据的清除、错误纠正以及重复数据的清除；

元数据存储层，用于对标准化数据按照生命周期进行优化处理和存储；

二次处理层，用于对元数据存储层中的数据基于时态约束进行关联分析和特征分析，得到数据之间的时态关联特征数据；

特征数据存储层，用于对时态关联特征数据进行存储；

数据集融层，用于按照多维度时态关联特征数据与历史特征数据进行横向与纵向的数据集成与融合；

计算模型层，用于基于数据集融层处理后的数据构建符合使用场景的计算模型；

诊断预测层，用于对采集的实时数据选择计算模型层中相应的计算模型进行计算，得到计算结果；

服务层，用于根据计算结果确定平台服务对象，将计算结果提供给相应的平台服务对象。

2.如权利要求1所述的基于流式大数据的工业设备健康管理云平台架构，其特征在于，所述接入层包括：

类型确定模块，用于对采集的数据进行整理并根据工业设备的类型结合设备类型与数据类型的映射关系确定需采集的数据类型；

接入方式确定模块，用于根据数据类型确定数据来源、数据存放位置、数据内容形式以及接入方式；

其中接入方式包括中间件接入方式和远程传输方式。

3.如权利要求1所述的基于流式大数据的设备健康管理云平台架构，其特征在于，所述质量测试结果包括数据完整性测试结果、数据规范性测试结果、数据准确性测试结果、数据一致性测试结果和数据实时性测试结果，所述测试层包括：

完整性测试模块，用于对采集的数据是否有数据缺失进行测试，得到数据完整性测试结果；

规范性测试模块，用于对采集的数据传输的发送方与接收方的数据格式进行比对，得到数据规范性测试结果；

准确性测试模块，用于对采集的数据的测量值与实际值之间的符合程度进行测试，得到数据准确性测试结果；

一致性测试模块，用于判断采集的数据是否有不合语义的错误和关联逻辑关系的相同程度，得到数据一致性测试结果；

实时性测试模块，用于根据采集的数据带有的时间戳与接收时间进行比较，得到数据实时性测试结果。

4.如权利要求3所述的基于流式大数据的设备健康管理云平台架构，其特征在于，所述测试层针对结构化数据进行数据准确性测试、数据完整性测试、数据一致性测试和数据规范性测试，针对非结构化数据进行数据完整性测试，针对实时数据进行实时性测试。

5.如权利要求1所述的基于流式大数据的工业设备健康管理云平台架构，其特征在于，所述元数据存储层包括：

优化处理模块，用于对全生命周期数据库中的非强相关的标准化数据进行分解，并按照生命周期进行优化处理，划分为历史数据和近期数据，其中历史数据为生命周期超过预设期限的数据，近期数据为生命周期在预设期限以内的数据；

归档模块，用于利用非关系型数据库对历史数据进行归档存储；

缓存模块，用于对近期数据加载到缓存中。

6.如权利要求1所述的基于流式大数据的工业设备健康管理云平台架构，其特征在于，所述二次处理层包括：

图像处理模块，用于对元数据存储层中的图像数据进行图像处理与识别；

数据处理模块，用于对元数据存储层中的数据和图像处理识别后的数据进行相应的数据处理；

数据挖掘模块，用于对处理后的数据基于时态约束进行时间维度的因果性分析、关联分析和特征分析，得到数据之间的时态关联特征数据。

7.如权利要求1所述的基于流式大数据的工业设备健康管理云平台架构，其特征在于，所述元数据存储层中存储的数据包括：产品设计数据、制造工艺数据、人员操作数据、运行工况数据、设备状态数据、检验检测数据、历史故障数据、维护维修数据和运行环境数据从设计到运维的全生命周期的九类数据；

所述特征数据存储层包括：产品设计特征数据、制造工艺特征数据、人员操作特征数据、运行工况特征数据、设备状态特征数据、检验检测特征数据、历史故障特征数据、维护维修特征数据和运行环境特征数据。

8.如权利要求1所述的基于流式大数据的工业设备健康管理云平台架构，其特征在于，所述数据集融层包括：

历史数据提取模块，用于对数据库中的数据按照时间序列、事务序列和事件序列获取融合时态数据集，得到历史特征数据；

数据集融模块，用于对历史特征数据按照设备全生命周期内多源时态数据基于时态关联特征数据进行深度挖掘。

9.如权利要求1所述的基于流式大数据的工业设备健康管理云平台架构，其特征在于，所述计算模型包括累积损伤计算模型、疲劳寿命预测模型、可靠性评估模型和风险评估模型。

10.如权利要求1所述的基于流式大数据的工业设备健康管理云平台架构，其特征在于，所述诊断预测层包括：

健康状态诊断模块，用于根据实时数据对设备进行健康状态诊断，得到设备健康状态；

损伤识别模块，用于根据实时数据结合累积损伤计算模型进行损伤判断，得到损伤状态；

趋势预测模块，用于根据实时数据结合疲劳寿命预测模块进行状态趋势分析，得到趋势预测结果；

可靠性评估模块，用于根据实时数据结合可靠性评估模型进行评估，得到可靠性评估结果；

风险评估模块，用于根据实时数据结合风险评估模型进行评估，得到风险评估结果。

Images