CN108229828A - 一种基于工业数据的分析系统 - Google Patents

Abstract

本发明提供了一种基于工业数据的分析系统，应用于工业设备中，其中，分析系统中包括多个算法模块，包括：数据获取单元，用于获取工业设备的工业数据；数据分析单元，用以根据工业数据选择需要调用的算法模块以及对应算法模块的配置参数，以形成算法模块的调用信息；数据处理单元，用以根据调用信息调用对应的算法模块，算法模块根据配置参数对工业数据进行处理并将处理结果返回至数据分析单元；模型构建单元，用以根据数据处理单元调用的算法模块对工业数据进行处理的流程形成工业数据处理模型。其技术方案的有益效果在于，克服了现有技术中，采用定制化的分析方法给开发人员带来较大的代码编写工作，影响项目实施效率造成开发效率低的问题。

Description

一种基于工业数据的分析系统

技术领域

本发明涉及通信技术领域，尤其涉及一种基于工业数据的分析系统。

背景技术

随着工业化与信息化的深度融合以及工业物联网的迅速发展，大量能够表示设备运行状态、生产运行情况的数据被收集起来，工业企业由此积累了大量的工业数据。通过收集的工业数据，使得利用基于数据驱动的机器学习方法在工业领域中发挥作用成为可能。工业大数据应用的价值虽然潜力巨大，但是围绕工业数据分析需求，如何能够更加有效地利用好数据，提供更快的项目实施效率，更高的项目质量，进而让工业数据真正为企业带来价值，才是问题的核心。

现有在对工业数据展开分析与应用的过程中，大多以定制化开发的方式实现数据的基本分析、预处理、算法建模等离线分析过程，进一步将训练好的模型嵌入在线应用系统中实现数据在模型中的实时接入分析。

现有在数据分析与建模过程中存在以下问题：

一方面，不同工业企业历史数据积累情况不同，数据质量可能有好有坏，这也直接影响着下一步的数据挖掘与分析工作；

另一方面，具体的工业对象或应用场景不同，数据特征也往往存在很大差异，具体的开发过程往往需要具体问题具体分析，针对不同的数据质量、数据特征等，需要选择不同的数据处理算法，这样才能逐步发现数据中隐含的数据关系，进而训练出满足当前应用需求的算法模型。

离线数据的分析完成之后，训练得到能够在测试样本中取得满意效果的算法模型，但只有将该模型应用在线系统，实时输入新样本数据，用离线建模阶段产生的各数据处理环节模型信息对新样本进行处理，进而得到模型输出，才能发挥算法模型的真正作用，解决预测、监控等工业过程中的实际业务问题。而现阶段，虽然也有一些数据分析工具可供开发人员使用，为开发人员对历史数据分析提供便利，在一定程度上辅助其完成离线数据分析与建模阶段的基本分析工作，但往往难以将训练好的模型便捷的用于在线应用系统的开发中。

发明内容

针对现有技术中对工业数据分析存在的上述问题，现提供一种旨在实现开发效率高、单元模块之间复用程度高且形成的工业数据处理模型可直接在线应用的分析系统。

具体技术方案如下：

一种基于工业数据的分析系统，应用于工业设备中，其中，所述分析系统中包括多个算法模块，每个所述算法模块包括多个配置参数；

包括：

数据获取单元，用于获取所述工业设备的工业数据；

数据分析单元，与所述数据获取单元连接，用以根据所述工业数据选择需要调用的所述算法模块以及对应所述算法模块的所述配置参数，以形成所述算法模块的调用信息；

数据处理单元，与所述数据分析单元连接，用以根据所述调用信息调用对应的所述算法模块，所述算法模块根据所述配置参数对所述工业数据进行处理并将处理结果返回至所述数据分析单元；

模型构建单元，与所述数据处理单元连接，用以根据所述数据处理单元调用的所述算法模块对所述工业数据进行处理的流程形成工业数据处理模型。

优选的，所述数据分析单元提供一图形交互界面，通过所述图形交互界面选择对应的所述算法模块以及对应所述算法模块的所述配置参数以形成对应所述算法模块的所述调用信息，和/或

所述数据分析单元用以将所述数据处理单元返回的所述处理结果，以预定的显示方式显示于所述图形交互界面中。

优选的，提供一数据存储单元，所述数据存储单元与所述数据获取单元连接，所述存储存储单元用以保存所述工业数据；

所述数据获取单元在与所述数据存储单元配置建立连接之后，于所述数据存储单元中获取所述工业数据。

优选的，所述数据处理单元包括一数据质量评估模块；

当所述数据分析单元生成的所述调用信息为质量评估调用信息时，所述数据处理单元根据所述质量评估调用信息调用所述数据质量评估模块对所述工业数据进行质量分析以及统计分析，并将形成的处理结果返回至所述数据分析单元。

优选的，所述数据处理单元包括一数据预处理模块；

当所述数据分析单元生成的所述调用信息为数据预处理调用信息时，所述数据处理单元根据所述数据预处理调用信息调用所述数据预处理模块对所述工业数据进行包括缺失值处理、离群点处理、数据平滑处理以及数据标准化处理，并将形成的处理结果返回至所述数据分析单元。

优选的，所述数据处理单元包括一数据特征提取模块；

当所述数据分析单元生成的所述调用信息为数据特征提取调用信息时，

所述数据处理单元根据数据特征提取调用信息调用所述数据特征提取模块对所述工业数据进行降维度处理，并将形成的处理结果返回至所述数据分析单元。

优选的，所述分析系统中包括所述算法模块对工业数据进行处理的历史记录；

所述数据分析单元包括一算法推荐模块，所述算法推荐模块用以将所述工业数据与历史记录进行匹配，以推荐匹配度最高的所述算法模块供使用者选择。

优选的，所述模型构建单元用以将所述工业数据处理模型形成于一脚本文件中。

优选的，所述模型构建单元包括：

模型配置模块，所述模型配置模块用以对所述构建的所述工业数据处理模型的输入以及输出接口进行配置。

优选的，所述分析系统包括基础管理单元，所述基础管理单元用以对所述数据分析单元以及所述数据处理单元进行参数设置。

上述技术方案具有如下优点或有益效果：现开发效率高、模块之间复用程度高且形成的工业数据处理模型可直接在线应用，克服了现有技术中，采用定制化的分析方法给开发人员带来较大的代码编写工作，影响项目实施效率造成开发效率低，各模块之间的复用程度低，分析中的算法选择依赖开发人员的经验，建模之后的模型难以直接进行在线应用的问题。

附图说明

参考所附附图，以更加充分的描述本发明的实施例。然而，所附附图仅用于说明和阐述，并不构成对本发明范围的限制。

图1为本发明一种基于工业数据的分析系统实施例的结构示意图；

图2为本发明一种基于工业数据的分析系统实施例中，关于前端的结构示意图；

图3为本发明一种基于工业数据的分析系统实施例中，关于数据处理单元的结构示意图；

图4为本发明一种基于工业数据的分析系统实施例中，给出的一具体实施例流程图。

附图标记表示：

1、前端；11、数据获取单元；12、数据分析单元；13、数据存储单元；121、算法推荐模块；2、后端；21、数据处理单元；22、模型构建单元；23、算法模块；211、数据质量评估模块；212、数据预处理模块；213、数据特征提取模块；3、基础管理单元；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

本发明的技术方案中包括一种基于工业数据的分析系统。

一种基于工业数据的分析系统的实施例，应用于工业设备中，其中，分析系统中包括多个算法模块，每个算法模块包括多个配置参数；

如图1所示，包括：

数据获取单元11，用于获取工业设备的工业数据；

数据分析单元12，与数据获取单元11连接，用以根据工业数据选择需要调用的算法模块23以及对应算法模块23的配置参数，以形成算法模块23的调用信息；

数据处理单元21，与数据分析单元12连接，用以根据调用信息调用对应的算法模块23，算法模块23根据配置参数对工业数据进行处理并将处理结果返回至数据分析单元12；

模型构建单元22，与数据处理单元21连接，用以根据数据处理单元21调用的算法模块23对工业数据进行处理的流程形成工业数据处理模型。

针对现有技术中，采用定制化的分析方法给开发人员带来较大的代码编写工作，影响项目实施效率造成开发效率低，各模块之间的复用程度低，分析中的算法选择依赖开发人员的经验，建模之后的模型难以直接进行在线应用的问题。

本发明中，通过数据获取单元11获取工业设备的工业数据，数据分析单元12以一种可交互的方式供使用者选择算法模块23以及与算法模块23对应的配置参数，以形成算法模块23的调用信息，数据处理单元21根据调用信息选择与调用信息对应的算法模块23，算法模块23根据调用信息中的配置参数对工业数据进行处理以形成处理结果，并将处理结果返回至数据分析单元12供使用者查看，模型构建单元22则将数据处理单元21调用的算法模块23对工业数据进行处理的流程形成工业数据处理模型，该工业数据处理模型可方便进行在线应用。

如图2所示，需要说明的是在分析系统中，数据获取单元11、数据分析单元12可作为交互的前端1，数据处理模块以及模型构建单元22可作为分析系统中的后端2的算法逻辑层。

在一种较优的实施方式中，数据分析单元12提供一图形交互界面，通过图形交互界面选择对应的算法模块23以及对应算法模块23的配置参数以形成对应算法模块23的调用信息。

上述技术方案中，提供的图形交互界面可实现离线数据分析与工业数据处理模型建模阶段的数据分析工作，并保存在线数据接入与模型应用阶段所需的各类模型训练信息。

例如在选择算法模块23的过程中，在图形交互界面中，数据分析工作流通过图形化模块拖拽方式实现算法功能模块的调用，算法通过管理模块统一管理，能够直接拖入前端1界面在工作流搭建区域，形成图形化的表示形式，比如方框形式等，并配有算法参数设置页面。

然后通过有向连接线连接各算法模块23，表示各个环节算法模块23之间的输入输出传递。

在一种较优的实施方式中，数据分析单元12提供一图形交互界面，数据分析单元12用以将数据处理单元21返回的处理结果，以预定的显示方式显示于图形交互界面中。

在一种较优的实施方式中，提供一数据存储单元13，数据存储单元13与数据获取单元11连接，存储存储单元用以保存工业数据；

数据获取单元11在与数据存储单元13配置建立连接之后，于数据存储单元13中获取工业数据。

上述技术方案中，分析系统支持多种主流格式的数据源的导入，如mysql、excel、txt、csv等格式，通过将导入的数据保存至数据存储单元13中，可供数据获取单元11于数据存储单元13中获取相关的工业数据；

其中对于导入的数据源可进行导入配置，即对导入的数据源文件中的数据可选择部分导入，或者全部导入，需要说明的是分析系统中的数据存储单元13可以是一数据库。

在一种较优的实施方式中，如图3所示，数据处理单元21包括一数据质量评估模块211；

当数据分析单元12生成的调用信息为质量评估调用信息时，数据处理单元21根据质量评估调用信息调用数据质量评估模块211对工业数据进行质量分析以及统计分析，并将形成的处理结果返回至数据分析单元12。

上述技术方案中，在工业数据获取完成后，在图形交互界面中可以选择以列表形式展示工业数据，可通过手动点选的方式，选择某具体变量信息，以图形形式(如单变量曲线图、双变量散点图等)展示变量间的关系，进行数据探索，基于上述的变量信息以及图形形式展示变量之间的关系生成质量评估调用信息，

数据处理模块进根据指令评估调用信息对工业数据进行对应的回归、分类或者聚类的数据分析，根据数据分析目的不同，选择合适的数据质量评估以及可挖掘性评估指标(如异常值检验、缺失值检验、冗余性检验等)，基于评估规则计算数据在各指标限定条件下的加权得分，实现数据质量的定量评估，客观判断该数据集是否适合于后续的数据挖掘与分析工作。

需要说明的是，选择的变量信息、图形类型信息可以在前端1即图形交互界面中设置，在设置完成变量信息、图形类型等信息之后，可运行返回基本统计信息(如数据规模、变量类型、范围、均方差、缺失值等)、变量关系的图形展示(如散点图等)、数据质量评估结果。

在一种较优的实施方式中，数据处理单元21包括一数据预处理模块212；

当数据分析单元12生成的调用信息为数据预处理调用信息时，数据处理单元21根据数据预处理调用信息调用数据预处理模块212对工业数据进行包括缺失值处理、离群点处理、数据平滑处理以及数据标准化处理，并将形成的处理结果返回至数据分析单元12。

上述技术方案中，数据的预处理过程中能够可手动选定待处理的变量，并将历史数据集通过手动或自动的方式划分为训练集和测试集以完成后续算法建模环节中的模型训练与算法性能评估，包括但不限于缺失值补充与删除模块、离群点去除模块、数据平滑模块、数据标准化模块。

尤其是具有数据预处理算法分析步骤上的推荐功能，自动分析数据集的特点，并根据其特点，推荐下一步合适的步骤。

如根据特征数目的多少，决定是否推荐“特征选择或降维”步骤；

根据是否有缺失值，决定是否推荐“缺失值处理”等步骤。

采用引导式的方式，推荐给用户下一步应该做什么分析或处理，引导用户进行自助式的数据分析。

前端1即图形交互界面输入的信息主要包括：待处理的输入输出变量(手动设定)、训练测试集的分割方式设定、缺失值补充及删除方式选择与参数配置、离群点去除方式选择与参数配置、数据平滑方法选择与参数配置、标准化方法选择与参数配置；

根据图形交互界面输入的信息生成数据预处理调用信息，数据处理单元21根据数据预处理调用信息，执行对工业数据进行包括缺失值处理、离群点处理、数据平滑处理以及数据标准化等的处理，并将形成的处理结果包括回缺失值处理结果、离群点去除结果、数据平滑结果、标准化的数据结果返回至数据分析处理单元。在一种较优的实施方式中，数据处理单元21包括一数据特征提取模块213；

当数据分析单元12生成的调用信息为数据特征提取调用信息时，

数据处理单元21根据数据特征提取调用信息调用数据特征提取模块213对工业数据进行降维度处理，并将形成的处理结果返回至数据分析单元12。

上述技术方案中，实现数据特征的提取，可包括手动选择特征变量方式或采用各类特征提取算法(如主成分分析方法、偏最小二乘方法等)进行自动降维处理。

图形交互界面上输入的信息主要包括手动选择变量、降维方法选择、方法参数配置，根据输入的变量生成数据特征提取调用信息，数据处理单元21基于数据特征提取调用信息对工业数据进行特征提出处理之后，将将形成的处理结果返回至数据分析单元12，通过数据分析单元12提供的图形交互界面进行显示。

在一种较优的实施方式中，分析系统中包括算法模块23对工业数据进行处理的历史记录；

数据分析单元12包括一算法推荐模块121，算法推荐模块121用以将工业数据与历史记录进行匹配，以推荐匹配度最高的算法模块23供使用者选择。

上述技术方案中，根据不同工业数据分析需求，包括但不限于回归、分类、聚类等算法，选择具体的方法进行数据建模处理。

在该环节中，针对具体的工业数据分析问题，需要选择合适的算法进行建模，如神经网络、随机森林等，甚至是若干算法的融合。

但每个算法有其特点和适用的问题，这些信息往往需要大量的算法应用经验，而这对于业务工程师则有较大难度。

本实施例中，分析系统能够根据实际数据情况以及算法历史使用情况推荐用户哪种算法更有用。

具体是通过对工业数据进行处理的历史记录(历史记录可包括分析需求、数据特征、历史日志信息、算法应用效果信息等，)分析，推荐使用的算法。

在可能需要对算法进行优化或融合其他方法时，推荐与所选择算法可有效结合的算法、算法优化模块或其他能够进一步提高建模精度的模块，引导用户完成复杂的数据建模任务。

前端1中的图形交互界面中输入的信息主要包括：算法类别的选择、各类别中具体算法的选择、算法参数的设置、算法评价指标(含指标优先级)的配置信息，该配置信息用以推荐的算法模块23进一步筛选出最为合适的算法模块23对工业数据进行处理。

在一种较优的实施方式中，模型构建单元22用以将工业数据处理模型形成于一脚本文件中。

上述技术方案中，经过训练得到的算法模型及相关信息自动生成规范化的训练模型的脚本文件，使得开发人员只需做好新样本输入与返回结果输出的接口配置，即可将训练好的能够满足特定需要的工业数据处理模型嵌入其在线系统中；

工业数据处理模型即离线训练模型等相关信息自动生成在线所需程序脚本的功能，最大程度的减少离线训练模型移植至在线应用过程的工作量，极大的降低了历史数据分析建模与模型在线应用之间的过渡难度。

在一种较优的实施方式中，模型构建单元22包括：

模型配置模块，模型配置模块用以对构建的工业数据处理模型的输入以及输出接口进行配置。

在一种较优的实施方式中，分析系统包括基础管理单元3，基础管理单元3用以对数据分析单元12以及数据处理单元21进行参数设置。

上述技术方案中，在基础管理单元3中，可实现对各环节算法包的集中管理，同时管理操作日志、离线分析报告以及过去所搭建的工作流信息，可实现便利的查询检索功能。

以下以一种具体的实施方式进行说明，参见图4；

1)、数据获取单元11，可于图形交互界面中拖动数据获取类别中的数据库连接模块，获取该工业设备相关的历史数据集共计51个变量，20000条样本数据，在图形交互界面可设置显示5000条数据进行返回显示，观察数据基本情况。

2)、数据质量评估模块211，主要执行数据探索与质量评估，针对上述工业数据，数据质量评估模块211选择返回历史数据集中的基本变量标准差、方差等统计信息以及缺失值信息进行数据的基本探索，使用者可在图形交互界面中选择不同变量，多次运行，从图形上观察其分布情况。进一步选择数据质量评估模块211，进行数据质量评估，并进行结果返回。

3)、数据预处理模块212，由于上一环节中本实例的数据质量较好，无需进行缺失值补充以及离群点去除，将历史数据集的70％划分为训练集；

剩余30％作为测试集，并指定输出变量，在数据预处理环节中直接选用数据标准化操作，在标准化模块中设置选用z-score标准化方法，并将标准化结果连接结果展示环节，直接观察标准化之后的数据情况。

4)、数据特征提取模块213，在特征提取环节中，将分析算法拖入工作流，并设置贡献度85％为主成分选择标准对输入数据集进行特征提取降维，降维主成分个数变为8个。

5)、将算法建模环节中的神经网络进行建模，连接训练集输入输出、测试集输入输出接口，并设置神经网络相关参数。其输出结果直接返回前端1进行展示。

在图形交互界面中反复调节参数，多次运行后，模型结果满足精度要求，点击保存生成历史数据集分析报告、训练模型图形化模块已经对应的训练模型的脚本文件。

6)、在线应用环节中配置好新样本输入数据库信息，连接分析系统中的训练模型图形化模块，结果直接返回展示，随着数据库中新样本数据的不断存入，模型不断输出新样本对应的预测结果，达到实时预测的目的。同时训练模型脚本文件可直接用于在线系统开发。

以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (10)

1.一种基于工业数据的分析系统，应用于工业设备中，其特征在于，所述分析系统中包括多个算法模块，每个所述算法模块包括多个配置参数；

包括：

数据获取单元，用于获取所述工业设备的工业数据；

数据分析单元，与所述数据获取单元连接，用以根据所述工业数据选择需要调用的所述算法模块以及对应所述算法模块的所述配置参数，以形成所述算法模块的调用信息；

数据处理单元，与所述数据分析单元连接，用以根据所述调用信息调用对应的所述算法模块，所述算法模块根据所述配置参数对所述工业数据进行处理并将处理结果返回至所述数据分析单元；

模型构建单元，与所述数据处理单元连接，用以根据所述数据处理单元调用的所述算法模块对所述工业数据进行处理的流程形成工业数据处理模型。

2.根据权利要求1所述的分析系统，其特征在于，所述数据分析单元提供一图形交互界面，通过所述图形交互界面选择对应的所述算法模块以及对应所述算法模块的所述配置参数以形成对应所述算法模块的所述调用信息，和/或

所述数据分析单元用以将所述数据处理单元返回的所述处理结果，以预定的显示方式显示于所述图形交互界面中。

3.根据权利要求1所述的分析系统，其特征在于，提供一数据存储单元，所述数据存储单元与所述数据获取单元连接，所述存储存储单元用以保存所述工业数据；

所述数据获取单元在与所述数据存储单元配置建立连接之后，于所述数据存储单元中获取所述工业数据。

4.根据权利要求1所述的分析系统，其特征在于，所述数据处理单元包括一数据质量评估模块；

当所述数据分析单元生成的所述调用信息为质量评估调用信息时，所述数据处理单元根据所述质量评估调用信息调用所述数据质量评估模块对所述工业数据进行质量分析以及统计分析，并将形成的处理结果返回至所述数据分析单元。

5.根据权利要求1所述的分析系统，其特征在于，所述数据处理单元包括一数据预处理模块；

当所述数据分析单元生成的所述调用信息为数据预处理调用信息时，所述数据处理单元根据所述数据预处理调用信息调用所述数据预处理模块对所述工业数据进行包括缺失值处理、离群点处理、数据平滑处理以及数据标准化处理，并将形成的处理结果返回至所述数据分析单元。

6.根据权利要求1所述的分析系统，其特征在于，所述数据处理单元包括一数据特征提取模块；

当所述数据分析单元生成的所述调用信息为数据特征提取调用信息时，

所述数据处理单元根据数据特征提取调用信息调用所述数据特征提取模块对所述工业数据进行降维度处理，并将形成的处理结果返回至所述数据分析单元。

7.根据权利要求1所述的分析系统，其特征在于，所述分析系统中包括所述算法模块对工业数据进行处理的历史记录；

所述数据分析单元包括一算法推荐模块，所述算法推荐模块用以将所述工业数据与历史记录进行匹配，以推荐匹配度最高的所述算法模块供使用者选择。

8.根据权利要求1所述的分析系统，其特征在于，所述模型构建单元用以将所述工业数据处理模型形成于一脚本文件中。

9.根据权利要求8所述的分析系统，其特征在于，所述模型构建单元包括：

模型配置模块，所述模型配置模块用以对所述构建的所述工业数据处理模型的输入以及输出接口进行配置。

10.根据权利要求1所述的分析系统，其特征在于，所述分析系统包括基础管理单元，所述基础管理单元用以对所述数据分析单元以及所述数据处理单元进行参数设置。