CN109739922A - 一种工业数据智能分析系统 - Google Patents

Abstract

本发明公开一种工业数据智能分析系统，属于智能分析技术领域，包括工业数据接入DA、交互式可视化IV和智能分析AI；具体步骤如下；步骤一：整个工业数据智能分析系统采用数据接入+大数据底层分析平台+应用层Web可视化架构模式；步骤二：数据源添加；步骤三：采集数据进行存储以及数据集成；步骤四：数据预处理；步骤五：算法分析和任务开发，对数据预处理后的数据，根据业务场景进行建模，采用智能分析AI,提供底层的分析算法配置，可拖拽式自定义任务流，对任务进行周期或立即处理配置；步骤六：运营管理及展示。有益效果是实现对大量工业数据的智能分析，挖掘出工业数据的潜在价值；丰富的图形探索可视化界面，提供一站式服务。

Description

一种工业数据智能分析系统

技术领域

本发明涉及一种工业数据智能分析系统，属于智能分析技术领域。

背景技术

随着工业制造智能化、信息化、数据化等不断深入，从客户需求到销售、订单、计划、研发、设计、工艺、制造、采购、供应、库存、发货和交付、售后服务、运维、报废或回收再制造等整个产品全生命周期各个环节产生的各类数据大幅增加，数据越来越多，越来越杂，对数据的处理分析能力要求也不断提高。传统工业数据接入能力支持协议具有很大的局限性，数据预处理功能单一。

目前很多系统对数据的处理能力还比较简单，只是进行一般的数据采集、过滤、存储，能力单一，缺乏智能化和底层的分析算法；因此，如何进行数据集成，智能分析，数据治理，挖掘其中隐藏的价值成为重中之重。

发明内容

针对上述现有技术存在的问题，本发明提供一种工业数据智能分析系统，用以实现对大量工业数据的智能分析，挖掘出工业数据的潜在价值；丰富的图形探索可视化界面，提供一站式服务，形成了强大的工业互联网智能分析系统。

为了实现上述目的，本发明采用的技术方案是：一种工业数据智能分析系统，包括工业数据接入DA（Data Access）、交互式可视化IV（Interactive visualization）和智能分析AI；具体步骤如下；

步骤一：整个工业数据智能分析系统采用数据接入+大数据底层分析平台+应用层Web可视化架构模式；

步骤二：数据源添加，通过对工业数据进行采集，因工业设备、智能产品等型号和协议的多样化，因此，本系统对大量设备型号和协议进行解析，提供完善的适配器，动态对接各种工业设备；

步骤三：采集数据进行存储以及数据集成，本系统支持PB级工业大数据量的分类存储，可支持多租户模式，传统关系型数据库用于存放较小的数据量；

步骤四：数据预处理，本系统采用工业数据接入DA提供数据预处理功能，对数据进行清洗、数据转换、数据归类；

步骤五：算法分析和任务开发，对数据预处理后的数据，根据业务场景进行建模，采用智能分析AI,提供底层的分析算法配置，可拖拽式自定义任务流，对任务进行周期或立即处理配置；

步骤六：运营管理及展示，通过交互式可视化IV，将建模分析的数据进行可视化展示。

优选的，所述的步骤一和步骤二中的数据源添加和采集数据进行存储以及数据集成，系统支持从工业设备、生产装置、工业产品等各类设备的嵌入式系统、控制系统、附加传感器中直接接入开关量、实时运行参数等海量异构数据；利用以智能网关为代表的新型边缘计算设备实现智能传感器和设备数据的接入，将互相关联的分布式异构数据源集成到一起, 使用户能够以透明的方式访问这些数据源；作为工业互联网智能分析系统的必要前提，该功能从mysql，sqlserver，mongoDB等各类主流数据库、k-v数据库、文件系统等，通过数据同步、数据过滤、日期解析，进行不同数据库之间的数据转换或者进行数据ETL（Extract-Transform-Load ）处理，实现智能分析的数据准备。

优选的，所述的数据同步的一个过程具体为通过Sqoop进行全量数据导入导出、增量数据导入导出、并发导入，支持各种数据库；所述的数据过滤具体为通过过滤算法进而策略配置对数据进行处理；所述的日期解析，通过对含有日期的批量的数据，配置年、月、日，自动识别数据中的日期，进行时间分区分类存储。

优选的，所述的步骤四中的工业数据接入DA（Data Access）支持各种工业设备、工业系统、智能产品等数据解析协议；进行工业数据预处理，包括但不限于数据清洗、数据规约、数据转换等，用户还可以通过自动化预处理算子来自动化地进行数据处理；针对工业数据的实时预处理功能，提供了超过200余种算子；支持Mysql，SqlServer，MongoDB、RDBs、HDFS、ORC、Parquet、本地CSV等各类数据源数据接入和存储。

优选的，所述的步骤五中的智能分析AI具体工作过程为对目前工业分析模型和分析算法的缺失，应对大数据量的计算，本专利实现了多种机器学习和深度学习的分布式算法，并对支持不同算法的硬件作了融合计算和针对性优化；此外，还支持包括手动拖拽来构建复杂神经网络，也可以直接写入代码构建深度学习模型。

优选的，所述的步骤六中的交互式可视化I V包括工业数据接入操作的可视化配置界面，数据预处理界面，工业数据采集处理任务流的配置和处理界面，任务运行周期配置、执行过程监控界面，工业数据智能分析算法配置界面，智能分析AI自定义算法界面，工业数据分析结果潜在价值展示界面。

优选的，所述的步骤四中的数据预处理的存储方法包括有传统数据库索引表存储，使用字典存储以及使用HDF5文件存储；所述的传统数据库索引表存储具体为将数据分类，按一定的字段（例如时间、名称等）创建对应的索引表，通过jdbc等方式存入Mysql、Oracle等传统数据库；所述的使用字典存储具体为将数据按字典方式进行排序存储。

优选的，所述的步骤四中的数据预处理中的数据清洗具体包括以下步骤：

第一步：缺失值清洗，确定缺失值范围，对每个字段都计算其缺失值比例，分别制定策略；删掉不必要的字段内容，以业务知识或经验推测填充缺失值，以同一指标的计算结果（均值、中位数、众数等）填充缺失值，以不同指标的计算结果填充缺失值，如果某些指标非常重要又缺失率高，那就需要和取数人员或业务人员了解，是否有其他渠道可以取到相关数据；

第二步：格式内容清洗，时间、日期、数值、全半角等显示格式不一致，将其处理成一致的某种格式；内容中有不该存在的字符，这种情况下，需要以半自动校验半人工方式来找出可能存在的问题，并去除不需要的字符；

第三步：逻辑错误清洗，这部分的工作是去掉一些使用简单逻辑推理就可以直接发现问题的数据，防止分析结果走偏。主要包含：去重、去除不合理值、修正矛盾内容；

第四步：非需求数据清洗，把不要的字段删了。

优选的，所述的步骤五中的分布式算法为基于决策树算法和回归算法，采用对误差的衡量来探索变量之间的关系，通过树状结构建立决策模型，解决分类和回归问题，从而达到智能分析的目的；智能分析算法是工业互联网智能分析的核心，通过算法界面的配置，能够实现对预处理后的数据进行有价值的计算分析。

本发明的有益效果是：本发明公开了一种工业数据智能分析的系统，智能分析AI是整个系统的核心。针对各种工业设备、工业系统、智能产品等大量的数据接入存储，动态配置各类分析算法，包含丰富的高性能分布式算法，例如常见的分类、回归、聚类、推荐、时序、统计等，还包含大量深度学习算法以及NLP、图像处理等高级算法，并支持分析算法的自定义扩展；实现对大量工业数据的智能分析，挖掘出工业数据的潜在价值；丰富的图形探索可视化界面，提供一站式服务，形成了强大的工业互联网智能分析系统。

附图说明

图1为本发明的核心处理流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面通过附图及实施例，对本发明进行进一步详细说明。但是应该理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限制本发明的范围。

除非另有定义，本文所使用的所有的技术术语和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同，本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

如图1所示，一种工业数据智能分析系统，包括工业数据接入DA（Data Access）、交互式可视化IV（Interactive visualization）和智能分析AI；具体步骤如下；

步骤一：整个工业数据智能分析系统采用数据接入+大数据底层分析平台+应用层Web可视化架构模式；

步骤二：数据源添加，通过对工业数据进行采集，因工业设备、智能产品等型号和协议的多样化，因此，本系统对大量设备型号和协议进行解析，提供完善的适配器，动态对接各种工业设备；

步骤三：采集数据进行存储以及数据集成，本系统支持PB级工业大数据量的分类存储，可支持多租户模式，传统关系型数据库用于存放较小的数据量；

步骤四：数据预处理，本系统采用工业数据接入DA提供数据预处理功能，对数据进行清洗、数据转换、数据归类；

步骤五：算法分析和任务开发，对数据预处理后的数据，根据业务场景进行建模，采用智能分析AI,提供底层的分析算法配置，可拖拽式自定义任务流，对任务进行周期或立即处理配置；

步骤六：运营管理及展示，通过交互式可视化IV，将建模分析的数据进行可视化展示。

所述的步骤一和步骤二中的数据源添加和采集数据进行存储以及数据集成，系统支持从工业设备、生产装置、工业产品等各类设备的嵌入式系统、控制系统、附加传感器中直接接入开关量、实时运行参数等海量异构数据；利用以智能网关为代表的新型边缘计算设备实现智能传感器和设备数据的接入，将互相关联的分布式异构数据源集成到一起, 使用户能够以透明的方式访问这些数据源；作为工业互联网智能分析系统的必要前提，该功能从mysql，sqlserver，mongoDB等各类主流数据库、k-v数据库、文件系统等，通过数据同步、数据过滤、日期解析，进行不同数据库之间的数据转换或者进行数据ETL（Extract-Transform-Load ）处理，ETL处理流程：

1、数据抽取，数据补缺：对空数据、缺失数据进行数据补缺操作，无法处理的做标记。数据替换：对无效数据进行数据的替换。格式规范化：将源数据抽取的数据格式转换成为便于进入仓库处理的目标数据格式。主外键约束：通过建立主外键约束，对非法数据进行数据替换或导出到错误文件重新处理；

2、数据转换，数据合并：多用表关联实现，大小表关联用lookup，大大表相交用join（每个字段家索引，保证关联查询的效率），数据拆分：按一定规则进行数据拆分，行列互换、排序/修改序号、去除重复记录，数据验证：loolup、sum、count

3、 数据加载，时间戳方式：在业务表中统一添加字段作为时间戳，当OLAP系统更新修改业务数据时，同时修改时间戳字段值。日志表方式：在OLAP系统中添加日志表，业务数据发生变化时，更新维护日志表内容。 全表对比方式：抽取所有源数据，在更新目标表之前先根据主键和字段进行数据比对，有更新的进行update或insert。全表删除插入方式：删除目标表数据，将源数据全部插入。

实现智能分析的数据准备。数据集成支持各种数据接入格式，能够将各种异构、分布式、自治等类型的工业大数据进行云端集成，集成后的数据与各种分析算法进行适配配置，通过任务流实现自动发现工业中的核心数据，发现工业敏感信息数据，发现工业设备中存在的隐患，发现工业生产优化点，挖掘出隐藏价值（包括减少生产周期、减少残次品量、降低生产成本，提高产品的质量等）。

所述的数据同步的一个过程具体为通过Sqoop进行全量数据导入导出、增量数据导入导出、并发导入，支持各种数据库；所述的数据过滤具体为通过过滤算法进而策略配置对数据进行处理；所述的日期解析，通过对含有日期的批量的数据，配置年、月、日，自动识别数据中的日期，进行时间分区分类存储。

所述的步骤四中的工业数据接入DA（Data Access）支持各种工业设备、工业系统、智能产品等数据解析协议；进行工业数据预处理，包括但不限于数据清洗、数据规约、数据转换等，用户还可以通过自动化预处理算子来自动化地进行数据处理；针对工业数据的实时预处理功能，提供了超过200余种算子；支持Mysql，SqlServer，MongoDB、RDBs、HDFS、ORC、Parquet、本地CSV等各类数据源数据接入和存储。

所述的步骤五中的智能分析AI具体工作过程为对目前工业分析模型和分析算法的缺失，应对大数据量的计算，本专利实现了多种机器学习和深度学习的分布式算法，并对支持不同算法的硬件作了融合计算和针对性优化，可以大大提升计算性能、实现灵活调度。此外，还支持包括手动拖拽来构建复杂神经网络，也可以直接写入代码构建深度学习模型。

所述的步骤六中的交互式可视化I V包括工业数据接入操作的可视化配置界面，数据预处理界面，工业数据采集处理任务流的配置和处理界面，任务运行周期配置、执行过程监控界面，工业数据智能分析算法配置界面，智能分析AI自定义算法界面，工业数据分析结果潜在价值展示界面，通过一站式的界面操作，无论是建模过程的拖拽，还是数据预览、模型评估和管理，将可视化做到极致。

所述的步骤四中的数据预处理的存储方法包括有传统数据库索引表存储，使用字典存储以及使用HDF5文件存储；所述的传统数据库索引表存储具体为将数据分类，按一定的字段（例如时间、名称等）创建对应的索引表，通过jdbc等方式存入Mysql、Oracle等传统数据库；所述的使用字典存储具体为将数据按字典方式进行排序存储。

所述的步骤四中的数据预处理中的数据清洗具体包括以下步骤：

第一步：缺失值清洗，确定缺失值范围，对每个字段都计算其缺失值比例，分别制定策略；删掉不必要的字段内容，以业务知识或经验推测填充缺失值，以同一指标的计算结果（均值、中位数、众数等）填充缺失值，以不同指标的计算结果填充缺失值，如果某些指标非常重要又缺失率高，那就需要和取数人员或业务人员了解，是否有其他渠道可以取到相关数据；

第二步：格式内容清洗，时间、日期、数值、全半角等显示格式不一致，将其处理成一致的某种格式；内容中有不该存在的字符，这种情况下，需要以半自动校验半人工方式来找出可能存在的问题，并去除不需要的字符；

第三步：逻辑错误清洗，这部分的工作是去掉一些使用简单逻辑推理就可以直接发现问题的数据，防止分析结果走偏。主要包含：去重、去除不合理值、修正矛盾内容；

第四步：非需求数据清洗，把不要的字段删了。

所述的步骤五中的分布式算法为基于决策树算法和回归算法，采用对误差的衡量来探索变量之间的关系，通过树状结构建立决策模型，解决分类和回归问题，从而达到智能分析的目的；智能分析算法是工业互联网智能分析的核心，通过算法界面的配置，能够实现对预处理后的数据进行有价值的计算分析。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换或改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种工业数据智能分析系统，其特征在于，包括工业数据接入DA（Data Access）、交互式可视化IV（Interactive visualization）和智能分析AI；具体步骤如下；

步骤一：整个工业数据智能分析系统采用数据接入+大数据底层分析平台+应用层Web可视化架构模式；

步骤二：数据源添加，通过对工业数据进行采集，因工业设备、智能产品等型号和协议的多样化，因此，本系统对大量设备型号和协议进行解析，提供完善的适配器，动态对接各种工业设备；

步骤三：采集数据进行存储以及数据集成，本系统支持PB级工业大数据量的分类存储，可支持多租户模式，传统关系型数据库用于存放较小的数据量；

步骤四：数据预处理，本系统采用工业数据接入DA提供数据预处理功能，对数据进行清洗、数据转换、数据归类；

步骤五：算法分析和任务开发，对数据预处理后的数据，根据业务场景进行建模，采用智能分析AI,提供底层的分析算法配置，可拖拽式自定义任务流，对任务进行周期或立即处理配置；

步骤六：运营管理及展示，通过交互式可视化IV，将建模分析的数据进行可视化展示。

2. 根据权利要求1所述的一种工业数据智能分析系统，其特征在于，所述的步骤一和步骤二中的数据源添加和采集数据进行存储以及数据集成，系统支持从工业设备、生产装置、工业产品等各类设备的嵌入式系统、控制系统、附加传感器中直接接入开关量、实时运行参数等海量异构数据；利用以智能网关为代表的新型边缘计算设备实现智能传感器和设备数据的接入，将互相关联的分布式异构数据源集成到一起；作为工业互联网智能分析系统的必要前提，该功能从mysql，sqlserver，mongoDB等各类主流数据库、k-v数据库、文件系统等，通过数据同步、数据过滤、日期解析，进行不同数据库之间的数据转换或者进行数据ETL（Extract-Transform-Load ）处理，实现智能分析的数据准备。

3.根据权利要求1或2所述的一种工业数据智能分析系统，其特征在于，所述的数据同步的一个过程具体为通过Sqoop进行全量数据导入导出、增量数据导入导出、并发导入，支持各种数据库；所述的数据过滤具体为通过过滤算法进而策略配置对数据进行处理；所述的日期解析，通过对含有日期的批量的数据，配置年、月、日，自动识别数据中的日期，进行时间分区分类存储。

4.根据权利要求1所述的一种工业数据智能分析系统，其特征在于，所述的步骤四中的工业数据接入DA（Data Access）支持各种工业设备、工业系统、智能产品等数据解析协议；进行工业数据预处理，包括但不限于数据清洗、数据规约、数据转换等，用户还可以通过自动化预处理算子来自动化地进行数据处理；针对工业数据的实时预处理功能，提供了超过200余种算子；支持Mysql，SqlServer，MongoDB、RDBs、HDFS、ORC、Parquet、本地CSV等各类数据源数据接入和存储。

5.根据权利要求1所述的一种工业数据智能分析系统，其特征在于，所述的步骤五中的智能分析AI具体工作过程为对目前工业分析模型和分析算法的缺失，应对大数据量的计算，本专利实现了多种机器学习和深度学习的分布式算法，并对支持不同算法的硬件作了融合计算和针对性优化；此外，还支持包括手动拖拽来构建复杂神经网络，也可以直接写入代码构建深度学习模型。

6.根据权利要求1所述的一种工业数据智能分析系统，其特征在于，所述的步骤六中的交互式可视化I V包括工业数据接入操作的可视化配置界面，数据预处理界面，工业数据采集处理任务流的配置和处理界面，任务运行周期配置、执行过程监控界面，工业数据智能分析算法配置界面，智能分析AI自定义算法界面，工业数据分析结果潜在价值展示界面。

7.根据权利要求1或4所述的一种工业数据智能分析系统，其特征在于，所述的步骤四中的数据预处理的存储方法包括有传统数据库索引表存储，使用字典存储以及使用HDF5文件存储；所述的传统数据库索引表存储具体为将数据分类，按一定的字段（例如时间、名称等）创建对应的索引表，通过jdbc等方式存入Mysql、Oracle等传统数据库；所述的使用字典存储具体为将数据按字典方式进行排序存储。

8.根据权利要求1或4所述的一种工业数据智能分析系统，其特征在于，所述的步骤四中的数据预处理中的数据清洗具体包括以下步骤：

第一步：缺失值清洗，确定缺失值范围，对每个字段都计算其缺失值比例，分别制定策略；删掉不必要的字段内容，以业务知识或经验推测填充缺失值，以同一指标的计算结果（均值、中位数、众数等）填充缺失值，以不同指标的计算结果填充缺失值，如果某些指标非常重要又缺失率高，那就需要和取数人员或业务人员了解，是否有其他渠道可以取到相关数据；

第二步：格式内容清洗，时间、日期、数值、全半角等显示格式不一致，将其处理成一致的某种格式；内容中有不该存在的字符，这种情况下，需要以半自动校验半人工方式来找出可能存在的问题，并去除不需要的字符；

第三步：逻辑错误清洗，这部分的工作是去掉一些使用简单逻辑推理就可以直接发现问题的数据，防止分析结果走偏；主要包含：去重、去除不合理值、修正矛盾内容；

第四步：非需求数据清洗，把不要的字段删了。

9.根据权利要求1或5所述的一种工业数据智能分析系统，其特征在于，所述的步骤五中的分布式算法为基于决策树算法和回归算法，采用对误差的衡量来探索变量之间的关系，通过树状结构建立决策模型，解决分类和回归问题。