CN112288317B - 一种基于多源异构数据治理的工业大数据分析平台和方法 - Google Patents

Abstract

本发明提出了一种基于多源异构数据治理的工业大数据分析平台和方法，所述工业大数据分析平台包括海量异构工业数据采集系统、工业数据处理系统、超大规模工业数据存储系统、工业数据模型分析系统和工业数据多维分析系统。所述方法包括采集数据信息；对所述海量异构工业数据采集系统获取的数据进行管理，并将复杂数据进行智能拆分、数据清洗、数据关联、智能匹配和属性筛选处理；对数据矩阵进行存储和安全防护；通过机器自学习模型获得各分析数据；针对所述超大规模工业数据存储系统存储的数据分别进行关键指标预警预测分析、问题管理关联分析和研发生产能力分析，并获得对应的分析结果。

Description

一种基于多源异构数据治理的工业大数据分析平台和方法

技术领域

本发明提出了一种基于多源异构数据治理的工业大数据分析平台和方法，属于数据处理技术领域。

背景技术

目前基于工业数据的分析和应用集中在对数据的统计、分析，采用的方法也是比较基础的统计分析方法，比如计算均值、中位数等，将这些结果进行业务决策参考。但现有的工业大数据的处理系统或平台存在无法通过数据分析为管理决策提供充分支撑，以及大数据分析的应用场景把握不准确，难以分析出应用场景与各种历史数据之间的关联关系的问题。

发明内容

本发明提供了一种基于多源异构数据治理的工业大数据分析平台和方法，用以解决现有工业大数据无法通过数据分析为管理决策提供充分支撑，以及大数据分析的应用场景把握不准确，难以分析出应用场景与各种历史数据之间的关联关系的问题：

本发明提出的一种基于多源异构数据治理的工业大数据分析平台，所述工业大数据分析平台包括海量异构工业数据采集系统、工业数据处理系统、超大规模工业数据存储系统、工业数据模型分析系统和工业数据多维分析系统；

所述海量异构工业数据采集系统，用于采集生产追溯管控系统、生产执行系统MES、实验室信息管理系统LIMS、设备资产管理系统EAM、仓库管理系统WMS、研发管理系统和营销数据系统中的数据信息；

所述工业数据处理系统，用于对所述海量异构工业数据采集系统获取的数据进行管理，并将复杂数据进行智能拆分、数据清洗、数据关联、智能匹配和属性筛选处理；

所述超大规模工业数据存储系统，用于对PB级多维度产品工业数据矩阵进行存储，并对存储的数据进行安全防护；

所述工业数据模型分析系统，用于通过机器自学习模型采用回归分析、聚类分析和关联分析方法对所述超大规模工业数据存储系统存储的数据进行数据分析，获得针对工业生产过程的预警预测信息数据、问题分析数据、关联分析数据、价值分析数据和能力分析数据；

所述工业数据多维分析系统，用于针对所述超大规模工业数据存储系统存储的数据分别进行关键指标预警预测分析、问题管理关联分析和研发生产能力分析，并获得对应的分析结果。

进一步地，所述海量异构工业数据采集系统包括：

生产追溯管控系统采集模块，用于采集生产追溯管控系统产生的数据信息；

生产执行系统MES采集模块，用于采集生产执行系统MES产生的数据信息；

实验室信息管理系统LIMS采集模块，用于采集实验室信息管理系统LIMS产生的数据信息；

设备资产管理系统EAM采集模块，用于采集设备资产管理系统EAM产生的数据信息；

仓库管理系统WMS采集模块，用于采集仓库管理系统WMS产生的数据信息；

研发管理系统采集模块，用于采集研发管理系统产生的数据信息；

营销数据采集模块，用于采集营销数据系统产生的营销数据信息。

进一步地，所述超大规模工业数据存储系统包括：

离线数据存储及处理模块，用于对离线数据进行数据存储和处理；

对外服务数据存储，用于针对对外服务数据存储模块进行数据存储和处理；

实时数据处理模块，用于利用Storm工具和Spark工具对所述工业数据处理系统输入的数据进行实时处理；

安全防护模块，用于针对已存储完成的数据进行安全防护。

进一步地，所述安全防护模块包括：

第一存储标识生成模块，用于针对存储数据生成存储数据包，并通过如下公式针对所述存储数据包生成第一存储标识；

其中，α表示第一存储标识，n表示当前所述超大规模工业数据存储系统进行数据存储的存储次数；T₁表示存储数据输入至所述超大规模工业数据存储系统中进行存储的存储起始时间点；T₂表示所述超大规模工业数据存储系统完成数据存储的存储完成时间点；T_i表示第i次进行数据存储所用的时间长度；G_i表示所述超大规模工业数据存储系统进行第i次数据存储时的数据存储量；G_i-1表示所述超大规模工业数据存储系统进行第i-1次数据存储时的数据存储量；G_i-2表示所述超大规模工业数据存储系统进行第i-2次数据存储时的数据存储量；

第二存储标识生成模块，用于针对存储数据生成存储数据包，并通过如下公式针对所述存储数据包生成第二存储标识；

其中，β表示第二存储标识；n表示当前所述超大规模工业数据存储系统进行数据存储的存储次数；T₁表示存储数据输入至所述超大规模工业数据存储系统中进行存储的存储起始时间点；T₂表示所述超大规模工业数据存储系统完成数据存储的存储完成时间点；T_i表示第i次进行数据存储所用的时间长度；G_i表示所述超大规模工业数据存储系统进行第i次数据存储时的数据存储量；G_i-1表示所述超大规模工业数据存储系统进行第i-1次数据存储时的数据存储量；G_i-2表示所述超大规模工业数据存储系统进行第i-2次数据存储时的数据存储量；

关联模块，用于将第一存储标识码和第二存储标识码进行关联，将所述第二存储标识码进行加密获得对应密文，将所述对应密文发送至已与所述超大规模工业数据存储系统建立存储数据调取连接的所述工业大数据分析平台中的各节点设备上；

密文发送模块，用于当所述节点设备需要向所述超大规模工业数据存储系统调取数据时，将所述对应密文发送至所述超大规模工业数据存储系统中；

调取模块，用于所述超大规模工业数据存储系统对所述对应密文进行解密，获得第二存储标识码，通过所述第二存储标识码与第一存储标识码之间的联接关系确定所述节点设备需要调取的存储数据，并将所述存储数据发送至所述节点设备上。

进一步地，所述工业数据多维分析系统包括：

关键指标预警预测模块，用于对所述超大规模工业数据存储系统存储的数据进行对应的规则设置、实时监控和预警报警处理，并对超大规模工业数据存储系统存储的数据进行分析获得关键指标预警预测分析结果；

问题管理关联分析模块，用于对所述超大规模工业数据存储系统存储的数据进行问题分析和风险识别处理，获取问题管理关联分析结果；

研发生产能力分析监控模块，用于通过所述超大规模工业数据存储系统存储的数据，对生产追溯管控系统、生产执行系统MES、实验室信息管理系统LIMS、设备资产管理系统EAM、仓库管理系统WMS和研发管理系统进行技术能力分析、管理能力分析、标准核查、指标稳定性分析和质量成本分析，并获得研发生产能力分析结果；

可视化展示模块，用于将所述关键指标预警预测分析结果、问题管理关联分析结果和研发生产能力分析结果通过图形方式进行可视化展示。

一种基于多源异构数据治理的工业大数据分析方法，所述方法包括：

采集生产追溯管控系统、生产执行系统MES、实验室信息管理系统LIMS、设备资产管理系统EAM、仓库管理系统WMS、研发管理系统和营销数据系统中的数据信息；

对所述海量异构工业数据采集系统获取的数据进行管理，并将复杂数据进行智能拆分、数据清洗、数据关联、智能匹配和属性筛选处理；

对PB级多维度产品工业数据矩阵进行存储，并对存储的数据进行安全防护；

通过机器自学习模型采用回归分析、聚类分析和关联分析方法对所述超大规模工业数据存储系统存储的数据进行数据分析，获得针对工业生产过程的预警预测信息数据、问题分析数据、关联分析数据、价值分析数据和能力分析数据；

针对所述超大规模工业数据存储系统存储的数据分别进行关键指标预警预测分析、问题管理关联分析和研发生产能力分析，并获得对应的分析结果。

进一步地，所述采集生产追溯管控系统、生产执行系统MES、实验室信息管理系统LIMS、设备资产管理系统EAM、仓库管理系统WMS、研发管理系统和营销数据系统中的数据信息，包括：

采集生产追溯管控系统产生的数据信息；

采集生产执行系统MES产生的数据信息；

实验室信息管理系统LIMS采集模块，用于采集实验室信息管理系统LIMS产生的数据信息；

采集设备资产管理系统EAM产生的数据信息；

采集仓库管理系统WMS产生的数据信息；

采集研发管理系统产生的数据信息；

采集研发管理系统产生的数据信息；

采集营销数据系统产生的营销数据信息。

进一步地，所述对PB级多维度产品工业数据矩阵进行存储，并对存储的数据进行安全防护，包括：

对离线数据进行数据存储和处理；

针对对外服务数据存储模块进行数据存储和处理；

利用Storm工具和Spark工具对所述工业数据处理系统输入的数据进行实时处理；

针对已存储完成的数据进行安全防护。

进一步地，所述针对已存储完成的数据进行安全防护，包括：

针对存储数据生成存储数据包，并通过如下公式针对所述存储数据包生成第一存储标识；

其中，α表示第一存储标识，n表示当前所述超大规模工业数据存储系统进行数据存储的存储次数；T₁表示存储数据输入至所述超大规模工业数据存储系统中进行存储的存储起始时间点；T₂表示所述超大规模工业数据存储系统完成数据存储的存储完成时间点；T_i表示第i次进行数据存储所用的时间长度；G_i表示所述超大规模工业数据存储系统进行第i次数据存储时的数据存储量；G_i-1表示所述超大规模工业数据存储系统进行第i-1次数据存储时的数据存储量；G_i-2表示所述超大规模工业数据存储系统进行第i-2次数据存储时的数据存储量；

针对存储数据生成存储数据包，并通过如下公式针对所述存储数据包生成第二存储标识；

其中，β表示第二存储标识；n表示当前所述超大规模工业数据存储系统进行数据存储的存储次数；T₁表示存储数据输入至所述超大规模工业数据存储系统中进行存储的存储起始时间点；T₂表示所述超大规模工业数据存储系统完成数据存储的存储完成时间点；T_i表示第i次进行数据存储所用的时间长度；G_i表示所述超大规模工业数据存储系统进行第i次数据存储时的数据存储量；G_i-1表示所述超大规模工业数据存储系统进行第i-1次数据存储时的数据存储量；G_i-2表示所述超大规模工业数据存储系统进行第i-2次数据存储时的数据存储量；

将第一存储标识码和第二存储标识码进行关联，将所述第二存储标识码进行加密获得对应密文，将所述对应密文发送至已与所述超大规模工业数据存储系统建立存储数据调取连接的所述工业大数据分析平台中的各节点设备上；

当所述节点设备需要向所述超大规模工业数据存储系统调取数据时，将所述对应密文发送至所述超大规模工业数据存储系统中；

所述超大规模工业数据存储系统对所述对应密文进行解密，获得第二存储标识码，通过所述第二存储标识码与第一存储标识码之间的联接关系确定所述节点设备需要调取的存储数据，并将所述存储数据发送至所述节点设备上。

进一步地，针对所述超大规模工业数据存储系统存储的数据分别进行关键指标预警预测分析、问题管理关联分析和研发生产能力分析，并获得对应的分析结果，包括：

对所述超大规模工业数据存储系统存储的数据进行对应的规则设置、实时监控和预警报警处理，并对超大规模工业数据存储系统存储的数据进行分析获得关键指标预警预测分析结果；

对所述超大规模工业数据存储系统存储的数据进行问题分析和风险识别处理，获取问题管理关联分析结果；

通过所述超大规模工业数据存储系统存储的数据，对生产追溯管控系统、生产执行系统MES、实验室信息管理系统LIMS、设备资产管理系统EAM、仓库管理系统WMS和研发管理系统进行技术能力分析、管理能力分析、标准核查、指标稳定性分析和质量成本分析，并获得研发生产能力分析结果；

将所述关键指标预警预测分析结果、问题管理关联分析结果和研发生产能力分析结果通过图形方式进行可视化展示。

本发明有益效果：

本发明提出了一种基于多源异构数据治理的工业大数据分析平台和方法，应用工业大数据平台分析历史数据，可以发挥数据价值，通过数据分析为管理决策提供充分支撑；大数据分析平台通过分析分析数据关系，全面分析多种业务场景，提供结合企业业务提供多种业务场景的应用，准确把握数据之间的关联关系，提高对管理决策的支撑能力。

附图说明

图1为本发明所述平台的结构示意图；

图2为本发明所述平台的原理图；

图3为本发明所述方法的流程图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

本发明提出的一种基于多源异构数据治理的工业大数据分析平台，如图1和图2所示，所述工业大数据分析平台包括海量异构工业数据采集系统、工业数据处理系统、超大规模工业数据存储系统、工业数据模型分析系统和工业数据多维分析系统；

所述海量异构工业数据采集系统，用于采集生产追溯管控系统、生产执行系统MES、实验室信息管理系统LIMS、设备资产管理系统EAM、仓库管理系统WMS、研发管理系统和营销数据系统中的数据信息；

所述工业数据处理系统，用于对所述海量异构工业数据采集系统获取的数据进行管理，并将复杂数据进行智能拆分、数据清洗、数据关联、智能匹配和属性筛选处理；

所述超大规模工业数据存储系统，用于对PB级多维度产品工业数据矩阵进行存储，并对存储的数据进行安全防护；

所述工业数据模型分析系统，用于通过机器自学习模型采用回归分析、聚类分析和关联分析方法对所述超大规模工业数据存储系统存储的数据进行数据分析，获得针对工业生产过程的预警预测信息数据、问题分析数据、关联分析数据、价值分析数据和能力分析数据；

所述工业数据多维分析系统，用于针对所述超大规模工业数据存储系统存储的数据分别进行关键指标预警预测分析、问题管理关联分析和研发生产能力分析，并获得对应的分析结果。

其中，所述海量异构工业数据采集系统包括：

生产追溯管控系统采集模块，用于采集生产追溯管控系统产生的数据信息；

生产执行系统MES采集模块，用于采集生产执行系统MES产生的数据信息；

实验室信息管理系统LIMS采集模块，用于采集实验室信息管理系统LIMS产生的数据信息；

设备资产管理系统EAM采集模块，用于采集设备资产管理系统EAM产生的数据信息；

仓库管理系统WMS采集模块，用于采集仓库管理系统WMS产生的数据信息；

研发管理系统采集模块，用于采集研发管理系统产生的数据信息；

营销数据采集模块，用于采集营销数据系统产生的营销数据信息。

所述超大规模工业数据存储系统包括：

离线数据存储及处理模块，用于对离线数据进行数据存储和处理；

对外服务数据存储，用于针对对外服务数据存储模块进行数据存储和处理；

实时数据处理模块，用于利用Storm工具和Spark工具对所述工业数据处理系统输入的数据进行实时处理；

安全防护模块，用于针对已存储完成的数据进行安全防护。

所述工业数据多维分析系统包括：

关键指标预警预测模块，用于对所述超大规模工业数据存储系统存储的数据进行对应的规则设置、实时监控和预警报警处理，并对超大规模工业数据存储系统存储的数据进行分析获得关键指标预警预测分析结果；

问题管理关联分析模块，用于对所述超大规模工业数据存储系统存储的数据进行问题分析和风险识别处理，获取问题管理关联分析结果；

研发生产能力分析监控模块，用于通过所述超大规模工业数据存储系统存储的数据，对生产追溯管控系统、生产执行系统MES、实验室信息管理系统LIMS、设备资产管理系统EAM、仓库管理系统WMS和研发管理系统进行技术能力分析、管理能力分析、标准核查、指标稳定性分析和质量成本分析，并获得研发生产能力分析结果；

可视化展示模块，用于将所述关键指标预警预测分析结果、问题管理关联分析结果和研发生产能力分析结果通过图形方式进行可视化展示。

上述技术方案的工作原理为：如图2所示，海量异构工业数据采集系统：采用高效稳定的RFID采集器、无线数据采集器、网络爬虫技术、雷达信息系统，面向非结构化的文本挖掘工具、流式堆式多维数据基础平台和先进的自然语言处理技术，可以对相似度接近的数据进行列举，计算出相似度数值。面向多种类型的数据源，采集生产追溯管理系统、生产执行系统MES、实验室信息管理系统LIMS、设备资产管理系统EAM、仓库管理系统WMS、研发管理系统、营销数据等。数据接入过程采用实时数据接入、数据库接入、文本接入、互联网数据接入、第三方匹配数据补充等多种方式。

工业数据处理系统：工业大数据，对数据的质量要求更高，对于纷繁复杂的工业各类数据。各个源头的开放数据源通过标准化接口联合汇入。数据治理解决标准不统一，数据冗余、缺失、冲突等问题。确保工业数据可共享性、高质量、一致性，确保工业大数据分析的精准和高效。工业数据处理系统，通过对元数据进行管理，将复杂的信息进行智能拆解，通过数据标准化，对数据进行清洗，通过数据质量控制平台实现清洗的自动化。采用的技术有智能拆解、数据关联、智能匹配、语义识别、属性筛选等。

超大规模工业数据存储系统：对PB级多维度产品工业数据矩阵，采用高效的存储查询技术，实现快速从数万亿条规模的海量数据中定位准确的数据，并采用高压缩比的技术方案，为用户提供安全响应与分析能力的同时节省存储资源。实现工业数据的安全、可靠存储，为工业大数据分析平台建立和运行提供环境保障。超大规模工业数据存储系统能从应用、用户、内容、时间、威胁、位置六个维度实现一体化网络安全防护。

工业数据模型分析系统：通过人工智能(机器自学习模型)方法，采用回归分析、聚类分析、关联分析等大数据分析技术，在数据建模工具指引下，形成多种多维数据挖掘方法，对工业数据进行分析。分析方法包括预警预测、问题分析、关联分析、价值分析、能力分析、检验能力等多方面。

工业数据多维分析：分析过程使用关键指标预警预测、问题管理关联分析、研发生产能力分析监控等多种方法。系统在针对多维动态法规指标展示方面，可以将指标、限量值的不同、对某类指标限量要求的变化趋势，不仅仅以表格形式进行展示，还可以把差异以图、表和趋势线等形式进行可视化呈现。展示形式多种多样，有动态表格，还可以对表格进行旋转、切片、向上钻取、向下钻取，同时辅以仪表盘、柱状图、饼状图、GIS地图、散点图等多种图形方式，进行多种方式可视化展示，为使用者从多个维度进行多方面分析，能够有效地展示出复杂数据中蕴含的最有价值的信息。

上述技术方案的效果为：应用工业大数据平台分析历史数据，可以发挥数据价值，通过数据分析为管理决策提供充分支撑；大数据分析平台通过分析分析数据关系，全面分析多种业务场景，提供结合企业业务提供多种业务场景的应用，准确把握数据之间的关联关系，提高对管理决策的支撑能力。

本发明的一个实施例，所述安全防护模块包括：

第一存储标识生成模块，用于针对存储数据生成存储数据包，并通过如下公式针对所述存储数据包生成第一存储标识；

其中，α表示第一存储标识，n表示当前所述超大规模工业数据存储系统进行数据存储的存储次数；T₁表示存储数据输入至所述超大规模工业数据存储系统中进行存储的存储起始时间点；T₂表示所述超大规模工业数据存储系统完成数据存储的存储完成时间点；T_i表示第i次进行数据存储所用的时间长度；G_i表示所述超大规模工业数据存储系统进行第i次数据存储时的数据存储量；G_i-1表示所述超大规模工业数据存储系统进行第i-1次数据存储时的数据存储量；G_i-2表示所述超大规模工业数据存储系统进行第i-2次数据存储时的数据存储量；

第二存储标识生成模块，用于针对存储数据生成存储数据包，并通过如下公式针对所述存储数据包生成第二存储标识；

其中，β表示第二存储标识；n表示当前所述超大规模工业数据存储系统进行数据存储的存储次数；T₁表示存储数据输入至所述超大规模工业数据存储系统中进行存储的存储起始时间点；T₂表示所述超大规模工业数据存储系统完成数据存储的存储完成时间点；T_i表示第i次进行数据存储所用的时间长度；G_i表示所述超大规模工业数据存储系统进行第i次数据存储时的数据存储量；G_i-1表示所述超大规模工业数据存储系统进行第i-1次数据存储时的数据存储量；G_i-2表示所述超大规模工业数据存储系统进行第i-2次数据存储时的数据存储量；

关联模块，用于将第一存储标识码和第二存储标识码进行关联，将所述第二存储标识码进行加密获得对应密文，将所述对应密文发送至已与所述超大规模工业数据存储系统建立存储数据调取连接的所述工业大数据分析平台中的各节点设备上；

密文发送模块，用于当所述节点设备需要向所述超大规模工业数据存储系统调取数据时，将所述对应密文发送至所述超大规模工业数据存储系统中；

调取模块，用于所述超大规模工业数据存储系统对所述对应密文进行解密，获得第二存储标识码，通过所述第二存储标识码与第一存储标识码之间的联接关系确定所述节点设备需要调取的存储数据，并将所述存储数据发送至所述节点设备上。

上述技术方案的工作原理为：首先，通过第一存储标识生成模块针对存储数据生成存储数据包，并针对所述存储数据包生成第一存储标识；然后，采用第二存储标识生成模块针对存储数据生成存储数据包，针对所述存储数据包生成第二存储标识；随后，通过关联模块将第一存储标识码和第二存储标识码进行关联，将所述第二存储标识码进行加密获得对应密文，将所述对应密文发送至已与所述超大规模工业数据存储系统建立存储数据调取连接的所述工业大数据分析平台中的各节点设备上；之后，采用密文发送模块在所述节点设备需要向所述超大规模工业数据存储系统调取数据时，将所述对应密文发送至所述超大规模工业数据存储系统中；最后，通过调取模块控制所述超大规模工业数据存储系统对所述对应密文进行解密，获得第二存储标识码，通过所述第二存储标识码与第一存储标识码之间的联接关系确定所述节点设备需要调取的存储数据，并将所述存储数据发送至所述节点设备上。

上述技术方案的效果为：通过上述生成第一标识码和第二标识码的方式，将所述存储数据唯一标识化，提高数据调取的准确性，有效方式数据调取错误的情况发生。同时，通过传输加密的第二存储标识码的方式进行数据调取，代替传统数据调用发送的数据情况，能够有效提高数据传输的隐秘性，防止第三方通过数据传输请求获取系统中各设备节点的数据传输历史记录，使恶意第三方无法从数据发送请求中和获取平台系统的各网络节点设备进行数据传输的数据类型、数据关键字等信息，进而防止恶意第三方对数据窃取目标的锁定，进一步提高了数据安全防护性能。同时，通过上述公式获取的第一标识码和第二标识码能够有效提高标识码的唯一性和随机性，有效防止恶意第三方对标识码生成规律的破解，极大程度上提高数据安全性能。

其中，本发明所述的一种基于多源异构数据治理的工业大数据分析平台的应用场景及对应效果如表1所示。

表1

本发明的实施例提出了一种基于多源异构数据治理的工业大数据分析方法，如图3所示，所述方法包括：

S1、采集生产追溯管控系统、生产执行系统MES、实验室信息管理系统LIMS、设备资产管理系统EAM、仓库管理系统WMS、研发管理系统和营销数据系统中的数据信息；

S2、对所述海量异构工业数据采集系统获取的数据进行管理，并将复杂数据进行智能拆分、数据清洗、数据关联、智能匹配和属性筛选处理；

S3、对PB级多维度产品工业数据矩阵进行存储，并对存储的数据进行安全防护；

S4、通过机器自学习模型采用回归分析、聚类分析和关联分析方法对所述超大规模工业数据存储系统存储的数据进行数据分析，获得针对工业生产过程的预警预测信息数据、问题分析数据、关联分析数据、价值分析数据和能力分析数据；

S5、针对所述超大规模工业数据存储系统存储的数据分别进行关键指标预警预测分析、问题管理关联分析和研发生产能力分析，并获得对应的分析结果。

其中，所述采集生产追溯管控系统、生产执行系统MES、实验室信息管理系统LIMS、设备资产管理系统EAM、仓库管理系统WMS、研发管理系统和营销数据系统中的数据信息，包括：

S101、采集生产追溯管控系统产生的数据信息；

采集生产执行系统MES产生的数据信息；

S102、实验室信息管理系统LIMS采集模块，用于采集实验室信息管理系统LIMS产生的数据信息；

S103、采集设备资产管理系统EAM产生的数据信息；

S104、采集仓库管理系统WMS产生的数据信息；

S105、采集研发管理系统产生的数据信息；

S106、采集研发管理系统产生的数据信息；

S107、采集营销数据系统产生的营销数据信息。

所述对PB级多维度产品工业数据矩阵进行存储，并对存储的数据进行安全防护，包括：

S301、对离线数据进行数据存储和处理；

S302、针对对外服务数据存储模块进行数据存储和处理；

S303、利用Storm工具和Spark工具对所述工业数据处理系统输入的数据进行实时处理；

S304、针对已存储完成的数据进行安全防护。

其中，针对所述超大规模工业数据存储系统存储的数据分别进行关键指标预警预测分析、问题管理关联分析和研发生产能力分析，并获得对应的分析结果，包括：

S501、对所述超大规模工业数据存储系统存储的数据进行对应的规则设置、实时监控和预警报警处理，并对超大规模工业数据存储系统存储的数据进行分析获得关键指标预警预测分析结果；

S502、对所述超大规模工业数据存储系统存储的数据进行问题分析和风险识别处理，获取问题管理关联分析结果；

S503、通过所述超大规模工业数据存储系统存储的数据，对生产追溯管控系统、生产执行系统MES、实验室信息管理系统LIMS、设备资产管理系统EAM、仓库管理系统WMS和研发管理系统进行技术能力分析、管理能力分析、标准核查、指标稳定性分析和质量成本分析，并获得研发生产能力分析结果；

S504、将所述关键指标预警预测分析结果、问题管理关联分析结果和研发生产能力分析结果通过图形方式进行可视化展示。

上述技术方案的工作原理为：首先，通过采集生产追溯管控系统、生产执行系统MES、实验室信息管理系统LIMS、设备资产管理系统EAM、仓库管理系统WMS、研发管理系统和营销数据系统中的数据信息；然后，对所述海量异构工业数据采集系统获取的数据进行管理，并将复杂数据进行智能拆分、数据清洗、数据关联、智能匹配和属性筛选处理；随后，对PB级多维度产品工业数据矩阵进行存储，并对存储的数据进行安全防护；之后，通过机器自学习模型采用回归分析、聚类分析和关联分析方法对所述超大规模工业数据存储系统存储的数据进行数据分析，获得针对工业生产过程的预警预测信息数据、问题分析数据、关联分析数据、价值分析数据和能力分析数据；最后，针对所述超大规模工业数据存储系统存储的数据分别进行关键指标预警预测分析、问题管理关联分析和研发生产能力分析，并获得对应的分析结果。

上述技术方案的效果为：应用工业大数据平台分析历史数据，可以发挥数据价值，通过数据分析为管理决策提供充分支撑；大数据分析平台通过分析分析数据关系，全面分析多种业务场景，提供结合企业业务提供多种业务场景的应用，准确把握数据之间的关联关系，提高对管理决策的支撑能力。

本发明的一个实施例，所述针对已存储完成的数据进行安全防护，包括：

S3041、针对存储数据生成存储数据包，并通过如下公式针对所述存储数据包生成第一存储标识；

其中，α表示第一存储标识，n表示当前所述超大规模工业数据存储系统进行数据存储的存储次数；T₁表示存储数据输入至所述超大规模工业数据存储系统中进行存储的存储起始时间点；T₂表示所述超大规模工业数据存储系统完成数据存储的存储完成时间点；T_i表示第i次进行数据存储所用的时间长度；G_i表示所述超大规模工业数据存储系统进行第i次数据存储时的数据存储量；G_i-1表示所述超大规模工业数据存储系统进行第i-1次数据存储时的数据存储量；G_i-2表示所述超大规模工业数据存储系统进行第i-2次数据存储时的数据存储量；

S3042、针对存储数据生成存储数据包，并通过如下公式针对所述存储数据包生成第二存储标识；

其中，β表示第二存储标识；n表示当前所述超大规模工业数据存储系统进行数据存储的存储次数；T₁表示存储数据输入至所述超大规模工业数据存储系统中进行存储的存储起始时间点；T₂表示所述超大规模工业数据存储系统完成数据存储的存储完成时间点；T_i表示第i次进行数据存储所用的时间长度；G_i表示所述超大规模工业数据存储系统进行第i次数据存储时的数据存储量；G_i-1表示所述超大规模工业数据存储系统进行第i-1次数据存储时的数据存储量；G_i-2表示所述超大规模工业数据存储系统进行第i-2次数据存储时的数据存储量；

S3043、将第一存储标识码和第二存储标识码进行关联，将所述第二存储标识码进行加密获得对应密文，将所述对应密文发送至已与所述超大规模工业数据存储系统建立存储数据调取连接的所述工业大数据分析平台中的各节点设备上；

S3044、当所述节点设备需要向所述超大规模工业数据存储系统调取数据时，将所述对应密文发送至所述超大规模工业数据存储系统中；

S3045、所述超大规模工业数据存储系统对所述对应密文进行解密，获得第二存储标识码，通过所述第二存储标识码与第一存储标识码之间的联接关系确定所述节点设备需要调取的存储数据，并将所述存储数据发送至所述节点设备上。

上述技术方案的工作原理为：首先，针对存储数据生成存储数据包，并通过公式针对所述存储数据包生成第一存储标识；针对存储数据生成存储数据包，并通过公式针对所述存储数据包生成第二存储标识；然后，将第一存储标识码和第二存储标识码进行关联，将所述第二存储标识码进行加密获得对应密文，将所述对应密文发送至已与所述超大规模工业数据存储系统建立存储数据调取连接的所述工业大数据分析平台中的各节点设备上；随后，当所述节点设备需要向所述超大规模工业数据存储系统调取数据时，将所述对应密文发送至所述超大规模工业数据存储系统中；最后，所述超大规模工业数据存储系统对所述对应密文进行解密，获得第二存储标识码，通过所述第二存储标识码与第一存储标识码之间的联接关系确定所述节点设备需要调取的存储数据，并将所述存储数据发送至所述节点设备上。

上述技术方案的效果为：通过上述生成第一标识码和第二标识码的方式，将所述存储数据唯一标识化，提高数据调取的准确性，有效方式数据调取错误的情况发生。同时，通过传输加密的第二存储标识码的方式进行数据调取，代替传统数据调用发送的数据情况，能够有效提高数据传输的隐秘性，防止第三方通过数据传输请求获取系统中各设备节点的数据传输历史记录，使恶意第三方无法从数据发送请求中和获取平台系统的各网络节点设备进行数据传输的数据类型、数据关键字等信息，进而防止恶意第三方对数据窃取目标的锁定，进一步提高了数据安全防护性能。同时，通过上述公式获取的第一标识码和第二标识码能够有效提高标识码的唯一性和随机性，有效防止恶意第三方对标识码生成规律的破解，极大程度上提高数据安全性能。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种基于多源异构数据治理的工业大数据分析系统，其特征在于，所述工业大数据分析系统包括海量异构工业数据采集系统、工业数据处理系统、工业数据存储系统、工业数据模型分析系统和工业数据多维分析系统；

所述海量异构工业数据采集系统，用于采集生产追溯管控系统、生产执行系统MES、实验室信息管理系统LIMS、设备资产管理系统EAM、仓库管理系统WMS、研发管理系统和营销数据系统中的数据信息；

所述工业数据处理系统，用于对所述海量异构工业数据采集系统获取的数据进行管理，并将复杂数据进行智能拆分、数据清洗、数据关联、智能匹配和属性筛选处理；

所述工业数据存储系统，用于对PB级多维度产品工业数据矩阵进行存储，并对存储的数据进行安全防护；

所述工业数据模型分析系统，用于通过机器自学习模型采用回归分析、聚类分析和关联分析方法对所述工业数据存储系统存储的数据进行数据分析，获得针对工业生产过程的预警预测信息数据、问题分析数据、关联分析数据、价值分析数据和能力分析数据；

所述工业数据多维分析系统，用于针对所述工业数据存储系统存储的数据分别进行关键指标预警预测分析、问题管理关联分析和研发生产能力分析，并获得对应的分析结果；

所述工业数据存储系中包括安全防护模块；

所述安全保护模块包括：

第一存储标识生成模块，用于针对存储数据生成存储数据包，并通过如下公式针对所述存储数据包生成第一存储标识；

其中，α表示第一存储标识，n表示当前所述工业数据存储系统进行数据存储的存储次数；T₁表示存储数据输入至所述工业数据存储系统中进行存储的存储起始时间点；T₂表示所述工业数据存储系统完成数据存储的存储完成时间点；T_i表示第i次进行数据存储所用的时间长度；G_i表示所述工业数据存储系统进行第i次数据存储时的数据存储量；G_i-1表示所述的工业数据存储系统进行第i-1次数据存储时的数据存储量；G_i-2表示所述工业数据存储系统进行第i-2次数据存储时的数据存储量；

第二存储标识生成模块，用于针对存储数据生成存储数据包，并通过如下公式针对所述存储数据包生成第二存储标识；

其中，β表示第二存储标识；n表示当前所述工业数据存储系统进行数据存储的存储次数；T₁表示存储数据输入至所述工业数据存储系统中进行存储的存储起始时间点；T₂表示所述工业数据存储系统完成数据存储的存储完成时间点；T_i表示第i次进行数据存储所用的时间长度；G_i表示所述工业数据存储系统进行第i次数据存储时的数据存储量；G_i-1表示所述工业数据存储系统进行第i-1次数据存储时的数据存储量；G_i-2表示所述工业数据存储系统进行第i-2次数据存储时的数据存储量；

关联模块，用于将第一存储标识码和第二存储标识码进行关联，将所述第二存储标识码进行加密获得对应密文，将所述对应密文发送至已与所述工业数据存储系统建立存储数据调取连接的所述工业大数据系统中的各节点设备上；

密文发送模块，用于当所述节点设备需要向所述工业数据存储系统调取数据时，将所述对应密文发送至所述的工业数据存储系统中；

调取模块，用于所述工业数据存储系统对所述对应密文进行解密，获得第二存储标识码，通过所述第二存储标识码与第一存储标识码之间的联接关系确定所述节点设备需要调取的存储数据，并将所述存储数据发送至所述节点设备上。

2.根据权利要求1所述工业大数据分析系统，其特征在于，所述海量异构工业数据采集系统包括：

生产追溯管控系统采集模块，用于采集生产追溯管控系统产生的数据信息；

生产执行系统MES采集模块，用于采集生产执行系统MES产生的数据信息；

实验室信息管理系统LIMS采集模块，用于采集实验室信息管理系统LIMS产生的数据信息；

设备资产管理系统EAM采集模块，用于采集设备资产管理系统EAM产生的数据信息；

仓库管理系统WMS采集模块，用于采集仓库管理系统WMS产生的数据信息；

研发管理系统采集模块，用于采集研发管理系统产生的数据信息；

营销数据采集模块，用于采集营销数据系统产生的营销数据信息。

3.根据权利要求1所述工业大数据分析系统，其特征在于，所述工业数据存储系统包括：

离线数据存储及处理模块，用于对离线数据进行数据存储和处理；

对外服务数据存储，用于针对对外服务数据存储模块进行数据存储和处理；

实时数据处理模块，用于利用Storm工具和Spark工具对所述工业数据处理系统输入的数据进行实时处理；

安全防护模块，用于针对已存储完成的数据进行安全防护。

4.根据权利要求1所述工业大数据分析系统，其特征在于，所述工业数据多维分析系统包括：

关键指标预警预测模块，用于对所述工业数据存储系统存储的数据进行对应的规则设置、实时监控和预警报警处理，并对工业数据存储系统存储的数据进行分析获得关键指标预警预测分析结果；

问题管理关联分析模块，用于对所述工业数据存储系统存储的数据进行问题分析和风险识别处理，获取问题管理关联分析结果；

研发生产能力分析监控模块，用于通过所述工业数据存储系统存储的数据，对生产追溯管控系统、生产执行系统MES、实验室信息管理系统LIMS、设备资产管理系统EAM、仓库管理系统WMS和研发管理系统进行技术能力分析、管理能力分析、标准核查、指标稳定性分析和质量成本分析，并获得研发生产能力分析结果；

可视化展示模块，用于将所述关键指标预警预测分析结果、问题管理关联分析结果和研发生产能力分析结果通过图形方式进行可视化展示。

5.一种基于多源异构数据治理的工业大数据分析方法，其特征在于，所述方法包括：

采集生产追溯管控系统、生产执行系统MES、实验室信息管理系统LIMS、设备资产管理系统EAM、仓库管理系统WMS、研发管理系统和营销数据系统中的数据信息；

对海量异构工业数据采集系统获取的数据进行管理，并将复杂数据进行智能拆分、数据清洗、数据关联、智能匹配和属性筛选处理；

对PB级多维度产品工业数据矩阵进行存储，并对存储的数据进行安全防护；

通过机器自学习模型采用回归分析、聚类分析和关联分析方法对工业数据存储系统存储的数据进行数据分析，获得针对工业生产过程的预警预测信息数据、问题分析数据、关联分析数据、价值分析数据和能力分析数据；

针对所述工业数据存储系统存储的数据分别进行关键指标预警预测分析、问题管理关联分析和研发生产能力分析，并获得对应的分析结果；

所述工业数据存储系中包括安全防护模块；

所述安全保护模块包括：

第一存储标识生成模块，用于针对存储数据生成存储数据包，并通过如下公式针对所述存储数据包生成第一存储标识；

其中，α表示第一存储标识，n表示当前所述工业数据存储系统进行数据存储的存储次数；T₁表示存储数据输入至所述工业数据存储系统中进行存储的存储起始时间点；T₂表示所述工业数据存储系统完成数据存储的存储完成时间点；T_i表示第i次进行数据存储所用的时间长度；G_i表示所述工业数据存储系统进行第i次数据存储时的数据存储量；G_i-1表示所述的工业数据存储系统进行第i-1次数据存储时的数据存储量；G_i-2表示所述工业数据存储系统进行第i-2次数据存储时的数据存储量；

第二存储标识生成模块，用于针对存储数据生成存储数据包，并通过如下公式针对所述存储数据包生成第二存储标识；

其中，β表示第二存储标识；n表示当前所述工业数据存储系统进行数据存储的存储次数；T₁表示存储数据输入至所述工业数据存储系统中进行存储的存储起始时间点；T₂表示所述工业数据存储系统完成数据存储的存储完成时间点；T_i表示第i次进行数据存储所用的时间长度；G_i表示所述工业数据存储系统进行第i次数据存储时的数据存储量；G_i-1表示所述工业数据存储系统进行第i-1次数据存储时的数据存储量；G_i-2表示所述工业数据存储系统进行第i-2次数据存储时的数据存储量；

关联模块，用于将第一存储标识码和第二存储标识码进行关联，将所述第二存储标识码进行加密获得对应密文，将所述对应密文发送至已与所述工业数据存储系统建立存储数据调取连接的所述工业大数据系统中的各节点设备上；

密文发送模块，用于当所述节点设备需要向所述工业数据存储系统调取数据时，将所述对应密文发送至所述的工业数据存储系统中；

调取模块，用于所述工业数据存储系统对所述对应密文进行解密，获得第二存储标识码，通过所述第二存储标识码与第一存储标识码之间的联接关系确定所述节点设备需要调取的存储数据，并将所述存储数据发送至所述节点设备上。

6.根据权利要求5所述方法，其特征在于，所述采集生产追溯管控系统、生产执行系统MES、实验室信息管理系统LIMS、设备资产管理系统EAM、仓库管理系统WMS、研发管理系统和营销数据系统中的数据信息，包括：

采集生产追溯管控系统产生的数据信息；

采集生产执行系统MES产生的数据信息；

实验室信息管理系统LIMS采集模块，用于采集实验室信息管理系统LIMS产生的数据信息；

采集设备资产管理系统EAM产生的数据信息；

采集仓库管理系统WMS产生的数据信息；

采集研发管理系统产生的数据信息；

采集研发管理系统产生的数据信息；

采集营销数据系统产生的营销数据信息。

7.根据权利要求5所述方法，其特征在于，所述对PB级多维度产品工业数据矩阵进行存储，并对存储的数据进行安全防护，包括：

对离线数据进行数据存储和处理；

针对对外服务数据存储模块进行数据存储和处理；

利用Storm工具和Spark工具对所述工业数据处理系统输入的数据进行实时处理；

针对已存储完成的数据进行安全防护。

8.根据权利要求5所述方法，其特征在于，针对所述工业数据存储系统存储的数据分别进行关键指标预警预测分析、问题管理关联分析和研发生产能力分析，并获得对应的分析结果，包括：

对所述工业数据存储系统存储的数据进行对应的规则设置、实时监控和预警报警处理，并对工业数据存储系统存储的数据进行分析获得关键指标预警预测分析结果；

对所述工业数据存储系统存储的数据进行问题分析和风险识别处理，获取问题管理关联分析结果；

通过所述工业数据存储系统存储的数据，对生产追溯管控系统、生产执行系统MES、实验室信息管理系统LIMS、设备资产管理系统EAM、仓库管理系统WMS和研发管理系统进行技术能力分析、管理能力分析、标准核查、指标稳定性分析和质量成本分析，并获得研发生产能力分析结果；

将所述关键指标预警预测分析结果、问题管理关联分析结果和研发生产能力分析结果通过图形方式进行可视化展示。

Images