CN113177698A - 一种工业大数据分析辅助决策平台系统 - Google Patents

Abstract

本发明公开了一种工业大数据分析辅助决策平台系统，包括：数据采集层，用于采集工业数据；数据存储层，用于采用不同类型的数据库对多种格式的工业数据进行存储，并采用分布式存储的方式存放工业数据，形成多个不同主题的数据仓库；数据分析层，用于基于机器学习预测方法，对工业数据进行数据分析；数据服务层，用于将数据分析结果进行可视化展示，并提供数据服务辅助经营者进行决策。本发明可采集生产数据，外部数据等，并根据数据的特征和类型进行分类存储，同时选取合适的工业智能算法对数据进行分析和挖掘，从中提取有效的信息，帮助工业企业实现智能化生产以及经营决策营销等目的。

Description

一种工业大数据分析辅助决策平台系统

技术领域

本发明涉及工业智能控制和数据挖掘技术领域，特别涉及一种工业大数据分析辅助决策平台系统。

背景技术

大数据处理是对海量数据进行存储及分析的技术，其所涉及到的技术主要分为数据存储技术和数据分析技术。

数据存储作为大数据领域关键技术之一，实现其大容量快速存取与低延时响应决定着大数据处理平台的性能。因此，国内外许多学者研究构建大容量、高性能、可扩展的数据存储系统。数据存储技术自20世纪50年代末发展以来，根据需求变化经历了三方面转变，而当下所采用的存储模式主要是对文件的分布式管理。数据分析技术方面，当前对工业时序性数据的预测方法主要有向量自回归模型(VAR)、自回归移动平均模型(ARIMA)、广义自回归条件异方差模型(GARCH)等，而在复杂的工业生产过程中，由于各种假设条件的限制，使得线性预测模型的精度受到了极大的限制。

目前，传统的大数据框架还存在数据利用率低，数据存储不合理，不能对工业数据实时处理，未能形成有效的数据闭环等问题，亟需改进。

发明内容

本发明提供了一种工业大数据分析辅助决策平台系统，以解决传统的大数据框架中存在的数据利用率低，数据存储不合理，不能对工业数据实时处理，未能形成有效的数据闭环的技术问题。

为解决上述技术问题，本发明提供了如下技术方案：

一种工业大数据分析辅助决策平台系统，包括：

数据采集层，用于采集工业生产中的预设类型的工业数据；

数据存储层，用于获取所述数据采集层采集的工业数据，根据数据格式和类型，采用不同类型的数据库对多种格式的工业数据进行存储，并采用分布式存储的方式存放工业数据，按照预设的分类方式形成多个不同主题的数据仓库；

数据分析层，用于从所述数据存储层中获取待分析的工业数据，并基于机器学习预测方法，对待分析的工业数据进行数据分析，获取预期的结果；

数据服务层，用于获取所述数据分析层输出的数据分析结果，将所述数据分析层的数据分析结果进行可视化展示，并提供数据服务辅助经营者进行决策。

进一步地，所述工业数据包括工业生产现场的内部生产数据、绩效管理数据和外部营销数据。

进一步地，所述数据采集层具体用于：

通过工业生产线中布置的传感器从工业生产线中采集内部生产数据；

通过文件上传的方式获取绩效管理数据；

通过网络爬虫技术获取外部营销数据。

进一步地，所述数据存储层包括预处理模块、实时计算与处理模块以及离线数据存储模块；

所述预处理模块用于对所述数据采集层采集的工业数据进行预处理，并将预处理后的数据分为实时数据和非实时数据分别导入实时计算与处理模块以及离线数据存储模块中；其中，所述预处理包括数据清洗、数据关联和数据筛选；

所述实时计算与处理模块用于对生产过程中的实时数据进行实时计算，并将实时数据存入云存储平台，以供后续数据分析挖掘；其中，在所述云存储平台中，通过分布式存储的方式，对工业级别的大数据进行存储；

所述离线数据存储模块用于将所采集到的非实时数据按照数据的类型以及不同数据库的特点进行分类存储，并将数据按照生产主题，质量主题，绩效主题和营销主题进行分类，形成分主题的数据仓库，实现模块化存储。

进一步地，实时计算与处理模块构建于Spark平台的核心计算引擎之上。

进一步地，所述数据分析层具体用于：

基于机器学习预测方法，采用预设的工业数据分析技术，在数据建模工具的指引下，针对工业数据实现不同的数据分析所需要的数据模型，并从所述数据存储层获取工业数据对构建的数据模型进行训练，当数据模型达到预期数据效果时，将需要进行分析预测的数据输入训练好的数据模型中，利用训练好的数据模型获得相应的数据分析结果；其中，所述工业数据分析技术包括：时序模式分析技术，工业知识图谱技术以及多源数据融合分析技术。

进一步地，所述数据分析层构建于Spark平台之上。

进一步地，所述数据服务层提供的数据服务包括智能化设计、智能化生产和智能化经营；

所述智能化设计包括：对产品售后的客户反馈进行数据挖掘和分析，精准量化客户需求，指导设计过程，改变产品设计模式；

所述智能化生产包括：基于产品质检数据和生产过程数据的关联性分析，提供在线质量监测和质量异常与追溯分析，提升产品良品率；

所述智能化经营包括：挖掘用户需求和市场趋势，建立用户对商品需求的分析体系，挖掘用户深层次的需求，为企业提供产品推荐及销量预测服务。

本发明提供的技术方案带来的有益效果至少包括：

本发明可协助管理者进行经营决策；帮助工业企业完成生产流程的优化与改进；对市场等外部信息进行挖掘，以调整营销策略；主要具有以下优点：

(1)本发明通过对企业人员配置管理，生产线效率等绩效因素的分析，可以有效帮助企业经营者进行管理经营决策，提高企业管理者进行决策的效率。

(2)本发明通过对工业实时生产数据的监测，使用进行工业时序性算法对产品质量，设备故障等数据进行异常检测，能够有效地追溯产品质量出现问题的原因，优化产品的生产流程，降低生产成本，同时也能够有效地对生产设备的故障进行预警研判。

(3)本发明通过对外部的市场舆情，用户反馈等外部信息进行采集，并使用市场情绪分析等方法，实现了对用户需求，关注热点等信息变化的准确定位，同时根据市场的关注点实时地对产品的营销策略进行动态调整。

(4)本发明能够通过挖掘消费者核心反馈，生产过程中故障产生的核心原因等信息，找出产品设计时存在的不足之处，从而帮助企业在产品设计环节找到优化的方向。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的工业大数据分析辅助决策平台系统的原理图；

图2为本发明实施例提供的工业大数据分析辅助决策平台系统的工作流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

针对传统的大数据框架中所存在的数据利用率低，数据存储不合理，不能对工业数据实时处理，未能形成有效的数据闭环等问题，本实施例提供了一种工业大数据分析辅助决策平台系统，在现有的工业大数据平台的基础上，采取大数据框架Spark，对工业生产时的实时数据进行实时计算处理，同时将工业数据分成质量、营销、绩效等主题，对数据进行分类挖掘，对数据实现充分有效利用，帮助工业企业实现生产制造，经营决策的智能化。

如图1和图2所示，本实施例的工业大数据分析辅助决策平台系统包括：

数据采集层，用于采集工业生产中的预设类型的工业数据；

数据存储层，用于获取数据采集层采集的工业数据，根据数据格式和类型，采用不同类型的数据库对多种格式的工业数据进行存储，并采用分布式存储的方式存放工业数据，按照预设的分类方式形成多个不同主题的数据仓库；

数据分析层，用于从数据存储层中获取待分析的工业数据，并基于机器学习预测方法，对待分析的工业数据进行数据分析，获取预期的结果；

数据服务层，用于获取数据分析层输出的数据分析结果，将数据分析层的数据分析结果进行可视化展示，并提供数据服务辅助经营者进行决策。

具体地，数据采集层采集的数据包括工业生产现场的内部生产数据、绩效管理数据和外部营销数据。而且，数据采集层针对数据的不同类型，采取不同的方式进行获取。下面，对数据采集层获取工业数据的方式进行示例性说明：

(1)针对工业生产现场的设备状态，产品质量等数据，使用传感器等设备进行实时采集，从工业生产线采集生产数据，设备数据等；同时通过客户端将本系统与现场设备相连，将采集到的工业数据接入本实施例的工业大数据平台。

(2)对于工业当中的故障日志，维修单等文件类型的数据，采取文件上传的方式，直接将文件存入本实施例的工业大数据平台。

(3)对于从外部获取的数据，如市场舆情等，通过网络爬虫的方式实现对数据的采集，获取外部的销售，财务数据等外部营销数据。

数据存储层包括预处理模块、实时计算与处理模块以及离线数据存储模块；

预处理模块用于对数据采集层采集的工业数据进行预处理，并将预处理后的数据分为实时数据和非实时数据分别导入实时计算与处理模块以及离线数据存储模块中；其中，预处理过程包括数据清洗、数据关联和数据筛选；

实时计算与处理模块建于Spark平台的核心计算引擎之上，用于对生产过程中的实时数据进行实时计算，并将其存入云存储平台，以供后续数据分析挖掘；其中，在云存储平台中，通过Hive，Redis等基于Hadoop的组件，能够通过分布式存储的方式，对工业级别的大量数据进行存储。

离线数据存储模块用于将所采集到的非实时数据按照数据的类型以及不同数据库的特点进行分类存储，并将数据按照生产，质量，绩效和营销等主题进行分类，形成分主题的数据仓库，实现模块化存储。

数据分析层构建于Spark平台之上，能够通过从Spark MLlib算法库当中选取调用合适的数据挖掘算法，针对存储的生产过程中的实时数据进行高效，及时的分析；其主要采用机器学习预测方法，机器学习预测方法相对传统模型预测误差相对较小，并且误差相对稳定。具体地，本实施例的数据分析层通过机器自模型学习方法，采取时序模式分析技术，工业知识图谱技术，多源数据融合分析技术等工业数据分析技术。在数据建模的工具指引下，针对工业数据实现不同的数据分析需要的数据模型，从数据存储层输入数据对数据分析层中的数据模型进行训练，当数据模型达到预期数据效果时，将需要进行分析预测的数据输入数据分析层，利用训练好的数据模型生成预期的结果。

数据服务层通过将数据分析的结果进行可视化展现，主要的应用场景有成本分析，市场销售分析，绩效指标控制等。给出相应的关键指标预测分析，问题管理关联分析和研发生产能力分析的结果。

该数据服务层能够适用于不同的应用场景，为企业在工业产品的全生命周期提供相应的数据服务，具体地，本实施例的数据服务层可实现以下数据服务：

(1)智能化设计：对产品售后的客户反馈等动态进行数据挖掘和分析，精准量化客户需求，指导设计过程，改变产品设计模式；

(2)智能化生产：基于产品质检数据和生产过程数据的关联性分析，提供在线质量监测和质量异常与追溯分析等数据服务，提升产品良品率；

(3)智能化经营：挖掘用户需求和市场趋势，建立用户对商品需求的分析体系，挖掘用户深层次的需求，为企业提供产品推荐及销量预测等数据服务。

综上，本实施例的工业大数据分析辅助决策平台系统采取不同类型的数据库对多种格式的工业数据进行存储，并采取分布式存储的方式存放海量的工业数据，按照主题分类形成质量，营销，绩效等主题的数据仓库。通过Spark核心引擎对采集到的设备运行状态等工业数据进行实时计算处理，同时将数据分析层基于Spark平台上以达到较好的计算性能和延展性。可为企业在智能化设计，智能化生产以及智能化经营等方面提供多种数据服务，帮助管理者经营决策。

此外，需要说明的是，本发明可提供为方法、装置或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

最后需要说明的是，以上所述是本发明优选实施方式，应当指出，尽管已描述了本发明优选实施例，但对于本技术领域的技术人员来说，一旦得知了本发明的基本创造性概念，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

Claims (8)

1.一种工业大数据分析辅助决策平台系统，其特征在于，包括：

数据采集层，用于采集工业生产中的预设类型的工业数据；

数据存储层，用于获取所述数据采集层采集的工业数据，根据数据格式和类型，采用不同类型的数据库对多种格式的工业数据进行存储，并采用分布式存储的方式存放工业数据，按照预设的分类方式形成多个不同主题的数据仓库；

数据分析层，用于从所述数据存储层中获取待分析的工业数据，并基于机器学习预测方法，对待分析的工业数据进行数据分析，获取预期的结果；

数据服务层，用于获取所述数据分析层输出的数据分析结果，将所述数据分析层的数据分析结果进行可视化展示，并提供数据服务辅助经营者进行决策。

2.如权利要求1所述的工业大数据分析辅助决策平台系统，其特征在于，所述工业数据包括工业生产现场的内部生产数据、绩效管理数据和外部营销数据。

3.如权利要求2所述的工业大数据分析辅助决策平台系统，其特征在于，所述数据采集层具体用于：

通过工业生产线中布置的传感器从工业生产线中采集内部生产数据；

通过文件上传的方式获取绩效管理数据；

通过网络爬虫技术获取外部营销数据。

4.如权利要求1所述的工业大数据分析辅助决策平台系统，其特征在于，所述数据存储层包括预处理模块、实时计算与处理模块以及离线数据存储模块；

所述预处理模块用于对所述数据采集层采集的工业数据进行预处理，并将预处理后的数据分为实时数据和非实时数据分别导入实时计算与处理模块以及离线数据存储模块中；其中，所述预处理包括数据清洗、数据关联和数据筛选；

所述实时计算与处理模块用于对生产过程中的实时数据进行实时计算，并将实时数据存入云存储平台，以供后续数据分析挖掘；其中，在所述云存储平台中，通过分布式存储的方式，对工业级别的大数据进行存储；

所述离线数据存储模块用于将所采集到的非实时数据按照数据的类型以及不同数据库的特点进行分类存储，并将数据按照生产主题，质量主题，绩效主题和营销主题进行分类，形成分主题的数据仓库，实现模块化存储。

5.如权利要求4所述的工业大数据分析辅助决策平台系统，其特征在于，所述实时计算与处理模块构建于Spark平台的核心计算引擎之上。

6.如权利要求1所述的工业大数据分析辅助决策平台系统，其特征在于，所述数据分析层具体用于：

基于机器学习预测方法，采用预设的工业数据分析技术，在数据建模工具的指引下，针对工业数据实现不同的数据分析所需要的数据模型，并从所述数据存储层获取工业数据对构建的数据模型进行训练，当数据模型达到预期数据效果时，将需要进行分析预测的数据输入训练好的数据模型中，利用训练好的数据模型获得相应的数据分析结果；其中，所述工业数据分析技术包括：时序模式分析技术，工业知识图谱技术以及多源数据融合分析技术。

7.如权利要求6所述的工业大数据分析辅助决策平台系统，其特征在于，所述数据分析层构建于Spark平台之上。

8.如权利要求1所述的工业大数据分析辅助决策平台系统，其特征在于，所述数据服务层提供的数据服务包括智能化设计、智能化生产和智能化经营；

所述智能化设计包括：对产品售后的客户反馈进行数据挖掘和分析，精准量化客户需求，指导设计过程，改变产品设计模式；

所述智能化生产包括：基于产品质检数据和生产过程数据的关联性分析，提供在线质量监测和质量异常与追溯分析，提升产品良品率；

所述智能化经营包括：挖掘用户需求和市场趋势，建立用户对商品需求的分析体系，挖掘用户深层次的需求，为企业提供产品推荐及销量预测服务。

Images