CN107361396A - 基于大数据的烟草烘丝水分预测与控制系统 - Google Patents

Abstract

本发明涉及一种基于大数据的烟草烘丝水分预测与控制系统，其特征在于该系统包括大数据基础平台和烟草烘丝水分预测与控制平台。大数据基础平台包括大数据云ETL、大数据基础内核、大数据分析挖掘和系统运行管理监控。烟草烘丝水分预测与控制平台包括烘丝机在线数据采集系统、烘丝机出口水分预测模型系统和烘丝出口水分预警与控制系统。该系统将深刻改变目前烟草行业对滚筒烘丝机出口烟丝水分的控制方法和水平，利用大数据关联分析、预测性分析等技术深入分析和挖掘数据背后决定卷烟成品质量的海量数据信息，真正实现烘丝过程水分精确控制、成品烟丝均质化管理和卷烟生产精益化管理。

Description

基于大数据的烟草烘丝水分预测与控制系统

技术领域

本发明涉及烟草大数据技术领域，特别是涉及一种基于大数据的烟草烘丝水分预测与控制系统。

背景技术

随着卷烟厂信息化建设应用的不断深入，企业信息资源呈几何级增长，已积累了大量信息资源，为企业生产经营决策提供了较好的信息资源基础，但数据的归集应用、挖掘分析仍处于初级阶段，如何借助数据挖掘分析技术对企业信息资源进行深度利用，是企业当前乃至未来信息化建设的重点，也是进一步提升企业决策能力、提高生产制造水平的重要支撑手段。

烟丝含水率是卷烟生产过程中最重要的质量参数，如何尽可能地提高烘丝工序的出口水分控制的平稳性与精准度一直是各卷烟生产厂家研究的重要课题。随着工艺技术的发展以及特色工艺技术的需求，工艺控制由结果控制向过程预测和控制转变，针对工艺标准，需要根据历史数据的分析及曲线拟合等算法，摸索最佳控制参数组合，提供相应的数据依据支撑，辅助及验证工艺内控标准的制定。

针对以上问题，需要研发一种面向大数据的烟草烘丝水分预测与控制系统，该系统可以依托于滚筒烘丝机设备实时产生的海量数据，合理规划储存、利用大数据，利用信息技术改进烟丝过程质量控制的方式，一方面，能够减少人为经验干预，减轻工作负担；另一方面，采用不断自学习的预测控制模型，能在一定程度上提升质量控制的精度和平稳性。利用信息化手段进行烟草生产过程数据的监测、预测、控制，对烟草成品质量的提升具有重要意义，最终达到推动生产制造水平的目的。

发明内容

本发明提供了一种基于大数据的烟草烘丝水分预测与控制系统，该系统将深刻改变目前烟草行业对滚筒烘丝机出口烟丝水分的控制方法和水平，利用大数据关联分析、预测性分析等技术深入分析和挖掘数据背后决定卷烟成品质量的海量数据信息，真正实现烘丝过程水分精确控制、成品烟丝均质化管理和卷烟生产精益化管理。本发明解决所述问题的技术方案为：

一种基于大数据的烟草烘丝水分预测与控制系统，其特征在于该系统包括大数据基础平台和烟草烘丝水分预测与控制平台：

1)大数据基础平台：数据基础平台是提供大数据基础能力的核心平台。由大数据基础平台包括大数据云ETL、大数据基础内核、大数据分析挖掘和系统运行管理监控等四个子系统构成。

2)烟草烘丝水分预测与控制平台：在大数据基础平台的支撑下，利用大数据服务重新构建滚筒烘丝机水分控制方法。通过技术层面来评价、分析，进而提升预测精度，从依靠经验控制设备参数转向基于数据精准控制，从而实现基于大数据的精益化生产管理。烟草烘丝水分预测与控制平台包括烘丝机在线数据采集系统、烘丝机出口水分预测模型系统和烘丝出口水分预警与控制系统等三个子系统构成。

附图说明

图1为本发明系统总体架构图。

具体实施方式

下面将结合本发明实施例中的附图及具体实施例进一步说明本发明的技术方案。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

本发明提供了一种基于大数据的烟草烘丝水分预测与控制系统，其特征在于该系统包括大数据基础平台和烟草烘丝水分预测与控制平台；大数据基础平台包括大数据云ETL、大数据基础内核、大数据分析挖掘和系统平台运行管理监控。烟草烘丝水分预测与控制平台包括烘丝机在线数据采集系统、烘丝机出口水分预测模型系统和烘丝出口水分预警与控制系统。

整个系统在软件架构上主要分为大数据基础平台和烟草烘丝水分预测与控制平台两大部分，系统体系架构如图1所示。

大数据基础平台是提供大数据基础能力的核心平台。由大数据基础平台包括大数据云ETL、大数据基础内核、大数据分析挖掘和系统运行管理监控等四个子系统构成。其中大数据云ETL平台子系统是在大数据平台的基础上，对烘丝工艺控制系统的各数据源的相关数据进行抽取、清洗转换和加载，并通过调度引擎进行任务调度与监控，从而提供数据整合的解决方案。大数据云ETL平台主要由数据抽取、数据清洗转换、数据加载以及调度引擎四大部分组成。数据抽取是采用分布式抽取、数据同步功能将结构化数据和非结构化数据抽取到大数据云ETL的过程。在抽取的过程中需要选择不同的抽取方法，这样可以尽可能的提高ETL的运行效率。数据抽取包括分布式抽取和数据同步步骤；大数据基础内核子系统是利用大数据基础能力中所使用的Storm流计算、MapReduce批量计算、Spark内存计算、Metadata元数据管理、DataModel大数据模型、HDFS分布式文件存储、HBASE半结构化数据存储等，实现烟草生产大数据的存储、计算和分析。Storm流计算是一个分布式的、容错的实时计算系统，可以方便地在一个计算机集群中编写与扩展复杂的实时计算，在一个小集群中，每秒可以处理数以百万计的消息。MapReduce批量计算负责解决并行计算问题，MapReduce是一种简化并行计算的编程模型，是一个处理和生成超大数据集的算法模型的相关实现。Spark是与Hadoop MapReduce相似的通用的并行计算框架，拥有MapReduce的优点，不同点是可以将Job中间输出结果保存在内存中，不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的Map Reduce的算法。Metadata元数据管理是负责管理数据仓库建设过程中所产生的有关数据源定义、目标定义、转换规则、数据对象等相关的关键数据，还包含关于数据含义的商业信息，妥善保存和管理这些信息，为数据仓库的发展和使用提供方便。DataModel大数据模型是抽象描述现实世界的一种工具和方法，是通过抽象的实体及实体之间联系的形式，来表示现实世界中事务的相互关系的一种映射。DataModel大数据模型表现的抽象的是实体和实体之间的关系，通过对实体和实体之间关系的定义和描述，来表达行业实际的业务中具体的业务关系。HDFS（Hadoop Distributed File System）是一个高度容错的分布式文件系统，设计用于在低成本硬件上运行，它提供高吞吐量应用程序数据访问功能，尤其适合带有超大型数据集的应用程序，HDFS为大数据内核提供了高性能的分布式文件存储服务。HBASE半结构化数据存储提供了一种处理半结构化数据的方案，它是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用该技术可在廉价PCServer上搭建起大规模结构化存储集群；大数据分析挖掘子系统是利用数据探索、挖掘建模和模型评估，对大数据基础内核平台存储和处理的结构和非结构化数据进行分析和挖掘，从而支持用户的业务和管理活动。由数据探索、挖掘建模和模型评估三部分构成；系统运行管理监控子系统是整个大数据平台的监控中心，平台运行体系提供所需的支持、监控、配置和安全服务。对云ETL提供可视化的配置服务，对系统的软硬件环境、网络、运行程序、处理任务进行统一的监控，对数据进行保密性处理和安全性管理，对业务用户的使用提供单点登录、权限配置和访问管理等服务。主要包括状态监控、配置节点管理、集群节点锻炼、节点和服务状态管理以及数据安全管理。

烟草烘丝水分预测与控制平台包括烘丝机在线数据采集系统、烘丝机出口水分预测模型系统和烘丝出口水分预警与控制系统三个子系统构成。

其中烘丝机在线数据采集子系统是将烘丝机的数据汇聚，包括产品数据、工艺数据、质量数据等；数据采集系统采用实时数据采集和归档数据采集两种方式进行，实时数据采集主要用于实时计算和预测，归档数据采集主要用于历史数据分析与建模；对数据进行处理，包括对无效数据的甄别、筛选等；对采集数据进行存储，能够支持海量数据储存用于分析；烘丝机出口水分预测模型子系统是通过对烘丝机历史生产数据进行预分析，构建预测算法模型，并对模型进行在线验证及自优化，使模型能够对烘丝机在线水分控制情况进行预测；烘丝出口水分预警与控制子系统通过控制算法模型计算滚筒烘丝机最优控制参数，对预测模型子系统传递的烟丝水分值进行超标预判和预警提醒，并在授权确认的情况下实现对烘丝机水分的在线控制，提高烘丝机出口水分控制精度，并对模型进行在线验证及自优化，提高烘丝机出口水分控制精度。

本说明书中未作详细描述的内容所与本领域专业技术人员公知的现有技术。

Claims (10)

1.一种基于大数据的烟草烘丝水分预测与控制系统，其特征在于该系统包括大数据基础平台和烟草烘丝水分预测与控制平台。

2.根据权利要求1所述的大数据基础平台，其特征由大数据基础平台包括大数据云ETL、大数据基础内核、大数据分析挖掘和系统运行管理监控等四个子系统构成。

3.根据权利要求2所述的大数据云ETL子系统，其特征是在大数据平台的基础上，对烟草信息系统的相关数据进行抽取、清洗转换和加载，并通过调度引擎进行任务调度与监控，从而提供数据整合的解决方案。

4.根据权利要求2所述的大数据基础内核子系统，其特征是利用大数据基础能力中所使用的Storm流计算、MapReduce批量计算、Spark内存计算、Metadata元数据管理、HDFS分布式文件存储、HBASE半结构化数据存储等，实现大数据的存储、计算和分析。

5.根据权利要求2所述的大数据分析挖掘子系统，其特征是利用数据探索、挖掘建模和模型评估，对烟草大数据基础内核平台存储和处理的结构和非结构化数据进行分析和挖掘，从而支持用户的业务和管理活动。

6.根据权利要求2所述的系统运行管理监控子系统，其特征是对整体的产品运行体系提供所需的支持、监控、配置和安全服务，对云ETL提供可视化的配置服务，对系统的软硬件环境、网络、运行程序、处理任务进行统一的监控，对数据进行保密性处理和安全性管理，对业务用户的使用提供单点登录、权限配置和访问管理等服务。

7.根据权利要求1所述的烟草烘丝水分预测与控制平台，其特征是由烘丝机在线数据采集系统、烘丝机出口水分预测模型系统和烘丝出口水分预警与控制系统等三个子系统构成。

8.根据权利要求7所述的烘丝机在线数据采集子系统，其特征是将烘丝机的数据汇聚，包括产品数据、工艺数据、质量数据等；并对数据进行处理，包括对无效数据的甄别、筛选等；对采集数据进行存储，能够支持海量数据储存用于分析。

9.根据权利要求7所述的烘丝机出口水分预测模型子系统，其特征是通过对烘丝机历史生产数据进行预分析，构建预测算法模型，并对模型进行在线验证及自优化，使模型能够对烘丝机在线水分控制情况进行预测。

10.根据权利要求7所述的烘丝出口水分预警与控制子系统，其特征是通过控制算法模型计算滚筒烘丝机最优控制参数，对预测模型子系统传递的烟丝水分值进行超标预判和预警提醒，并在授权确认的情况下实现对烘丝机水分的在线控制，提高烘丝机出口水分控制精度，并对模型进行在线验证及自优化，提高烘丝机出口水分控制精度。