CN111177140B - 一种卷烟制丝线生产过程数据清洗系统和方法 - Google Patents

Abstract

本发明公开了一种卷烟制丝线生产过程数据清洗系统和方法，涉及烟草生产领域，清洗系统包括：数据配置模块，实时数据库模块，数据提取模块，数据评估模块，数据清洗模块，数据归集模块。能够尽可能保持数据的完整，提高数据的可靠性和数据清洗的处理速度。

Description

一种卷烟制丝线生产过程数据清洗系统和方法

技术领域

本发明涉及烟草生产领域，尤其涉及过程数据一种卷烟制丝线生产过程数据清洗系统和方法。

背景技术

卷烟制丝线生产过程中，采集了大量的过程数据。主要包含电子秤的累计量、瞬时流量、各主机设备出入口水分、温度等关键工艺数据。采集的数据来自于各传感器及设备，其中包括了大量的无效数据，为了保证数据能够体现实际的烟叶、烟丝的各种水分、温度指标，需要将数据进行清洗。

而现有的数据清洗一般基于某个测量值瞬时量来判断生产线上是否有物料，再通过独立的数据点对一个个数据进行处理和清洗，在数据采集时就将大量数据直接去除，而这部分物料在实际上也会对整体物料产生较大影响，最终导致数据不可控，数据可靠性低、处理速度慢，后期的计算失真。

发明内容

本发明的目的是提供一种卷烟制丝线生产过程数据清洗系统和方法，通过设置数据清洗参数，将过程数据记录后对该批次的数据进行一次性清洗，尽可能保持数据的完整，提高数据清洗的处理速度。

为解决上述问题，本发明的一个方面提供了一种卷烟制丝线生产过程数据清洗系统，包括：

数据配置模块，用于配置对生产线过程数据进行评估的参数，参数包括采集点的采集周期、各工艺点的工艺标准；

实时数据库模块，用于实时采集制丝线各生产工序的过程数据，并按时间戳进行储存；

数据提取模块，用于从实时数据库模块获取制丝线各生产工序的过程数据，将各生产工序的过程数据按照时间整理归集为内存数据表并储存；

数据评估模块，用于根据数据配置模块配置的参数对数据提取模块的数据列表进行对比评估，判断料头、料尾、以及断料数据；

数据清洗模块，用于数据提取模块提取的过程数据进行清洗，剔除没有物料经过的数据；

数据归集模块，用于对清洗后的数据进行计算整理和存储。

更进一步的技术方案是，数据配置模块具体包括以下子模块：

数据归集参数配置子模块，用于设置数据提取模块对各生产工序的过程数据整理归集时的每道生产工序的时间偏移量，所述时间偏移量用于将各生产工序的过程数据进行偏移后使每一行数据对应同一段物料；

料头料尾数据参数配置子模块：用于设置判断料头和料尾的开始偏移量和结束偏移量，当物料累计重量首次大于开始偏移量之前的数据为料头数据，当物料累计重量首次小于批次总重量与结束偏移量之差后的数据为料尾数据；

断料数据参数配置子模块：用于设置以物料瞬时流量为标准的物料断料下限值，以及断料前时间剔除值和断料后时间剔除值；物料瞬时流量数据恰小于断料下限值时为断料开始时刻，下一次物料瞬时流量大于断料下限且持续断料恢复时间时为断料结束时刻；断料前剔除时间和断料后剔除时间用于剔除断料前后非稳态时间内的不稳定数据；

异常数据参数配置子模块：用于设置异常数据上限值和下限值，当物料的瞬时流量数据大于异常数据上限值或小于异常数据下限值时为异常数据。

更进一步的技术方案是，实时数据库模块将各生产工序实时过程数据以内存数据表的形式进行存储，内存表以时间为主键，包括该工序物料的温度、水分、流量、累计量为数据列。

更进一步的技术方案是，数据提取模块将实时数据库模块各生产工序过程数据的内存数据表进行提取，并根据配置模块设置的提取周期、数据延时时间对各个内存数据表进行整列数据前提或者后延处理，然后将各个内存数据表进行合并储存。

更进一步的技术方案是，数据评估模块包括以下子模块：

料头料尾评估子模块，将内存数据表中的物料累计量与配置模块设定的开始偏移量和结束偏移量进行对比，评估出内存数据表中的料头料尾数据；

断料评估子模块，将内存数据表中的物料瞬时流量与配置模块设定的断料下限值进行对比，并且将物料瞬时流量数据恰小于断料下限值为断料开始时刻，物料瞬时流量数据下一次恰大于断料下限值且持续断料恢复时间为断料结束时刻；将断料开始时刻的时间向前推溯断料前时间剔除值，将断料结束时刻的时间向后推溯断料后时间剔除值，这段时间内的数据为断料数据；

异常数据评估子模块，将过程数据中的数据与配置模块设定的异常数据上限值和下限值进行对比，评估出过程数据中的异常数据。

本发明的另一个方面提供了一种卷烟制丝线生产过程数据清洗的方法，包括以下步骤：

S1：数据配置，通过数据配置模块设置对生产线的过程数据进行评估的参数，参数包括采集点的采集周期、各工艺点的工艺标准；

S2：数据采集，采集制丝产线中各个生产工序的生产过程数据，按时间戳储存在实时数据库模块；

S3：数据提取及评估，将实时数据库模块获取制丝线各生产工序的过程数据，将各生产工序的过程数据按照时间整理为内存数据表并储存；根据数据配置模块配置的参数对数据提取模块的数据列表进行对比评估，判断料头、料尾、以及断料数据；

S4：数据清洗，当评估结果确定需要对过程数据进行清洗时，剔除没有物料经过的数据；

S5：对清洗后的数据进行计算整理和存储。

更进一步的技术方案是，步骤S1具体包括：

设置料头料尾数据参数：设置电子秤物料累计量的开始偏移量和结束偏移量，当物料累计重量首次大于开始偏移量之前的数据为料头数据，当物料累计重量首次大于批次总重量与结束偏移量之差后的数据为料尾数据；

设置断料数据参数：设置电子秤得到的物料流量的断料下限值，以及断料前时间剔除值和断料后时间剔除值，还有断料恢复时间；物料流量数据恰小于断料下限值的时间向前推溯断料前时间剔除值，物料流量数据恰大于断料下限值持续断料恢复时间后的时刻向后推溯断料后时间剔除值，这段数据为断料数据；

设置异常数据参数：设置异常数据上限值和下限值，当数据大于异常数据上限值或小于异常数据下限值时为异常数据。

更进一步的技术方案是，步骤S2具体包括：

采集制丝工序中各工序烟草的批次号，各个生产工序监控点的物料的水分、温度以及通过电子秤得到的物料流量，将这些数据作为生产过程数据以时间为主键生成内存表，并发送至实时数据库进行储存。

更进一步的技术方案是，步骤S3具体包括：

对过程数据中料头料尾数据的评估，将过程数据中电子秤的物料累计重量数据与开始偏移量和结束偏移量进行对比，评估出过程数据中的料头料尾数据；

对过程数据中断料数据进行评估，将内存数据表中电子秤得到的物料瞬时流量与配置模块设定的断料下限值进行对比，并根据断料恢复时间评估出内存数据表中断料数据，并根据设定的断料前后时间剔除值评估出断料前后不稳定数据；

对过程数据中异常数据进行评估，根据配置模块设定的异常数据上下限值，评估出过程数据中的异常数据。

更进一步的技术方案是，步骤S5具体包括：

利用数据清洗模块的数据，结合配置模块设定的工艺标准，进行计算合格率、偏差、最大值、最小值、变异系数、标准偏差、六西格玛水平，计算完成以后将计算结果存储至服务器数据库。

本发明的原理阐述：通过实时数据库模块获取制丝线各生产工序的过程数据按时间戳进行储存；再通过数据提取模块将各个生产工序的过程数据进行提取，并按照时间偏移量将各个生产工序的过程数据按时间偏移后整理为内存数据表进行储存。这样可以将流水线生产线上同一物料在不同时间以及工序测得的参数进行整理，通过我们对延时时间的设定，把不同工序的过程数据整列前提或后延，尽可能实现同一时间点对应的是同一物料的数据，保持数据的真实性，也保证了在数据清洗模块在进行整行数据清洗时，不会剔除某道工序的有效的数据。将所有工序的过程数据归集整理后再进行数据的清洗可以提高处理速度。通过以物料累计重量为标准设置料头和料尾的开始和结束偏移量，采用每个工序电子秤得到的物料重量的累计量作为料头料尾的标准，是因为物料重量的累计量在制丝线生产过程中是个相对稳定的数据量，它不会随物料的含水率或者性状改变而改变，产生扰动数据的可能性比物料水分、物料流量等数据点低很多，能够更加准确的判断一批物料中的料头和料尾。通过设置断料下限值、断料恢复时间、断料前/后时间剔除值来判断中间断料数据，能够将生产过程中断料数据以及断料前后不稳定数据进行清洗，保证数据的有效性。

本发明的上述技术方案具有如下有益的技术效果：能够保证数据的准确性和完整性，减少了数据误判的几率，提高了数据可靠性和处理速度。

附图说明

图1是根据本发明实施方式的示意图；

图2是数据配置模块子模块示意图；

图3是数据评估模块子模块示意图；

图4是根据本发明提供的数据清洗方法的方法流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

如图1所示，是本发明一种实施方法提供的卷烟制丝线生产过程数据清洗系统的示意图，其中：数据配置模块用于配置生产线过程数据需要进行评估的参数，包括采集点的采集周期、各工艺点的工艺标准，例如配置某种烟丝烘丝后水分为12％±0.2，电子秤流量必须小于某个限值等等。所配置的参数用于后续数据评估及清洗，还可以用于计算合格率、cpk值(制程能力指数)等指标参数。如图2所示，数据配置模块具体包括：数据归集参数配置子模块、料头料尾数据参数配置子模块、断料数据参数配置子模块、异常数据参数配置子模块四个子模块。

其中数据归集参数配置子模块用于设置数据提取模块对各生产工序的过程数据整理归集时的每道生产工序的时间偏移量以及工艺标准。来修正各个监控点位置不同而产生的对同一物料过程数据的时间误差，时间误差产生的原因是在同一时间生产线上不同位置的监控设备监控的过程数据对应的是不同位置的物料。

在制丝线的设计中，为了计量的需求，一般每个工序都设置有电子秤。对于过程数据的处理，现阶段大部分系统直接采用采集的某个参数的数值达到设置的限值并延时一定时间后作为有效数据的开始，当该参数的数值低于某个限值后反推一定时间作为有效数据的结束。以制丝线烘丝工序烘丝机出口水分的有效数据剔除规则为例，阐述卷烟制丝线生产过程数据清洗的方法。常规的处理方法是当监测到烘丝机出口水分到达8％左右，延时3分钟作为数据的开始，当监测到这批物料末尾第一次低于8％，反推延时3分钟作为数据的结束。我们将这些数据孤立的进行分析，在物料水分比较正常的情况下，我们计算的烘丝机出口水分的平均值、标准偏差和实际偏差不大。但由于仅选择的烘丝机出口水分为数据清洗的参考标准，当烘丝机出口水分数据不准确时会造成数据失真，例如在回潮工序中烟草物料可能会集结成坨，该坨物料在回潮工序加水过多时水分可能会超过8％，当这坨物料经过烘丝机出口时可能会判断数据开始。这样必然导致数据的不可靠，数据计算失真。而料头料尾数据参数配置子模块以更加稳定的电子秤采集的物料累计重量为判断标准，采用每个工序电子秤累计物料重量作为判断料头料尾的参考标准，因为累计量在制丝线生产过程中是个相对稳定的数据量，它不会随物料的含水率或者性状改变而改变，而且产生扰动数据的可能性比物料水分、物料流量等数据点低很多。测定出制丝生产线每个工序生产到达稳定状态时需要经过多少公斤物料，生产快结束时多少公斤处于不稳定状态，经过摸索，在料头料尾数据参数配置子模块里设置有效数据开始和结束偏移量。数据评估模块根据设置的开始和结束偏移量，将过程数据中的物料重量数据进行累计计算得到累计量，数据清洗模块将累计量低于开始偏移量和最后结束偏移量数据整行剔除。

断料数据参数配置子模块的作用是设置用于剔除生产过程中停机断料的数据的参数。该参数包括：以物料瞬时流量为标准的物料断料下限值、断料恢复时间、断料前时间剔除值和断料后时间剔除值。

断料下限值是以预设的电子秤流量限值，当电子秤流量低于这个限制时认为生产线出现了断料的情况，即该生产线检测点没有物料通过；当电子秤流量再次大于这个限制并持续一段时间，认为生产线断料恢复，这个持续时间就是设定的断料恢复时间。因为生产线出现断料情况时往往在断料前后有一段不稳定的状态，这段时间的生产数据并不是稳定的数据需要后期进行清洗，因此设置了断料前剔除时间和断料后剔除时间用于剔除断料前后非稳态时间内的不稳定数据。

而异常数据参数配置子模块主要用于设置异常数据上限值和下限值，当物料的瞬时流量数据大于所述异常数据上限值或小于所述异常数据下限值时为异常数据。

实时数据库模块包括数据表存储子模块和数据表自动调整子模块。数据表存储子模块将制丝线各工序过程数据按时间戳以内存数据表的形式进行存储，该内存表以时间为主键，各工序温度、水分、流量、累计量以及需要关注的一些检测数据为数据列。而数据表自动调整子模块根据数据归集参数配置子模块设置的每道生产工序的时间偏移量，来对各个工序和监测点的内存数据表进行整列数据前提或者后延处理，再进行合并储存。这是由于流水线生产，同一个时间点对应的温度，水分数据并不是同一片物料对应的温度、水分值，通过我们对数据进行时间偏移量处理，把各个工序或监测点的过程数据前提或后延，尽可能实现同一时间点对应的是同一段物料的数据，提高数据的真实性，也保证了在数据清洗模块在进行整行数据清洗时，不会剔除有效的数据。

数据提取模块从所述实时数据库模块获取制丝线各生产工序的过程数据，并存储于服务器内存中供数据清洗模块进行数据清洗。

如图3所示，数据评估模块包括料头料尾评估子模块、断料评估子模块、异常数据评估子模块。料头料尾评估子模块将所述过程数据中的累计量与所述配置模块设定的开始偏移量和结束偏移量进行对比，评估出所述过程数据中的料头料尾数据。断料评估子模块将所述过程数据中的流量与所述配置模块设定的断料下限值进行对比，并且将物料流量数据恰小于断料下限值且持续时间大于设定时间，第一次低于断料下限值为断料开始。当物料流量大于断料下限，且持续时间大于设定时间时，第一次物料流量大于断料下限时为断料结束时间。评估出断料开始和结束时间后，为保证数据是进入稳定时的数据，并且将物料流量数据恰小于断料下限值的时间向前推溯所述断料前时间剔除值，将物料流量数据恰大于断料下限值的时间向后推溯所述断料后时间剔除值进行评估处理，以供数据清洗模块进行数据清洗。异常数据评估子模块将所述过程数据中的数据与所述配置模块设定的异常数据上限值和下限值进行对比，评估出所述过程数据中的异常数据。

数据清洗模块根据数据评估模块对过程数据的评估所剔除没有物料经过的数据以及无效数据。

数据归集模块，利用数据清洗模块处理后的数据计算合格率、偏差、最大值、最小值、变异系数、六西格玛水平、标偏等，计算完成以后将计算结果存储至服务器数据库。

如图所4示为本发明提供的卷烟制丝线生产过程数据清洗的方法的流程图，包括以下步骤：

S1：数据配置，通过数据配置模块设置对生产线的过程数据进行评估的参数，将参数发送至数据评估模块；

S2：数据采集，采集制丝产线中各个生产工序的生产过程数据，按时间生成内存表后发送至实时数据库进行压缩储存；

S3：数据提取及评估，将所述过程数据从实时数据库中的数据提取出来，通过数据评估模块对过程数据进行评估，获得料头料尾、断料数据评估结果；

S4：数据清洗，当所述评估结果确定需要对过程数据进行清洗时，根据评估结果将需要清洗的数据删除；

S5：对清洗后的数据进行计算整理和存储。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (8)

1.一种卷烟制丝线生产过程数据清洗系统，其特征在于，包括：

数据配置模块，用于配置对生产线过程数据进行评估的参数，所述参数包括采集点的采集周期、各工艺点的工艺标准；

实时数据库模块，用于实时采集制丝线各生产工序的过程数据，并按时间戳进行储存；

数据提取模块，用于从所述实时数据库模块获取制丝线各生产工序的过程数据，将各生产工序的过程数据按照时间整理归集为内存数据表并储存；

数据评估模块，用于根据所述数据配置模块配置的参数对所述数据提取模块的数据列表进行对比评估，判断料头、料尾、以及断料数据；

数据清洗模块，用于所述数据提取模块提取的过程数据进行清洗，剔除没有物料经过的数据；

数据归集模块，用于对清洗后的数据进行计算整理和存储；

所述数据配置模块具体包括以下子模块：

数据归集参数配置子模块，用于设置数据提取模块对各生产工序的过程数据整理归集时的每道生产工序的时间偏移量以及工艺标准，所述时间偏移量用于将各生产工序的过程数据进行偏移后使每一行数据对应同一段物料；

料头料尾数据参数配置子模块，用于设置判断料头和料尾的开始偏移量和结束偏移量，当物料累计重量首次大于所述开始偏移量之前的数据为料头数据，当物料累计重量首次小于批次总重量与所述结束偏移量之差后的数据为料尾数据；

断料数据参数配置子模块，用于设置以物料瞬时流量为标准的物料断料下限值，以及断料前时间剔除值和断料后时间剔除值；物料瞬时流量数据恰小于断料下限值时为断料开始时刻，下一次物料瞬时流量大于断料下限且持续断料恢复时间时为断料结束时刻；断料前剔除时间和断料后剔除时间用于剔除断料前后非稳态时间内的不稳定数据；

异常数据参数配置子模块，用于设置异常数据上限值和下限值，当物料的瞬时流量数据大于所述异常数据上限值或小于所述异常数据下限值时为异常数据。

2.根据权利要求1所述的卷烟制丝线生产过程数据清洗系统，其特征在于，所述实时数据库模块将各生产工序实时过程数据以内存数据表的形式进行存储，所述内存数据表以时间为主键，包括该工序物料的温度、水分、流量、累计量为数据列。

3.根据权利要求2所述的卷烟制丝线生产过程数据清洗系统，其特征在于，所述数据提取模块将所述实时数据库模块各生产工序过程数据的内存数据表进行提取，并根据配置模块设置的提取周期、数据延时时间对各个内存数据表进行整列数据前提或者后延处理，然后将各个内存数据表进行合并储存。

4.根据权利要求3所述的卷烟制丝线生产过程数据清洗系统，其特征在于，所述数据评估模块包括以下子模块：

料头料尾评估子模块，将所述内存数据表中的物料累计量与所述配置模块设定的开始偏移量和结束偏移量进行对比，评估出所述内存数据表中的料头料尾数据；

断料评估子模块，将所述内存数据表中的物料瞬时流量与所述配置模块设定的断料下限值进行对比，并且将物料瞬时流量数据恰小于断料下限值为断料开始时刻，物料瞬时流量数据下一次恰大于断料下限值且持续断料恢复时间为断料结束时刻；将断料开始时刻的时间向前推溯所述断料前时间剔除值，将断料结束时刻的时间向后推溯所述断料后时间剔除值，这段时间内的数据为断料数据；

异常数据评估子模块，将所述过程数据中的数据与所述配置模块设定的异常数据上限值和下限值进行对比，评估出所述过程数据中的异常数据。

5.一种卷烟制丝线生产过程数据清洗的方法，其特征在于，包括以下步骤：

S1：数据配置，通过数据配置模块设置对生产线的过程数据进行评估的参数，所述参数包括采集点的采集周期、各工艺点的工艺标准；

S2：数据采集，采集制丝产线中各个生产工序的生产过程数据，按时间戳储存在实时数据库模块；

S3：数据提取及评估，将所述实时数据库模块获取制丝线各生产工序的过程数据，将各生产工序的过程数据按照时间整理为内存数据表并储存；根据所述数据配置模块配置的参数对数据提取模块的数据列表进行对比评估，判断料头、料尾、以及断料数据；

S4：数据清洗，当评估结果确定需要对过程数据进行清洗时，剔除没有物料经过的数据；

S5：对清洗后的数据进行计算整理和存储；

所述步骤S1具体包括：

设置料头料尾数据参数：设置电子秤物料累计量的开始偏移量和结束偏移量，当物料累计重量首次大于所述开始偏移量之前的数据为料头数据，当物料累计重量首次大于批次总重量与结束偏移量之差后的数据为料尾数据；

设置断料数据参数：设置电子秤得到的物料流量的断料下限值，以及断料前时间剔除值和断料后时间剔除值，还有断料恢复时间；物料流量数据恰小于断料下限值的时间向前推溯所述断料前时间剔除值，物料流量数据恰大于断料下限值持续断料恢复时间后的时刻向后推溯所述断料后时间剔除值，这段数据为断料数据；

设置异常数据参数：设置异常数据上限值和下限值，当数据大于所述异常数据上限值或小于所述异常数据下限值时为异常数据。

6.根据权利要求5所述的卷烟制丝线生产过程数据清洗的方法，其特征在于，所述步骤S2具体包括：

采集制丝工序中各工序烟草的批次号，各个生产工序监控点的物料的水分、温度以及通过电子秤得到的物料流量，将这些数据作为生产过程数据以时间为主键生成内存表，并发送至实时数据库进行储存。

7.根据权利要求5所述的卷烟制丝线生产过程数据清洗的方法，其特征在于，所述步骤S3具体包括：

对过程数据中料头料尾数据的评估，将过程数据中电子秤的物料累计重量数据与所述开始偏移量和结束偏移量进行对比，评估出所述过程数据中的料头料尾数据；

对过程数据中断料数据进行评估，将内存数据表中电子秤得到的物料瞬时流量与配置模块设定的断料下限值进行对比，并根据所述断料恢复时间评估出内存数据表中断料数据，并根据设定的断料前后时间剔除值评估出断料前后不稳定数据；

对过程数据中异常数据进行评估，根据配置模块设定的异常数据上下限值，评估出所述过程数据中的异常数据。

8.根据权利要求5所述的卷烟制丝线生产过程数据清洗的方法，其特征在于，所述步骤S5具体包括：

利用数据清洗模块的数据，结合配置模块设定的工艺标准，进行计算合格率、偏差、最大值、最小值、变异系数、标准偏差、六西格玛水平，计算完成以后将计算结果存储至服务器数据库。