CN111047295B - 一种卷烟制丝加工过程的数据采集方法 - Google Patents

一种卷烟制丝加工过程的数据采集方法 Download PDF

Info

Publication number
CN111047295B
CN111047295B CN201911289216.3A CN201911289216A CN111047295B CN 111047295 B CN111047295 B CN 111047295B CN 201911289216 A CN201911289216 A CN 201911289216A CN 111047295 B CN111047295 B CN 111047295B
Authority
CN
China
Prior art keywords
data
batch
module
data acquisition
acquired
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911289216.3A
Other languages
English (en)
Other versions
CN111047295A (zh
Inventor
胡东东
张国军
杨晶津
李天明
刘继辉
树林
李思源
杨佳东
汪显国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hongyun Honghe Tobacco Group Co Ltd
Original Assignee
Hongyun Honghe Tobacco Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hongyun Honghe Tobacco Group Co Ltd filed Critical Hongyun Honghe Tobacco Group Co Ltd
Priority to CN201911289216.3A priority Critical patent/CN111047295B/zh
Publication of CN111047295A publication Critical patent/CN111047295A/zh
Application granted granted Critical
Publication of CN111047295B publication Critical patent/CN111047295B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24564—Applying rules; Deductive queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24568—Data stream processing; Continuous queries

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • General Factory Administration (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种卷烟制丝加工过程的数据采集方法，设定各工序的数据采集点，确定每个数据采集点的数据种类，并对每一数据种类均定义特定的数据规则；将所采集的数据均按设定的规则赋予标签，形成数据串；对数据串进行校验，经过校验后的数据串在控制系统的数据接口后端采用异步处理方式，将实时数据串发送到消息队列中，数据使用模块通过订阅消息队列，进行各自的数据处理。本技术方案通过对生产线纵向各工序的数据采集点的设定，并为每个数据采集点确定采集数据种类、定义数据规则，对采集到的数据标签处理，并对数据进行校验，各数据使用模块通过订阅消息队列，进行各自的数据处理，互不影响，保证智能预测的实时计算和反馈控制。

Description

一种卷烟制丝加工过程的数据采集方法
技术领域
本发明属于卷烟制丝加工管理技术领域，特别是指一种卷烟制丝加工过程的数据采集方法。
背景技术
数据质量是确保制丝过程工艺质量有效性和准确性持续提升的重要前提和基础保障。现技术对生产线的管理过程中，生产制造执行系统(EMS)已经被广泛使用，该生产制造执行系统具有了采用数据挖掘等先进方法提供生产工艺质量过程管控能力的硬件支撑。
但是，在生产制造过程中，对于生产线各工序的数据的管理，还不能与精准化管理要求相适应，而是在采集的数据中，存在大量的缺失数据、错误数据及干扰数据，而影响智能预测的实时性及反馈控制的精确性。
发明内容
本发明的目的是提供一种卷烟制丝加工过程的数据采集方法，以解决现有技术中，对采集的数据不能精准化管理，而影响智能预测的实时性及反馈控制的精确性的问题。
本发明是通过以下技术方案实现的：
一种卷烟制丝加工过程的数据采集方法，包括以下步骤：
S1、设定卷烟制丝加工生产线的纵向各工序的数据采集点，确定每个数据采集点的数据种类，并对每一数据种类均定义特定的数据规则；
S2、将每个数据采集点所采集的数据均按设定的规则赋予标签，形成数据串；
S3、对所述数据串进行校验，以保证数据的准确性；
S4、经过校验后的数据串在控制系统的数据接口后端采用异步处理方式，将实时数据串发送到消息队列中，数据使用模块通过订阅消息队列，进行各自的数据处理；
S5、所述数据使用模块设定各自的数据批次规则，采集并设定分批算法和有效数据截取算法；
S6、数据使用模块针对其获取的数据批次进行完整性判断，若该数据批次中，没有包括所有数据采集点的数据，则弃用该数据批次；
若该数据批次中，包括所有数据采集点的数据，则运用设定的分批算法和有效数据截取算法进行数据有效性的判断，若符合数据有效性的判断，则该数据批次为数据使用模块的有效数据模块，否则弃用。
每个数据采集点的数据种类为一种或一种以上。
所述数据规则至少包括是否允许空值、有效数据范围及有效数据校验规则。
在数据实时传输过程中或离线传输数据后对所述数据串进行校验。
所述数据串利用有效数据校验规则进行校验，包括但不限于空值校验及异常值校验。
所述数据使用模块包括但不限于数据存储模块、实时计算模块及数据监控模块。
本发明的有益效果是：
本技术方案通过对生产线纵向各工序的数据采集点的设定，并为每个数据采集点确定采集数据种类、定义数据规则，对采集到的数据标签处理，并对数据进行校验，各数据使用模块通过订阅消息队列，进行各自的数据处理，互不影响，保证智能预测的实时计算和反馈控制。
附图说明
图1为本发明数据采集处理架构图。
具体实施方式
以下通过实施例来详细说明本发明的技术方案，以下的实施例仅是示例性的，仅能用来解释和说明本发明的技术方案，而不能解释为是对本发明技术方案的限制。
如图1所示，本申请提供一种卷烟制丝加工过程的数据采集方法，包括以下步骤：
S1、设定卷烟制丝加工生产线的纵向各工序的数据采集点，确定每个数据采集点的数据种类，并对每一数据种类均定义特定的数据规则；数据采集点的设备根据数据使用的需要相关，通常涉及设备运转情况数据、操作参数数据、质量检测数据等均设置为数据采集点。并且，在每个数据采集点上，涉及的数据种类也不相同，比如温度、湿度、压力、设备的转速、运行时间等分别为不同的数据种类。
数据规则至少包括是否允许空值、有效数据范围及有效数据校验规则。在数据采集方面，为了保证数据的一致性，不同数据采集点的相同数据种类的数据规则通常为相同，以便于对数据的处理。
S2、将每个数据采集点所采集的数据均按设定的规则赋予标签，形成数据串；为每个数据采集点所采集的数据赋予标签，使得通过该标签得到数据的来源，即便于对数据的存储也便于对数据的使用及数据的追溯。
S3、对数据串进行校验，以保证数据的准确性；在数据实时传输过程中或离线传输数据后对数据串进行校验。
数据串利用有效数据校验规则进行校验，包括但不限于空值校验及异常值校验，以保证数据的准确性。
S4、经过校验后的数据串在控制系统的数据接口后端采用异步处理方式，将实时数据串发送到消息队列中，数据使用模块通过订阅消息队列，进行各自的数据处理；数据使用模块包括但不限于数据存储模块、实时计算模块及数据监控模块。
S5、数据使用模块设定各自的数据批次规则，采集并设定分批算法和有效数据截取算法，以保证开展智能预测、评价等研究所需要的数据批次的完整性和有效性。
S6、数据使用模块针对其获取的数据批次进行完整性判断，若该数据批次中，没有包括所有数据采集点的数据，则弃用该数据批次。
若该数据批次中，包括所有数据采集点的数据，则运用设定的分批算法和有效数据截取算法进行数据有效性的判断，若符合数据有效性的判断，则该数据批次为数据使用模块的有效数据模块，否则弃用。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变形，本发明的范围由所附权利要求及其等同限定。

Claims (5)

1.一种卷烟制丝加工过程的数据采集方法，其特征在于，包括以下步骤：
S1、设定卷烟制丝加工生产线的纵向各工序的数据采集点，确定每个数据采集点的数据种类，并对每一数据种类均定义数据规则；所述数据规则至少包括是否允许空值、有效数据范围及有效数据校验规则;
S2、将每个数据采集点所采集的数据均按设定的规则赋予标签，形成数据串,为每个数据采集点所采集的数据赋予标签，使得通过该标签得到数据的来源;
S3、对所述数据串进行校验，以保证数据的准确性；
S4、经过校验后的数据串在控制系统的数据接口后端采用异步处理方式，将实时数据串发送到消息队列中，数据使用模块通过订阅消息队列，进行各自的数据处理；
S5、所述数据使用模块设定各自的数据批次规则，采集并设定分批算法和有效数据截取算法；
S6、数据使用模块针对其获取的数据批次进行完整性判断，若该数据批次中，没有包括所有数据采集点的数据，则弃用该数据批次；
若该数据批次中，包括所有数据采集点的数据，则运用设定的分批算法和有效数据截取算法进行数据有效性的判断，若符合数据有效性的判断，则该数据批次为数据使用模块的有效数据模块，否则弃用。
2.根据权利要求1所述的卷烟制丝加工过程的数据采集方法，其特征在于，每个数据采集点的数据种类为一种或一种以上。
3.根据权利要求1所述的卷烟制丝加工过程的数据采集方法，其特征在于，在数据实时传输过程中或离线传输数据后对所述数据串进行校验。
4.根据权利要求1所述的卷烟制丝加工过程的数据采集方法，其特征在于，所述数据串利用有效数据校验规则进行校验，包括但不限于空值校验及异常值校验。
5.根据权利要求1所述的卷烟制丝加工过程的数据采集方法，其特征在于，所述数据使用模块包括但不限于数据存储模块、实时计算模块及数据监控模块。
CN201911289216.3A 2019-12-13 2019-12-13 一种卷烟制丝加工过程的数据采集方法 Active CN111047295B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911289216.3A CN111047295B (zh) 2019-12-13 2019-12-13 一种卷烟制丝加工过程的数据采集方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911289216.3A CN111047295B (zh) 2019-12-13 2019-12-13 一种卷烟制丝加工过程的数据采集方法

Publications (2)

Publication Number Publication Date
CN111047295A CN111047295A (zh) 2020-04-21
CN111047295B true CN111047295B (zh) 2023-04-07

Family

ID=70236499

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911289216.3A Active CN111047295B (zh) 2019-12-13 2019-12-13 一种卷烟制丝加工过程的数据采集方法

Country Status (1)

Country Link
CN (1) CN111047295B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000194262A (ja) * 1998-12-24 2000-07-14 Toshiba Corp 完全性データ収集装置、データ検証装置およびこれらを用いたプラントデータ証明システム
JP2008210043A (ja) * 2007-02-23 2008-09-11 Mitsubishi Electric Corp サーバ装置及び変換ルール作成プログラム
DE59914907D1 (de) * 1998-11-27 2009-01-02 Alcatel Lucent Verfahren und Vorrichtung zur Validierung von Konfigurationsdaten für Telekommunikationssysteme
CN107463487A (zh) * 2017-08-03 2017-12-12 国网江苏省电力公司信息通信分公司 一种分布式主机性能采集系统及性能采集方法
CN107479514A (zh) * 2017-07-10 2017-12-15 昆明理工大学 一种工业大数据过程控制数据采集和传输系统与实现方法
CN109189818A (zh) * 2018-07-05 2019-01-11 四川省烟草公司成都市公司 一种增值服务环境下的烟草数据粒度划分的方法
CN109326337A (zh) * 2018-09-06 2019-02-12 西安电子科技大学 基于区块链的电子医疗记录存储和共享的模型及方法
US10348596B1 (en) * 2014-12-03 2019-07-09 Amazon Technologies, Inc. Data integrity monitoring for a usage analysis system
CN110188091A (zh) * 2019-04-18 2019-08-30 红云红河烟草(集团)有限责任公司 一种卷包车间质量数据预处理方法
CN110188085A (zh) * 2019-04-18 2019-08-30 红云红河烟草(集团)有限责任公司 一种烟草卷包车间质量数据模型建立方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030188180A1 (en) * 2002-03-28 2003-10-02 Overney Gregor T. Secure file verification station for ensuring data integrity
US7197617B2 (en) * 2003-05-29 2007-03-27 International Business Machines Corporation Process, apparatus, and system for storing data check information using standard sector data field sizes
CA2627672A1 (en) * 2007-10-25 2009-04-25 Her Majesty The Queen In Right Of Canada As Represented By The Solicitor Or General Of Canada, Royal Canadian Mounted Police Method and device for verifying integrity of data acquisition pathways
US20110077977A1 (en) * 2009-07-28 2011-03-31 Collins Dean Methods and systems for data mining using state reported worker's compensation data
US9330148B2 (en) * 2011-06-30 2016-05-03 International Business Machines Corporation Adapting data quality rules based upon user application requirements
AU2012387666B2 (en) * 2012-08-15 2016-02-11 Entit Software Llc Validating a metadata tree using a metadata integrity validator
US9715597B2 (en) * 2014-09-25 2017-07-25 Mcafee, Inc. Data verification using enclave attestation
US10073838B2 (en) * 2016-02-12 2018-09-11 Wipro Limited Method and system for enabling verifiable semantic rule building for semantic data
US10860651B2 (en) * 2018-02-21 2020-12-08 Informatica Llc Method, apparatus, and computer-readable medium for generation of missing data

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE59914907D1 (de) * 1998-11-27 2009-01-02 Alcatel Lucent Verfahren und Vorrichtung zur Validierung von Konfigurationsdaten für Telekommunikationssysteme
JP2000194262A (ja) * 1998-12-24 2000-07-14 Toshiba Corp 完全性データ収集装置、データ検証装置およびこれらを用いたプラントデータ証明システム
JP2008210043A (ja) * 2007-02-23 2008-09-11 Mitsubishi Electric Corp サーバ装置及び変換ルール作成プログラム
US10348596B1 (en) * 2014-12-03 2019-07-09 Amazon Technologies, Inc. Data integrity monitoring for a usage analysis system
CN107479514A (zh) * 2017-07-10 2017-12-15 昆明理工大学 一种工业大数据过程控制数据采集和传输系统与实现方法
CN107463487A (zh) * 2017-08-03 2017-12-12 国网江苏省电力公司信息通信分公司 一种分布式主机性能采集系统及性能采集方法
CN109189818A (zh) * 2018-07-05 2019-01-11 四川省烟草公司成都市公司 一种增值服务环境下的烟草数据粒度划分的方法
CN109326337A (zh) * 2018-09-06 2019-02-12 西安电子科技大学 基于区块链的电子医疗记录存储和共享的模型及方法
CN110188091A (zh) * 2019-04-18 2019-08-30 红云红河烟草(集团)有限责任公司 一种卷包车间质量数据预处理方法
CN110188085A (zh) * 2019-04-18 2019-08-30 红云红河烟草(集团)有限责任公司 一种烟草卷包车间质量数据模型建立方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Tie Bao ET AL.A Method for Network Data Collection and Processing in the Pervasive Computing Environment.2006 First International Symposium on Pervasive Computing and Applications.2007,599-603. *
王伟 ; 赵春晖 ; .基于PCA的卷烟制丝过程监测与故障诊断.控制工程.2017,(第12期),2435-2442. *
黄娟 ; 王军号 ; 杜朋 ; .数据融合中隐私保护完整性验证算法研究.计算机技术与发展.2018,(第08期),109-113. *

Also Published As

Publication number Publication date
CN111047295A (zh) 2020-04-21

Similar Documents

Publication Publication Date Title
CN107766299B (zh) 数据指标异常的监控方法及其系统、存储介质、电子设备
CN109784042B (zh) 时间序列中异常点的检测方法、装置、电子设备及存储介质
CN103412542B (zh) 一种数据驱动的集成电路工艺设备异常预警技术方法
US20210240178A1 (en) System and method for recognizing and forecasting anomalous sensory behavioral patterns of a machine
CN115453356A (zh) 一种动力设备运行状态监测分析方法、系统、终端及介质
CN114826543B (zh) 一种基于aiot的蒸汽引射泵参数传输系统及方法
CN111198979A (zh) 一种用于对输变电可靠性评估大数据进行清洗的方法及系统
CN117056688A (zh) 一种基于数据分析的新材料生产数据管理系统及方法
CN116894539A (zh) 一种服装生产监测方法、系统及介质
CN111047295B (zh) 一种卷烟制丝加工过程的数据采集方法
CN109523129B (zh) 一种无人车多传感器信息实时融合的方法
CN117970168A (zh) 一种双电源转换装置的监测数据高效处理方法
CN117592656A (zh) 基于碳数据核算的碳足迹监控方法及系统
CN117348557A (zh) 一种自动化控制系统及控制方法
CN112463564A (zh) 确定影响主机状态的关联指标的方法及装置
CN117290795A (zh) 一种适用于单个仪表测量结果异常值的在线识别方法
CN110570646B (zh) 一种基于历史数据的四遥信号验收方法及系统
CN110989531B (zh) 一种卷烟制丝加工过程的数据质量诊断方法
CN113837544B (zh) 基板玻璃生产质量管控装置、方法及处理器
CN110990223A (zh) 一种基于系统日志的监控告警方法及装置
CN114565318B (zh) 目标信号的有效性判断方法、处理方法、装置及决策系统
CN113049793A (zh) 一种Abs复合材料的生产检测验证方法和装置
CN111784103A (zh) 一种基于区块链技术的试剂质量全流程管理系统
CN117726079B (zh) 基于机电一体化的自动化环形产线优化方法
CN118101429B (zh) 一种配电网通信故障诊断方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant