CN111930721B - 一种多属性连续性工业生产数据的整合方法 - Google Patents

一种多属性连续性工业生产数据的整合方法 Download PDF

Info

Publication number
CN111930721B
CN111930721B CN202010950191.3A CN202010950191A CN111930721B CN 111930721 B CN111930721 B CN 111930721B CN 202010950191 A CN202010950191 A CN 202010950191A CN 111930721 B CN111930721 B CN 111930721B
Authority
CN
China
Prior art keywords
data
event
flag bit
establishing
clock
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010950191.3A
Other languages
English (en)
Other versions
CN111930721A (zh
Inventor
孙卫华
焦吉成
孙风晓
曹金生
崔健
李率民
王猛
王宁国
魏宏雪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SD Steel Rizhao Co Ltd
Original Assignee
SD Steel Rizhao Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SD Steel Rizhao Co Ltd filed Critical SD Steel Rizhao Co Ltd
Priority to CN202010950191.3A priority Critical patent/CN111930721B/zh
Publication of CN111930721A publication Critical patent/CN111930721A/zh
Application granted granted Critical
Publication of CN111930721B publication Critical patent/CN111930721B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/217—Database tuning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G06F16/287—Visualization; Browsing

Abstract

本发明公开了一种多属性连续性工业生产数据的整合方法，所述方法包括以下步骤：建立预连接的二级、三级系统数据库相对应数据表的视图；建立各二级、三级系统对应视图的临时表；建立保存最终结果数据的数据表；主服务器程序启动时钟服务，时钟服务的时间基数为秒；在时钟事件满足后，在事件对列中尾部增加新事件；在处理事件中，系统首先读取数据结果表中各相关属性的标志位状态；对数据结果表中标志位为1的对应数据临时表中的数据根据应用目标进行转化；重复上述过程，直至事件列为空；系统继续下一循环。本发明可实现工艺生产过程中连续型数据和离散型数据的集成；实现异步异构数据的整合；实现连续变量的保存，减少了数据占用空间。

Description

一种多属性连续性工业生产数据的整合方法
技术领域
本发明属于工业数据采集技术领域，具体涉及一种多属性连续性工业生产数据的整合方法。
背景技术
传统常用的工业过程数据采集是通过软件以固定采集周期对PLC或DCS中的数据进行循环读取操作，把读取到的数据存入数据库文件中。一是这种方式适用范围小(一般只涉及到一个工艺环节)，大部分用于采集连续性变量，不涉及到数据的进一步处理，数据可利用的价值不高，质量管理人员面临着大量数据，而又缺乏有效的数据的尴尬局面。二是由于占用的存储空间大，过程控制系统一般只保留2到3个月的生产数据，超过这一范围的数据就删除了，而质量分析往往需要对几年前的数据进行分析，无法范围这一需求。如：高档汽车板的生产，要求过程数据保留时间长度为10年，以便对生产过程进行评估和分析，传统技术已不能满足需要。
随着计算机技术的进步和数据库技术的发展，大部分企业建立起以数据库为核心的数据中心，以保存生产过程数据，但这种生产数据仅按采集周期保存工艺过程数据，不对采集数据根质量分析要求进行转化，系统资源消耗大，投次高。
现有数据采集(集成)方法大部分是针对某一工艺环节的特定类型，范围比较小，都按固定周期(可它的倍数)采集和存储数据，属于同步数据采集，这种数据保存方式对数据不进行转化，由于工业生产过程的连续性特性，造成的数据存储占用空间非常大。例如：钢铁冶金企业生产涉及到炼钢、连铸、加热炉、热轧、冷轧、酸洗、镀锌等环节，每个环节都有几十、成百上千个数据采集点，这些采集点采集的周期各不相同，如有的是毫秒级，有的以秒为单位，如果不加处理完全保存，占用的空间十分巨大，既不经济也不高效。
发明内容
本发明的目的在于提供一种多属性连续性工业生产数据的整合方法，通过建立与各采集节点对应的数据视图表、临时数据表和结果数据表的三层结构，实现工艺生产过程中连续型数据和离散型数据的集成；通过在结果数据表中设置不同状态标志位，改变各阶段状态，完成对相关数据库进行扫描，实现异步异构数据的整合；通过数据压缩，实现了连续变量的保存，减少了数据占用空间。
本发明解决其技术问题所采用的技术方案是：一种多属性连续性工业生产数据的整合方法，所述方法包括以下步骤：
(1)在服务器数据库中建立预连接的二级、三级系统数据库相对应数据表的视图；
(2)在服务器数据库中建立各二级、三级系统对应视图的临时表；如果数据来自一级系统，则在服务器数据库中建立相应的临时表；所有临时表都设置处理标志位，默认标志位状态为0；
(3)在服务器数据库中建立保存最终结果数据的数据表；在数据结果表中设置标志位字段，默认值为0；设置对各二级、三级和一级数据临时表的读取标志位，默认值为0；
(4)主服务器程序启动时钟服务，时钟服务的时间基数为秒，每循环一次，计数启增加1，计数器数值大于3600，自动从1开始；根据各系统采样频率不同，定义本事件的时钟事件周期，如5秒；
(5)在时钟事件满足后，在事件对列中尾部增加新事件；系统主程序按时间顺序处理相关事件；为了防止资源冲突，每处理一次事件，设置系统服务标志位为1，只有本次服务处理完，标志位恢复为0后，才可以启动下一个事件；
(6)在处理事件中，系统首先读取数据结果表中各相关属性的标志位状态；如果标志位状态为0，表示对应数据没有转存，则执行从数据视图到数据临时表的转存工作；转存执行完成后，数据结果表中对应的标志位更新为1；数据转存不成功或者数据视图表还没有收到相应数据，数据结果表中标志位仍保持为0；
(7)对数据结果表中标志位为1的对应数据临时表中的数据根据应用目标进行转化；如：有的指标需要计算命准率，有的需要计算合格率等，转化后的结果保存在数据结果表中，并把数据结果表中对应的标志位置为2；
(8)重复上述过程，直至事件列为空；
(9)系统继续下一循环。
本发明具有以下有益效果：本发明的一种多属性连续性工业生产数据的整合方法，通过建立与各采集节点对应的数据视图表、临时数据表和结果数据表的三层结构，把连续性过程数据转化为关系数据库可长期存储的数据。通过建立不同工艺环节数据库表中数据视图，可在不影响原系统运行的情况下，实现数据同步；临时数据表起到中转数据加工和处理的作用，数据处理完成自动删除，不占用系统资源；结果数据表只保存处理后的数据，占用空间大大降低，实现工艺生产过程中连续性数据和离散性数据的集成。
本发明通过在结果数据表中设置不同状态标志位，改变各阶段状态，循环完成对相关数据库进行扫描，实现异步异构数据的整合；通过数据压缩，实现了连续变量的保存，减少了数据占用空间。
附图说明
图1是本发明的数据转化结构图；
图2是本发明的一种具体实施例的程序处理信息流程图。
具体实施方式
一种多属性连续性工业生产数据的整合方法，所述方法包括以下步骤：
(1)在服务器数据库中建立预连接的二级、三级系统数据库相对应数据表的视图(简称：数据视图表)；
(2)在服务器数据库中建立各二级、三级系统对应视图的临时表(简称：数据临时表)；如果数据来自一级系统，则在服务器数据库中建立相应的临时表；所有临时表都设置处理标志位，默认标志位状态为0；
(3)在服务器数据库中建立保存最终结果数据的数据表(简称：数据结果表)；在数据结果表中设置标志位字段，默认值为0；设置对各二级、三级和一级数据临时表的读取标志位，默认值为0；
(4)主服务器程序启动时钟服务，时钟服务的时间基数为秒，每循环一次，计数启增加1，计数器数值大于3600，自动从1开始；根据各系统采样频率不同，定义本事件的时钟事件周期，如5秒；
(5)在时钟事件满足后，在事件对列中尾部增加新事件；系统主程序按时间顺序处理相关事件；为了防止资源冲突，每处理一次事件，设置系统服务标志位为1，只有本次服务处理完，标志位恢复为0后，才可以启动下一个事件；
(6)在处理事件中，系统首先读取数据结果表中各相关属性的标志位状态；如果标志位状态为0，表示对应数据没有转存，则执行从数据视图到数据临时表的转存工作；转存执行完成后，数据结果表中对应的标志位更新为1；数据转存不成功或者数据视图表还没有收到相应数据，数据结果表中标志位仍保持为0；
(7)对数据结果表中标志位为1的对应数据临时表中的数据根据应用目标进行转化；如：有的指标需要计算命准率，有的需要计算合格率等，转化后的结果保存在数据结果表中，并把数据结果表中对应的标志位置为2；
(8)重复上述过程，直至事件列为空；
(9)系统继续下一循环。
实施例1
在热轧生产过程中，影响质量的指标有10个，包括：FDT、CT、R2DT、凸度、楔形、凸度-楔形、平直度全长对称、平直度全长非对称、厚度、宽度等10个指标。
(1)建立这10个指标的对应生产现场二级数据库中表的视图。视图字段全部统一，包括：钢卷号、生产时间、带钢实际长度、沿长度方向的实际测量值、规格、订单号、目标值。
(2)建立10个指标的临时数据表，包括：包括：钢卷号、生产时间、带钢实际长度、沿长度方向的实际测量值、规格、订单号、目标值、工艺上限、工艺下限、处理状态标志位、命准率、长度坐标和测量值字段。长度坐标字段，以固定格式把带钢沿长度方向坐标合成一个字段，测量值同样压缩到一个字段中。其中工艺上限、工艺下限和订单号等来自于三级MES，且不同步。这个信息三级要晚于二级约10个小时才能写到相应表中。
(3)建立10个字段的数据结果表。与数据临时表结构相同，包括：钢卷号、生产时间、带钢实际长度、沿长度方向的实际测量值、规格、订单号、目标值、工艺上限、工艺下限，命准率、长度坐标和测量值字段。

Claims (1)

1.一种多属性连续性工业生产数据的整合方法，其特征在于，所述方法包括以下步骤：
(1)在服务器数据库中建立预连接的二级、三级系统数据库相对应数据表的视图；
(2)在服务器数据库中建立各二级、三级系统对应视图的临时表；如果数据来自一级系统，则在服务器数据库中建立相应的临时表；所有临时表都设置处理标志位，默认标志位状态为0；
(3)在服务器数据库中建立保存最终结果数据的数据表；在数据结果表中设置标志位字段，默认值为0；设置对各二级、三级和一级数据临时表的读取标志位，默认值为0；
(4)主服务器程序启动时钟服务，时钟服务的时间基数为秒，每循环一次，计数器增加1，计数器数值大于3600，自动从1开始；根据各系统采样频率不同，定义本事件的时钟事件周期，如5秒；
(5)在时钟事件满足后，在事件对列中尾部增加新事件；系统主程序按时间顺序处理相关事件；为了防止资源冲突，每处理一次事件，设置系统服务标志位为1，只有本次服务处理完，标志位恢复为0后，才可以启动下一个事件；
(6)在处理事件中，系统首先读取数据结果表中各相关属性的标志位状态；如果标志位状态为0，表示对应数据没有转存，则执行从数据视图到数据临时表的转存工作；转存执行完成后，数据结果表中对应的标志位更新为1；数据转存不成功或者数据视图表还没有收到相应数据，数据结果表中标志位仍保持为0；
(7)对数据结果表中标志位为1的对应数据临时表中的数据根据应用目标进行转化；如：有的指标需要计算命准率，有的需要计算合格率等，转化后的结果保存在数据结果表中，并把数据结果表中对应的标志位置为2；
(8)重复上述过程，直至事件列为空；
(9)系统继续下一循环。
CN202010950191.3A 2020-09-11 2020-09-11 一种多属性连续性工业生产数据的整合方法 Active CN111930721B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010950191.3A CN111930721B (zh) 2020-09-11 2020-09-11 一种多属性连续性工业生产数据的整合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010950191.3A CN111930721B (zh) 2020-09-11 2020-09-11 一种多属性连续性工业生产数据的整合方法

Publications (2)

Publication Number Publication Date
CN111930721A CN111930721A (zh) 2020-11-13
CN111930721B true CN111930721B (zh) 2022-05-10

Family

ID=73309947

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010950191.3A Active CN111930721B (zh) 2020-09-11 2020-09-11 一种多属性连续性工业生产数据的整合方法

Country Status (1)

Country Link
CN (1) CN111930721B (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101211172A (zh) * 2007-12-25 2008-07-02 上海亚太计算机信息系统有限公司 一种采用缓冲模式的生产线实时数据采集方法
CN102156467B (zh) * 2011-03-28 2012-11-14 山西太钢不锈钢股份有限公司 基于钢铁生产计划的能源预测方法
US9547695B2 (en) * 2013-03-13 2017-01-17 Abb Research Ltd. Industrial asset event chronology
CN104881424B (zh) * 2015-03-13 2018-11-23 华中电网有限公司 一种基于正则表达式的电力大数据采集、存储及分析方法
CN106354774B (zh) * 2016-08-22 2019-07-23 东北大学 一种实时工业过程大数据压缩存储系统及方法
CN109933568A (zh) * 2019-03-13 2019-06-25 安徽海螺集团有限责任公司 一种工业大数据平台系统及其查询方法
CN110659259A (zh) * 2019-09-03 2020-01-07 平安科技（深圳）有限公司 数据库迁移方法、服务器以及计算机存储介质

Also Published As

Publication number Publication date
CN111930721A (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
CN112632127B (zh) 设备运行实时数据采集及时序的数据处理方法
CN104850635B (zh) 一种多数据源环境下数据缺失自动检查及集中监控方法
CN111930721B (zh) 一种多属性连续性工业生产数据的整合方法
CN107818372A (zh) 一种盾构管片质量巡检系统
CN112800077B (zh) 一种电子化移交单的监控方法及装置
CN114119268A (zh) 一种用于印刷包装生产线的协同制造系统
CN114970954A (zh) 基于配网基建数据深化应用构件工程物料预测模型系统
CN109991953A (zh) 一种锻造设备领域智能制造工厂控制系统
CN110472837B (zh) 应用于节能评估的能耗计算方法
CN107908731B (zh) 基于psd-bpa广西电网网区负荷数据批量修改方法
CN104361086A (zh) 一种计量资产全寿命周期管理系统数据集成方法
CN114722045A (zh) 时间序列数据的存储方法及装置
CN112559511B (zh) 一种存款系统历史数据清理方法和系统
CN112435062B (zh) 一种电力现货市场电能量结算数据处理系统及方法
CN107169620A (zh) 基于工作流的电网上下级调度系统间模型版本流转方法
CN111162964B (zh) 一种智能站报文完整性分析方法及系统
CN104391172A (zh) 热连轧钢卷电耗监测方法
CN105760413B (zh) 基于哈希表的rfid数据在mes系统中的管理方法
CN108427659B (zh) 基于多类型测试获得真实产量数据的方法
CN112256666B (zh) 一种逻辑增量迁移方法
CN108681838A (zh) 一种排产计划确定方法及装置
CN112001587A (zh) 一种数据提取方法及系统
CN115801807A (zh) 一种基于完全对等模型的分布式网络数据同步方法和系统
CN114926099A (zh) 电网调度ems数据的自动补缺方法
CN113159653A (zh) 超期订单获取方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant