CN109189788B

CN109189788B - 用于钢铁过程控制的高速数据存储方法和系统

Info

Publication number: CN109189788B
Application number: CN201810950662.3A
Authority: CN
Inventors: 王志军; 汤浩; 程蓬
Original assignee: Wisdri Engineering and Research Incorporation Ltd
Current assignee: Wisdri Engineering and Research Incorporation Ltd
Priority date: 2018-08-20
Filing date: 2018-08-20
Publication date: 2021-04-13
Anticipated expiration: 2038-08-20
Also published as: CN109189788A

Abstract

本发明公开了一种用于钢铁过程控制的高速数据存储方法和系统，该方法包括以下步骤：1)根据工艺需求，确定需要采集数据的数据点共M个以及各数据点对应数据值的上限和下限；将数据点分为N个组，然后在关系数据库中创建表；2)数据采集：过程控制从基础自动化采集所有数据点的实际值；3)数据转换与缓存；4)判断是否满足存储条件，如果满足存储条件则进入步骤5)，否则转入步骤2)等待进行下一次数据采集；5)数据存储：将共享内存中缓存的所有第二类数据包以一条记录保存到数据库表中。本发明方法实施过程简单，运行高效，保证过程控制高速存储的情况下，得到迅速响应。

Description

用于钢铁过程控制的高速数据存储方法和系统

技术领域

本发明涉及数据存储技术，尤其涉及一种用于钢铁过程控制的高速数据存储方法和系统。

背景技术

钢铁行业普遍采用分级计算机控制系统，包括一级基础自动化，二级过程控制，三级制造执行。物料跟踪是过程控制的核心功能，其包括位置跟踪和信息跟踪，用于确定具体的物料的生产工艺数据与消耗数据。此功能对于优化生产工艺，改善产品性能，节能降耗等方面有着积极的意义。

二级过程控制的工艺数据与消耗数据来源于一级基础自动化。对于一部分过程控制计算机系统来说，从基础自动化系统采集数据并直接存储到数据库中即可。然而，对于轧机来说，尤其是高速棒材轧制，对于数据采集频率要求很高，带来的数据量巨大，久而久之，系统运行效率越来越慢，甚至会导致服务器卡死，带来数据灾难。

目前主要的解决方法如下：

方法一：升级服务器硬件配置。

方法二：采用纵向拆分(按列)或者横向拆分(按行)进行分表。

方法三：选用专业的时序数据库。

方法一会显著提高二级过程控制使用成本。方法二能够提升单表的并发能力，磁盘I/O性能也提高了，但依然有进步空间，且占用存储资源并没有降低。由于过程控制一般配有关系数据库，如果采用方法三增加时序数据库，一方面提升了采购成本，另一方面提高了维护成本。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种用于钢铁过程控制的高速数据存储方法和系统。

本发明解决其技术问题所采用的技术方案是：用于钢铁过程控制的高速数据存储方法，包括以下步骤：

1)根据工艺需求，确定需要采集数据的数据点共M个以及各数据点对应数据值的上限和下限；将数据点分为N个组，然后在关系数据库中创建表，表的字段包括开始时间、结束时间以及分别对应N个数据点分组的N个字段；

2)数据采集：过程控制从基础自动化采集所有数据点的实际值，数据类型为单精度浮点数字，采集的数据叫做第一类数据包，包括一个时间戳和M个实际值；

3)数据转换与缓存：如果第一类数据包中任意一个实际值大于等于其数据点的上限值或者小于等于其数据点的下限值，则忽略这个数据包，否则根据转换规则将第一类数据包转换为N个第二类数据包，并将所有第二类数据包保存到共享内存中；

将第一类数据包转换为第二类数据包的规则如下：

3.1)将第一类数据包中的实际值转为标准值，采用如下公式：

标准值＝1+(实际值-下限值)/(上限值-下限值)

这样第一类数据包中的M个实际值则变为了M个标准值；

3.2)压缩标准值；

标准值是一个32比特即4个字节长度的单精度浮点型数字，去除第2到第9个比特位，剩余24个比特即3个字节长度；

3.3)整合生成第二类数据包

根据步骤1)中的数据点分组，把压缩后的数据包也对应分为N组，根据步骤1)中的数据点分组，把压缩后的数据包也对应分为N组，每组压缩后的数据包和当前时间戳共同构成第二类数据包，至此，1个第一类数据包已经被分成了N个第二类数据包；

4)判断是否满足存储条件，如果满足存储条件则进入步骤5)，否则转入步骤2)等待进行下一次数据采集；

所述存储条件为满足如下条件之一即可：

条件1：共享内存缓存的数据包达到设定数量；

条件2：共享内存中缓存的数据包时间跨度超过设定时间；

条件3：收到了将共享内存缓存的数据包存储的保存指令；所述保存指令包括人工指定保存指令，或者根据捕捉到了应用程序即将关闭的事件触发的保存指令；

5)数据存储：将共享内存中缓存的所有第二类数据包以一条记录保存到数据库表中；其中，开始时间字段为所有缓存的第二类数据包时间戳的最小值；结束时间字段为所有缓存的第二类数据包时间戳的最大值；将各组整合数据包叠加，构成新的整合数据包，并存储到对应的字段中。

按上述方案，所述步骤1)中，开始时间字段类型为精确到毫秒的日期时间；结束时间字段类型为精确到毫秒的日期时间。

按上述方案，所述步骤2)中，过程控制从基础自动化采集的采集方式为OPC通讯，或者基于TCP/IP协议的Socket报文通讯。

按上述方案，所述步骤5)中，存储任务采用新建后台线程进行，不阻塞当前进程。

一种用于钢铁过程控制的高速数据存储系统，包括L2接收模块、信号处理模块、物料跟踪模块、数据服务模块、共享内存模块、关系数据库模块；

所述L2接收模块，用于从PLC获取全部数据点的实测值；所述数据点是根据工艺需求确定的需要采集数据的M个数据点，并确定各数据点对应数据值的上限和下限；

所述信号处理模块，用于接收来自L2接收模块的调用请求，对实测数据进行解析，从PLC的格式转换为PC可识别的格式，转换后的数据叫做第一类数据包，数据类型为单精度浮点数字，包括一个时间戳和M个实际值；然后调用物料跟踪模块；

所述物料跟踪模块，它接收来自信号处理模块的调用请求，将数据转换与压缩，并缓存到共享内存中；

具体转换如下：如果第一类数据包中任意一个实际值大于等于其数据点的上限值或者小于等于其数据点的下限值，则忽略这个数据包，否则根据转换规则将第一类数据包转换为第二类数据包，并将第二类数据包保存到共享内存中；

将第一类数据包转换为第二类数据包的规则如下：

1)将第一类数据包中的实际值转为标准值，采用如下公式：

标准值＝1+(实际值-下限值)/(上限值-下限值)

这样第一类数据包中的M个实际值则变为了M个标准值；

2)压缩标准值；

3)整合生成第二类数据包

将L2接收模块中采集的数据点分为N个组，根据数据点分组，把压缩后的数据包也对应分为N组，每组压缩后的数据包和当前时间戳共同构成一个第二类数据包，至此，1个第一类数据包已经被分成了N个第二类数据包；

所述数据服务模块，用于接收来自物料跟踪模块的调用请求，将数据存储到关系数据库中；

存储方法如下：

共享内存中缓存的所有第二类数据包以一条记录保存到数据库表中；其中，开始时间字段为所有缓存的第二类数据包时间戳的最小值；结束时间字段为所有缓存的第二类数据包时间戳的最大值；将各组整合数据包叠加，构成新的整合数据包，并存储到对应的字段中；

关系数据库，用于通过数据表存储数据包，表的字段包括开始时间、结束时间以及分别对应N个数据点分组的N个字段。

本发明产生的有益效果是：

1、实施过程简单，运行高效，保证过程控制高速存储的情况下，得到迅速响应。

2、原有过程控制无需新增采购成本就可以高效存储更多的数据。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1为本发明实施例提供的过程控制高速数据存储方法流程图；

图2为本发明实施例提供的过程控制计算机控制系统模块结构图；

图3为IEEE754标准规定的单精度浮点数字二进制格式图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

下面以某高速棒材车间的过程控制系统为例，进一步描述本发明。

过程控制系统周期性采集一级的实测工艺数据，主要包括各机架的速度、电流以及其它仪表实测数据，共46个单精度浮点型数值。根据工艺需求，采集周期为500ms，假设每天轧制时间比例为75％，这样每天将会产生2*3600*24*0.75≈13万条数据。一般来说，过程控制系统需要保证至少1个月内的数据存到数据库，至少1年内的数据存到磁盘

本实施例采用SQL Server 2012Express数据库。此数据库免费，不过单实例的计算能力限制为1个插槽或4核二者中的较小值，可利用的最大内存1GB。数据库最大限制为10GB。

一般来说钢铁过程控制中，处理实际工艺与消耗数据的特点在于：对插入数据性能要求很高，对读取要求相对低一点。另外针对本实施例，数据库不能太大，且数据都是单精度浮点型数字。

如图1所示，一种用于钢铁过程控制的高速数据存储方法，包括如下步骤：

步骤S01：确定数据点并建表。根据工艺需求，确定需要采集的数据点共M个，分别确定各数据点的上限和下限。并将数据点分为N个组。其中N>＝1。在关系数据库中创建表，表的字段包括开始时间、结束时间。另外，表还包括分别对应N个数据点分组的N个字段。

其中，开始时间字段类型为精确到毫秒的日期时间；结束时间字段类型为精确到毫秒的日期时间；其它N个字段的数据类型均为二进制流，以主流关系数据库为例，在Oracle数据库中，数据类型是Blob。在SQL Server数据库中，数据类型为Image；

另外，各数据点的上限需要微大于工艺规定的最大值，数据点的下限需要微小于工艺规定的最小值。

步骤S02：数据采集。过程控制从基础自动化采集所有数据点的实际值，数据类型为单精度浮点数字。采集方式为OPC通讯，或者基于TCP/IP协议的Socket报文通讯。采集的数据叫做第一类数据包，包括一个时间戳和M个实际值。为保证性能，推荐使用基于TCP/IP协议的Socket报文通讯。

步骤S03：数据转换与缓存。如果第一类数据包中任意一个实际值大于等于其数据点的上限值或者小于等于其数据点的下限值，则忽略这个数据包。否则根据转换规则将第一类数据包转换为第二类数据包，并将第二类数据包保存到共享内存中。

所述转换规则为，包括如下三个步骤：

步骤S0301：把实际值转为标准值。采用如下公式：

标准值＝1+(实际值-下限值)/(上限值-下限值)

根据上式可知，标准值大于1且小于2。

这样第一类数据包中的M个实际值则变为了M个标准值，显然，经过转换后，数据包大小未发生变化。

步骤S0302：压缩标准值。

标准值是一个32比特即4个字节长度的单精度浮点型数字。去除第2到第9个比特位，剩余24个比特即3个字节长度。

此时数据包的大小大约压缩到原来的75％左右。

步骤S0303：整合生成第二类数据包

根据步骤S01中的数据点分组，把压缩后的数据包也对应分为N组。每组压缩后的数据包和当前时间戳共同构成一个第二类数据包，至此，1个第一类数据包已经被分成了N个第二类数据包；

步骤S04：判断是否满足存储条件。如果满足存储条件则进入S05，否则进入S02等待进行下一次数据采集。

所述存储条件为满足如下条件之一即可：

条件1：共享内存缓存的数据包达到一定数量；

条件2：共享内存中缓存的数据包时间跨度超过一定时间；

条件3：收到了保存指令；例如人工指定保存指令，或者捕捉到了应用程序即将关闭的事件。

步骤S05：数据存储。将共享内存中缓存的所有第二类数据包以一条记录保存到数据库表中。其中开始时间字段为所有缓存的第二类数据包时间戳的最小值；结束时间字段为所有缓存的第二类数据包时间戳的最大值；将各组整合数据包叠加，构成新的整合数据包，并存储到对应的字段中。存储任务采用新建后台线程进行，不阻塞当前进程。

以某高速棒材车间过程控制为例，数据点个数M＝46，所有数据点分为一个组，即N＝1。SQL Server数据库表如下：

第一类数据包大小为：日期时间8+单精度浮点4*46＝192

第二类数据包大小为：日期时间8+压缩后标准值3*46＝146

数据采集间隔为500ms，存储条件为半分钟存储一次，共60个第二类数据包，即新的整合数据包，大小为146*60＝8760。

实测发现，采用此存储方法，现场运行良好，无服务器响应慢的问题。数据可存储4个月以上。采用常规存储方法，运行一个月后，服务器显著响应缓慢，甚至影响过程控制其它功能运行。

另外，针对此高速棒材车间的过程控制，也有一个较优数据存储实施例：其中数据点个数M＝46，所有数据点分为三个组，分别为电流组，速度组，能耗组，即N＝3。SQL Server数据库表如下：

第一类数据包大小为：日期时间8+单精度浮点4*46＝192

第二类数据包共三个：

其中电流第二类数据包大小为：日期时间8+单精度浮点3*18＝62；速度第二类数据包大小为：日期时间8+单精度浮点3*18＝62；能耗第二类数据包大小为：日期时间8+单精度浮点3*10＝38；

数据采集间隔为500ms，存储条件为半分钟存储一次，电流新的整合数据包大小为62*60＝3720，速度新的整合数据包大小为62*60＝3720，能耗新的整合数据包大小为38*60＝2280，

这个实施例数据包整体大小相对上一个实施例有微许增加，但是其优点在于后期进行数据处理的时候，可以只读取工艺人员关心的那一组数据即可，读取的速度更快。

如图2所示，一种用于钢铁过程控制的高速数据存储系统，包括L2接收模块1、信号处理模块2、物料跟踪模块3、数据服务模块4、共享内存模块5、关系数据库模块6。

所述L2接收模块1，用于从PLC获取全部数据点的实测值。

所述信号处理模块2，它接收来自L2接收模块1的调用请求，用于将实测数据解析，从PLC的格式转为PC可识别的格式，然后调用物料跟踪模块3。

所述物料跟踪模块3，它接收来自信号处理模块2的调用请求，将数据转换与压缩，并缓存到共享内存5中。

所述数据服务模块4，它接收来自物料跟踪模块3的调用请求，将数据存储到关系数据库6中。

所述共享内存5和关系数据库6均为存储模块。其中共享内存读写速度极快，用于临时存储。关系数据库用于永久存储。

如图3所示，IEEE754标准规定的单精度浮点数字二进制格式包括三个部分：符号域31，用S表示；指数域32，用E表示；尾数域33，用M表示；其中符号域31占1个比特位，指数域32占8个比特位，尾数域33占23个比特位，一共32个比特位，即4个字节长度。浮点数表示为：

x＝(-1)^S×(1.M)×2^e

e＝E-127；

当1<x<2时，可知e始终为0，为此指数域32的8个比特位可以无需存储。这样可以节省1/4的存储空间。

本领域的人员，显然可知，本发明方法可以结合背景技术提到的分表的方法，会进一步提高过程控制系统高速数据存储效率，本文不再赘述。

本领域普通技术人员可以理解实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁盘或光盘等。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims

1.一种用于钢铁过程控制的高速数据存储方法，其特征在于，包括以下步骤：

将第一类数据包转换为第二类数据包的规则如下：

3.1)将第一类数据包中的实际值转为标准值，采用如下公式：

标准值＝1+(实际值-下限值)/(上限值-下限值)

这样第一类数据包中的M个实际值则变为了M个标准值；

3.2)压缩标准值；

3.3)整合生成第二类数据包

根据步骤1)中的数据点分组，把压缩后的数据包也对应分为N组，每组压缩后的数据包和当前时间戳共同构成一个第二类数据包，至此，1个第一类数据包已经被分成了N个第二类数据包；当前时间戳以及N组整合数据包共同构成了N个第二类数据包；

2.根据权利要求1所述的用于钢铁过程控制的高速数据存储方法，其特征在于，所述步骤1)中，开始时间字段类型为精确到毫秒的日期时间；结束时间字段类型为精确到毫秒的日期时间。

3.根据权利要求1所述的用于钢铁过程控制的高速数据存储方法，其特征在于，所述步骤2)中，过程控制从基础自动化采集的采集方式为OPC通讯，或者基于TCP/IP协议的Socket报文通讯。

4.根据权利要求1所述的用于钢铁过程控制的高速数据存储方法，其特征在于，所述步骤4)中，所述满足存储条件为满足如下条件之一即可：

条件1：共享内存缓存的数据包达到设定数量；

条件2：共享内存中缓存的数据包时间跨度超过设定时间；

条件3：收到了将共享内存缓存的数据包存储的保存指令；所述保存指令包括人工指定保存指令，或者根据捕捉到了应用程序即将关闭的事件触发的保存指令。

5.根据权利要求1所述的用于钢铁过程控制的高速数据存储方法，其特征在于，所述步骤5)中，存储任务采用新建后台线程进行，不阻塞当前进程。

6.一种用于钢铁过程控制的高速数据存储系统，其特征在于，包括L2接收模块、信号处理模块、物料跟踪模块、数据服务模块、共享内存模块、关系数据库模块；

将第一类数据包转换为第二类数据包的规则如下：

1)将第一类数据包中的实际值转为标准值，采用如下公式：

标准值＝1+(实际值-下限值)/(上限值-下限值)

这样第一类数据包中的M个实际值则变为了M个标准值；

2)压缩标准值；

3)整合生成第二类数据包

将L2接收模块中采集的数据点分为N个组，把压缩后的数据包也对应分为N组，各组中数据包括当前时间戳和压缩后的标准值，每个组内数据构成一个第二类数据包，当前时间戳以及N组整合数据包共同构成了N个第二类数据包；

存储方法如下：