CN104503407B - 一种工业生产过程中数据采集回放系统和方法 - Google Patents

Abstract

一种工业生产过程中数据采集回放系统和方法，涉及数据采集与处理回放技术领域。针对工艺人员通常情况下不能对生产过程中的数据进行回放的问题。回放系统包括参数配置模块、实时数据库数据采集压缩存储模块、回放控制模块以及事件捕捉模块。回放方法对需要进行采集和回放的数据点进行配置、对数据进行分级采集存储和压缩、对历史数据进行回放。该回放系统和方法在不增加硬件设备的前提下，实现了快速数据的采集、分层处理保存处理和生产过程的回放，对分析生产过程中的问题以及参数的优化都起到了重要的作用。

Description

一种工业生产过程中数据采集回放系统和方法

技术领域

本发明涉及数据采集与处理回放技术领域，是一种实现让过程控制系统在脱离现场设备条件下实现生产过程回放的方法。

背景技术

在现代化流程工厂中，每个生产环节都存在二级过程控制系统。但是，在以往的生产过程中，二级过程控制系统一般仅仅用于在线的生产过程进行计算，将结果下发到一级设备，实现生产过程的自动化控制。二级过程控制系统进行模型的计算和数据的下发，一级PLC接收到控制系统的数据后进行执行并将执行结果返回给二级过程控制系统。而对过程数据保存的传统方法是将数据保存成一定的文件后通过曲线的形式进行显示，用于生产过程的分析，分析的过程是根据历史数据形成的趋势曲线，逐点进行现场生产过程问题的分析，不能实现将历史数据推送给相应的过程控制系统进行离线的生产过程的模拟、分析和优化的过程。在对某钢厂的连铸过程控制系统进行研发的过程中，研发人员发现不仅调试需要现场的实际生产过程数据，一些工艺人员也需要利用这些离线数据进行生产过程和参数的优化。再结合连铸过程控制系统研发、现场调试以及后续模型优化的过程中，发现实现一种将二级过程控制系统结合现场数据形成具有回放功能的方法和系统是个亟待解决的问题。

发明内容

本发明的目的是解决在脱离现场设备和环境的情况下，将保存好的历史数据实现动态回放并推送给二级过程控制系统，实现了将保存的历史数据单帧(单帧即一个采集周期的数据)播放，包括前进和后退的单帧回放，实现了采用离线对二级过程控制系统进行驱动运行，实现了离线模型和参数优化和调试的问题，解决了工艺人员通常情况下通过专门开发仿真系统进行模型以及参数优化等问题。

一种工业生产过程中数据采集回放系统和方法，包括参数配置模块、实时数据库数据采集压缩存储模块、回放控制模块以及事件捕捉模块。参数配置模块、实时数据库(RTDB)数据采集压缩存储模块和回放控制模块依次相连接；实时数据库数据采集压缩存储模块包括快速数据采集模块、数据压缩模块和数据存储模块，快速数据采集模块、数据压缩模块和数据存储模块依次相连接；事件捕捉模块与快速数据采集模块相连接，回放控制模块与数据存储模块相连接。快速数据采集模块对一级PLC设备的数据进行数据采集，在一级PLC一侧开辟缓冲区，实现对10ms以内采集的数据的缓冲存储。数据压缩模块实现对采集的常规数据进行数据压缩处理；常规数据一般是指采集周期在200ms和1s之间采集周期的数据，数据存储模块包括PLC存储器、内存区存储器和硬盘存储器，数据采集压缩存储模块对采集到的数据进行压缩存储，也就说上面提到的三级存储。一般来说，10ms以内的快速数据，采用PLC开辟缓冲区存储的方式，对于半小时数据，采用内存存储的方式，不进行任何处理，直接保存。而对于超过半小时的历史数据，则采用硬盘存储的模式，对于保存到硬盘的数据，进行压缩后保存。

回放控制模块实现系统的暂停、采集模式、回放速率的控制，对生产过程进行回放控制；事件捕捉模块对假信号进行过滤，确保真实的反应现场的实际生产过程。事件捕捉模块根据调试人员在现场调试过程中采集到的各种现场问题，存储了多种对信号进行过滤的方法。回放控制模块主要实现对生产过程的回放控制。回放控制模块主要用于实现对系统工作模式的控制，用于实现系统的暂停、采集模式、回放速率的控制，根据系统的不同的运行模式，在在线采集、回放、暂停回放以及停止之间进行切换回放控制模块将历史数据推送给运行在回放模式下的实时数据库，实时数据库将数据推送给对应的模型控制系统，二级模型控制系统可以根据数据实现对生产过程的再次回放，回放过程不仅能实现对数据的再次回放，也可以实现将生产过程再次回放。进一步的，回放控制模块还实现了根据数据的采集周期进行回放，回放过程中，当选择了单帧回放以后，数据就会每次只播放一个采集周期的数据，点击按钮才会播放下一个采集周期或者上一个采集周期的数据，该回放模式对关键点数据采集和问题的分析起到了关键作用。

事件捕捉模块，在流程工厂中，除了一些设定的过程数据，现场一些设备的检测信号对触发一些计算过程保证生产的正常运行起到不可或缺的作用。这些信号通常是一个上升沿或者下降沿作为出现的标志，但是在现场实际的生产中，因为设备或者检测装备的问题，有些信号实际上是假信号，事件捕捉模块就是可以根据相应的配置，实现对假信号的过滤，从而确保真实的反应现场的实际生产过程。事件捕捉模块里面存储了多种对信号进行过滤的方法，这些方法都是来源于在现场对实际问题分析的积累。在时间捕捉模块内，对标签进行了定义，分为一级标签和二级标签。一级标签即是指从一级直接采集的信号，作为事件触发的源。二级标签则是将一级一个或者多个信号经过一定的运算处理，运算后的结果作为一个时间触发源，此类标签为二级标签。不管是一级标签还是二级标签，在经过事件捕捉模块定义后，可以实现假信号的过滤，增加过程控制的准确性。

一种工业生产过程中数据收集回放方法，该方法包括以下步骤：

步骤一、对需要进行采集和回放的数据点进行配置，包括采集周期、是否进行采集以及是否进行回放等的配置。

根据每个参数在一级的地址，对参数进行采集配置，该配置不仅可以在采集数据之前进行，而且在回放的时候可以再次选择回放的参数，从而实现了对数据采集、回放以及推送的分级控制。

步骤二、对数据进行分级采集存储和压缩。根据采集周期的不同，用不同的方法对数据进行收集；通过在一级PLC一侧开辟缓冲区，实现对10ms以内采集的数据的缓冲存储。分级存储包括PLC存储器、内存区存储器、硬盘存储器，即PLC缓冲区存储、计算机内存存储最后到计算机硬盘存储。生产现场数据根据不同的生产过程和工艺段的区别，有些少量数据的产生周期可以达到8‐10ms，在轧钢系统中也会有一些采集周期200ms数据，但是数据点相对会比较多，采集周期最常见的是500ms和1s的常规数据。对于需要进行8ms的快速数据，采用快速数据采集方法，采用先在PLC进行存储的方式，对于其余的数据，我们采取在计算机开辟特定的内存区域进行数据缓存，最后将数据进行数据压缩方法批量的写入硬盘进行保存的方式。数据的压缩存储也采用变点存储的方式，只有当数据的变化范围达到一定程度的时候才进行保存，否则认为数据未发生变化。在对数据精度可控范围内最大限度的节约存储空间。

进一步的，快速数据的采集方法如下：

步骤1、对PLC数据缓冲池内的数据进行基本数据类型的压缩

对于BOOL型数据，按照一个字节进行存储，对于float型和long型数据，在精度允许范围内，转换成short类型进行存储，将存储空间从4字节有效的降低为2字节，经过这样的处理，在开辟的固定大小的存储区中能够尽可能多的存储数据采集点，以满足有些数据采集点稍多的情况；

步骤2、利用PLC控制程序的功能块，首先开辟两块固定大小的数据缓冲区，两个网络通路，用于保存PLC一侧10ms快速变化数据；

为了实现以上方法，首先对数据块格式和顺序进行定义，S7‐400发送给快速数据采集系统的数据块是按照一定(数据的类型和采集的先后顺序的)的格式和顺序进行定义的存储区，其原理是利用PLC将每个循环周期所采集的过程值以一定(数据缓冲池内数据结构的)的顺序存放在存储区内，数据包中包含了采样值的信息开始标志、信息结束标志，不会因为数据管理系统收到数据包的时刻不同而产生采样值的时间标记误差。经过类型压缩后的数据块如表1所示：

其次是建立数据块，用于存储这些快速数据。数据块里信息是不断更新变化的，依据10ms的采样周期，程序必须被放在OB35循环中断组织块里调用。首先填写每个变量的头文件信息，为保证时间的准确性，该信息必须在第一个采样周期内写入。

程序依次将数值写入第一组信息的数据块，写入第1个变量的第1个数值以后，就将指针跳转到下一个变量的第1个数值的地址，写完最后一个变量第1个数值后，循环写入第1个变量第2个数值，依次类推当程序写完第20组变量后，这时开始写入第二组信息，两组信息交替被写入，完成两组信息数据块的数据采集、存储，完成数据块的建立。

步骤3、然后采用系统功能块(AG_SEND)对缓冲区内的数据发送到接收端。当程序写完第一组信息采样值后，就完成了整个数据块的数据采集、存储，这时调用发送程序(AG_SEND)，将数据块发送给快速数据接收端；第一组数据块完成数据采集后，立刻对第二组数据块进行信息采样，写完后开始调用发送程序(AG_SEND)，这样两组信息交替发送给数据接收端，完成数据发送。两组信息交替发送解决了数据采集过程中经常发生的丢帧问题，突破了单个过程值采样对实时性的要求，达到了高速数据采集的目的。

步骤4、开发专用服务，通过以太网接收PLC周期发送的数据包。

针对发送方(PLC侧)采用双通道发送数据块的模式，对于每一个PLC，在PC侧启动两个监听线程，在指定的两个端口(与PLC约定好端口号)上进行监听。服务采用C++语言，在VS2008下开发，通过SOCKET和windows API函数对该服务进行编写。服务具有如下功能：对PLC发送过来的快速数据和普通数据进行接收；对网络情况进行判断，当网络出现异常的时候，停止和PLC的当前连接，等待PLC再次提出连接请求。

进一步的，对于采用的数据压缩方法的步骤如下：

步骤1、根据过程数据的数据类型和取值范围对数据进行类型的基本压缩。

数据压缩模块对采集到的过程数据进行高效的压缩，最终形成二进制数据文件。压缩的算法包括从数据类型、阈值自适应的变点存储和数据时间戳三个方面进行。首先是数据类型的压缩。数据的类型决定数据占内存的字节数和取值范围。在采集的过程数据中，一般都是整型(int)和浮点型(float)。单精度的实型，使用四个字节空间存储，取值范围为10^‐38～10^38，数据的有效位数为7位数字；而对于双精度实型，使用八个字节空间存储，取值范围为10^‐308～10^308，数据的有效位数为15位数字。无疑，如果按照这样存储的方式进行存储，会带来极大存储空间的浪费。

本发明的方法在于，对于BOOL型数据，我们按照一个字节进行存储，对于float型和long型数据，在精度允许范围内，我们转换成short类型进行存储，将存储空间从4字节有效的降低为2字节。

步骤2、采用阈值自适应的变点存储方法。对每个过程数据，都会有最大值和最小值。本发明结合最大值和最小值的范围设定阈值，每个采样周期，系统对采集到的数据与前一个采样周期的数据进行对比，如果两个数的差小于阈值，则认为该数未发生变化，在该采样周期不对该数进行采集，只有当前采样周期的数值与上一个采样数据的大小差超过阈值的时候我们才对该数进行存储。同时，结合过程数据采集的过程中的范围，对阈值的大小进行不断的修正和自学习，以达到阈值的最佳取值。

阈值自学习方法在于，对每个压缩周期(例如1小时)内的数据的最大值和最小值进行记录后，最大值和最小值的差的一定比例(例如万分之一或者千分之一)作为下一个压缩周期内数据采集的阈值。这样，该阈值可以根据数据范围进行不断的调整和优化。

步骤3、采用段页式时间存储法。生产过程数据如果没用时间坐标，也没有任何意义。从第二步的计算中可以看出，每个数据的时间戳在存储过程中占用了大部分的存储空间。为了解决该问题，本发明发明了段页式时间存储方法。首先，我们选择一个时间基准点，我们称为段时间T0，该时间我们称为标准时间戳。从段时间T0开始，对于该周期的时间戳，我们选取他与段时间的间隔，我们称为页时间，也就是时间偏移量。段时间在存储的时候占有8字节，而页时间为short类型，只占2字节。由此实现了数据压缩率的进一步提高。

步骤三、对保存好的历史数据进行回放。选定要回放的控制过程，由实时数据库将该控制过程中的历史数据推送到回放模块中，对控制过程中的历史数据按时间进行数据回放；或者对指定的数据进行回放；回放分为正常速度、加速回放和单帧回放，即按照数据的采集周期将数据逐个回放，该回放器与二级过程控制系统相连接，实现将历史数据“实时”推送到过程控制系统，并且可以实现加速推送。加速回放由设定的加速率来对原始时间进行加速显示数据。回放的过程不仅可以实现单纯的数据回放，还可以将数据推送给现场的二级过程控制，实现脱离现场设备的环境下，生产过程的“再现”。二级过程控制系统可以像在现场运行一下，采集过程信号，实现模型计算，完成整个生产过程的播放。我们的方法还在于对需要进行回放的数据的灵活选择在于对需要进行采集和压缩的数据点进行灵活的配置，以保证满足不同系统的需要。现场的生产数据成千上万，有些数据保存和回放如果没有必要，则可以通过参数配置不进行这些数据点的采集、压缩、回放。

对于回放控制模块，我们的方法在于不仅可以实现对生产过程历史数据的回放，还可以有选择性的对指定的数据进行回放，回放可以实现正常速度、加速回放，还可以实现单帧回放，即按照数据的采集周期将数据逐个回放，该回放器与二级过程控制系统相连接，实现将历史数据“实时”推送到过程控制系统，并且可以实现加速推送。现场的生产过程一般都是相对比较缓慢，如果采用正常的生产速度对数据进行回放给过程控制系统的话，以连铸过程的一个浇次为例，一般需要10‐12个小时，如果不对该过程进行加速，当需要回放该过程进行参数优化或者问题分析的时候如果还是需要12个小时则会造成时间的浪费，所以在对存储的历史数据进行回放的时候，设计了加速模式，工作人员可以根据自己的需要以2倍、四倍等速度进行回放，从而缩短整个生产过程回放给过程控制系统的时间，提高效率。而对于某个特殊时间段的数据，如果需要对历史数据逐个采集周期进行回放，则可以通过单帧回放模式下实现，单帧既可以实现前进也可以实现后退，单帧回放对生产过程中问题分析起到关键作用。

本发明取得了以下效果，实现了完整的将数据采集、存储、压缩和回放与过程控制系统紧密结合在一起，使得在脱离现场实际生产环境的时候实现了将保存的历史数据按照生产的时序进行回放，同时还可以将生产过程数据推送给二级过程控制系统，实现了在脱离现场环境下，过程控制系统依然可以根据实际生产的数据，对生产过程的回放，回放的过程还可以实现单帧回放。该方法和系统不管是对现场工艺人员还是系统的调试人员，都起到了积极的作用。首先在不增加硬件设备的前提下，实现了快速数据的采集和分层处理保存处理，其次，依托现有的过程控制系统，就可以实现对生产过程的回放，不仅实现了前进和后退，而且还实现了单帧回放，对分析生产过程中的问题以及参数的优化都起到了重要的作用。

附图说明

图1回放系统模块

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下结合连铸过程控制系统为例,并参照附图，对该系统和方法进行详细的说明。

在连铸过程控制系统中，一个浇次从开始到结束，一般需要8‐10个小时的时间。连铸过程中，结晶器是连铸过程中一个重要的设备，在调试阶段，对结晶器震动数据的采集最快可以达到10ms。常规的数据采集点一共有大约2000点，包括例如大包中间包相关数据、一冷二冷水流信息以及浇铸速度等数据。通过该系统和方法，可以实现生产过程在线数据采集、存储压缩以及控制系统的离线运行，数据的离线加速、单帧回放模式，从而实现离线的模型调优、问题分析等。

步骤一、首先进行回放系统需要的参数配置，包括：采集参数点配置、数据采集周期等进行配置。

步骤二、对于有8ms或者10ms快速数据的采集需要，则通过在PLC一侧开辟缓存的方式，将数据保存一定的周期后打包进行发送。既减少硬件的开支又降低网络的负载，实现双重效果。

对于常规采集的数据，则通过自己开发的实时数据库(RTDB)，将所有采集到的数据缓冲到在计算机中单独开辟的一块内存中，一般以30分钟为一个打包周期，对数据进行压缩打包存储，打包后的数据保存到计算机硬盘。同时，过程控制系统在在线运行的过程中，数据也是经由实时数据库推送给过程控制系统。过程控制系统接收到数据后进行相应的运算和设定结果的下发。

在采集的过程中，在数据推送给过程控制系统的过程，事件捕捉模块根据对信号定义的过滤条件对信号进行过滤，实现对现场事件的正确捕捉。例如，在连铸过程中，根据大包的动作信号，将大包(铁包)到达和大包(铁包)离开的过滤条件定义为10000ms的延时，当该信号持续时间不足10000ms时，则认为该信号为假信号，则不会根据该信号进行下一步计算的触发和动作的执行。

步骤三、对打包好的数据进行回放，回放的过程根据需要自行选择回放的时间段、回放的数据点以及回放的速度。回放器将数据通过实时数据库(RTDB)，实时数据库将数据推送给二级过程控制系统，实现对生产过程的回放。还可以对数据进行单帧回放，以每个采集周期的数据点进行一次次的数据显示。

经过上述步骤和方法，在过程控制系统中即实现了由数据的采集、存储到回放的整个过程，实现了在现有过程控制系统下生产过程数据的离线动态显示和过程控制系统可以在脱离现场设备的情况下，通过该回放方法的驱动下正常运行的目的。

Claims (5)

1.一种工业生产过程中数据采集回放系统，其特征在于：回放系统包括参数配置模块、实时数据库数据采集压缩存储模块、回放控制模块以及事件捕捉模块；参数配置模块、实时数据库数据采集压缩存储模块和回放控制模块依次相连接；实时数据库数据采集压缩存储模块包括快速数据采集模块、数据压缩模块和数据存储模块，快速数据采集模块、数据压缩模块和数据存储模块依次相连接；事件捕捉模块与快速数据采集模块相连接，回放控制模块与数据存储模块相连接；

快速数据采集模块对一级PLC设备的数据进行数据采集，在一级PLC一侧开辟缓冲区，对10ms以内采集的数据存入缓冲存储器；数据压缩模块对采集的常规数据进行数据压缩处理；数据存储模块包括内存区存储器和硬盘存储器，数据采集压缩存储模块对采集到的数据进行压缩存储；回放控制模块对系统进行暂停、采集模式、回放速率的控制，对生产过程进行回放控制；回放控制模块在在线采集、回放、暂停回放以及停止之间进行切换回放控制，将历史数据推送给运行在回放模式下的实时数据库，实时数据库将数据推送给对应的模型控制系统，模型控制系统可以根据数据实现对生产过程的再次回放，回放过程实现对数据的再次回放，也实现将生产过程再次回放；事件捕捉模块对假信号进行过滤，确保真实的反应现场的实际生产过程；事件捕捉模块根据调试人员在现场调试过程中采集到的现场问题，存储了多种对信号进行过滤的方法；

所述的常规数据指采集周期在200ms和1s之间采集数据。

2.一种工业生产过程中数据采集回放方法，其特征在于：

步骤一、对需要进行采集和回放的数据点进行配置，包括采集周期、是否进行采集以及是否进行回放配置；

根据每个参数在一级的地址，对参数进行采集配置，该配置不仅可以在采集数据之前进行，而且在回放的时候可以再次选择回放的参数，实现对数据采集、回放以及推送的分级控制；

步骤二、对数据进行分级采集存储和压缩，根据采集周期的不同，用不同的方法对数据进行收集；通过在一级PLC一侧开辟缓冲区，实现对10ms以内采集的数据的缓冲存储；分级存储模块包括PLC存储器、内存区存储器、硬盘存储器；对于需要进行快速存储的数据，采用快速数据采集方式，在PLC进行存储；对于其余的数据，采取在内存区存储器进行数据缓存，最后将数据进行数据压缩并批量的写入硬盘存储器；数据的压缩存储采用变点存储的方式，只有当数据的变化范围达到阈值的时候才进行保存，否则认为数据未发生变化；；

所述的快速存储的数据为10ms以内采集的数据；

步骤三、对历史数据进行回放，选定要回放的控制过程，由实时数据库将该控制过程中的历史数据推送到回放模块中，对控制过程中的历史数据按时间进行数据回放；或者对指定的数据进行回放。

3.如权利要求2所述的工业生产过程中数据采集回放方法，其特征在于：所述的回放分为正常速度、加速回放和单帧回放；将历史数据推送到回放模块中，进行加速推送；加速回放由设定的加速率来对原始时间进行加速显示数据；。

4.如权利要求2所述的工业生产过程中数据采集回放方法，其特征在于：所述的快速数据采集方式步骤如下：

步骤1、对PLC数据缓冲区内的数据进行基本数据类型的压缩，对于BOOL型数据，按照一个字节进行存储，对于float型和long型数据，在精度允许范围内，转换成short类型进行存储，将存储空间从4字节有效的降低为2字节；

步骤2、利用PLC控制功能块，首先开辟两块固定大小的数据缓冲区，两个网络通路，用于保存PLC一侧10ms快速变化数据；

其次是建立数据块，用于存储这些快速数据；依据采样周期，放在循环中断组织块里调用；填写每个变量的头文件信息，该信息在第一个采样周期内写入；

依次将数值写入第一组信息的数据块，写入第1个变量的第1个数值以后，将指针跳转到下一个变量的第1个数值的地址，写完最后一个变量第1个数值后，循环写入第1个变量第2个数值，依次类推当程序写完第20组变量后，开始写入第二组信息，两组信息交替被写入，完成两组信息数据块的数据采集、存储，完成数据块的建立；

步骤3、然后采用系统功能块对缓冲区内的数据发送到快速数据接收端；当写完第一组信息采样值后，就完成了整个数据块的数据采集、存储，将数据块发送给快速数据接收端；第一组数据块完成数据采集后，立刻对第二组数据块进行信息采样，写完后将数据发送给快速数据接收端；两组信息交替发送解决了数据采集过程中经常发生的丢帧问题；

步骤4、开发专用服务，通过以太网接收PLC周期发送的数据包；

针对发送方采用双通道发送数据块的模式，对于每一个PLC控制设备，在PLC控制设备侧启动两个监听线程，在指定的两个端口上进行监听；对PLC控制设备发送过来的快速数据和普通数据进行接收；对网络情况进行判断，当网络出现异常的时候，停止和PLC控制设备的当前连接，等待PLC控制设备再次提出连接请求；

所述的快速数据为10ms以内采集的数据；所述的普通数据为采集周期在200ms和1s之间采集数据。

5.如权利要求2所述的工业生产过程中数据采集回放方法，其特征在于：所述的数据压缩方法步骤如下：

步骤1、根据过程数据的数据类型和取值范围对数据进行类型的基本压缩，包括数据类型压缩、阈值自适应的变点存储和数据时间戳；数据类型压缩，对于BOOL型数据，按照一个字节进行存储，对于float型和long型数据，转换成short类型进行存储，将存储空间从4字节降低为2字节；

步骤2、采用阈值自适应的变点存储方法，根据数据最大值和最小值的范围设定阈值，每个采样周期，系统对采集到的数据与前一个采样周期的数据进行对比，如果两个数的差小于阈值，则认为采集到的数据未发生变化，在该采样周期不对采集到的数据进行采集；只有当前采样周期的数值与上一个采样数据的大小差超过阈值的时候才对采集到的数据进行存储；结合过程数据采集的过程中的范围，对阈值的大小进行不断的修正和自学习，以达到阈值的最佳取值；

阈值自学习方法在于，对每个压缩周期内的数据的最大值和最小值进行记录后，最大值和最小值的差的一定比例作为下一个压缩周期内数据采集的阈值；

所述的一定比例为万分之一或者千分之一；

步骤3、采用段页式时间存储法，选择一个时间基准点，称为段时间T0，该时间称为标准时间戳；从段时间T0开始，对于该周期的时间戳，选取他与段时间的间隔，称为页时间，是时间偏移量；段时间在存储的时候占有8字节，页时间为short类型，占2字节。