CN102611454B - 一种实时历史数据动态无损压缩方法 - Google Patents

Abstract

本发明公开了一种工业生产过程实时历史数据的动态无损压缩方法。本方法通过先将最新的实时数据按时间片存储于一个压缩缓冲区，并在每个设定时间片内分别对超过阈值的动态实时数据全部无损存储，而对变化较小的稳态实时数据按照不同的设定模式仅存储其特征值的方法对压缩缓冲区内的数据进行处理之后，再定时存储到历史数据缓冲区和历史数据文件。本发明的方法便于计算机编程实现，不仅解决了目前各种线性有损压缩算法的滤波失真现象，也在保证较高的数据保真度前提下提高了数据的整体压缩效率。

Description

一种实时历史数据动态无损压缩方法

技术领域

本发明涉及一种过程数据压缩方法，尤其是涉及一种能够对生产过程数据进行缓存预处理和采取全量程阈值多模压缩并无损保存动态数据的一种实时历史数据动态无损压缩方法。

背景技术

在工业生产过程中，由于其过程控制系统(Process Control System，简称PCS系统)或生产信息系统(Operation Information System，简称OIS系统)需要采集和存储的生产过程数据量非常大、频度非常高、持续时间非常长，因此，都会采取对实时历史数据进行压缩处理，合理舍弃部分数据采样点或对过程数据进行数学拟合之后再加以存储的方法以减少其对物理存储空间的需求、提高计算机处理效率和缩短实时历史数据的检索时间。

而作为实时历史数据库关键技术之一的数据压缩方法是随着计算机信息处理技术的发展而在不断变化的。也陆续出现了许多通用的压缩技术(如PPM算法、BWT算法、LZ算法等)和专用压缩技术(如多媒体数据压缩技术和过程数据压缩技术等)，前者不关心数据的具体特征，仅按计算机存储的最小单元进行压缩处理；而后者则考虑了数据本身的基本应用特征以保证一定的复现精度。

由于在实际的工业生产过程应用中，用户往往更加关心的是数据的波动、突变和越限等变化，而对数值的微小变化并不需要时刻加以关注，所以，一般在过程数据压缩技术中多采用了有损压缩算法。最常用的是死区压缩法和矢量压缩法，其中，PCS系统大多采用的是死区压缩法，即可对过程数据设定一个较小的死区，当过程数据的变化超过该死区时，才存储其数据样本，这种处理方法简单、快速、压缩效率高，但数据的失真也较为严重。而在OIS系统中，一种由美国OSI公司提出的旋转门压缩算法(Swinging Door Compression)得到了广泛的应用，“旋转门”算法对慢变数据具有较高的压缩比，算法成熟可靠。经过对国内外专利和技术文献的检索和分析发现，已有许多研究者针对上述两种常用的过程数据压缩方法的不足之处进行了改进。如中国专利CN1223951C^[1]、CN100430943C^[3]等采用斜率或偏差修正等方法对旋转门算法进行了自适应或二级压缩优化；中国专利CN10035437C^[2]等还将通用压缩算法LZW和旋转门等实时数据压缩算法结合起来，以提高数据压缩效率。为了减少数据采集过程中噪声的影响，中国专利CN100435136^[4]还给出了一种基于最小二乘法的线性滤波方法，上述专利和其中的引用文献也给出了现有技术存在的问题和各种提高压缩效率的改进方法。

随着近年来计算机处理能力的迅速提高和硬件存储成本的不断降低，过程数据压缩技术的关注点也从因受计算机性能和成本的制约而单纯考虑压缩效率；转到了更为关注有损压缩方法的数据保真度。中国专利CN101692251A^[5]、CN101807925A^[6]等分别采用基于函数参数估计和基于数值排序线性拟合的方法对数据压缩过程进行了拟合优化。

而前述的这些方法都对全部过程数据及其全量程范围采取了相同的压缩模式和压缩精度，这种处理方法虽然简单，却并没有针对各种过程数据的不同应用特征，因此会不同程度地丢失许多能够及时反映过程故障征兆或暂态过程的数据变化，因而复现数据仅适合于稳态分析。

众所周知，过程数据压缩技术的关键在于时间性能、空间性能和实现难度三者的平衡和折衷，在本申请人完成的上海市科技创新专项中，针对锅炉数字化设计和仿真分析对历史数据的需求，对现有的过程数据有损压缩方法的适应性问题进行了深入的分析。着重考虑了稳态和动态等不同工况下的数据保真度和数据全量程范围内的压缩有效性。由于目前PCS或OIS系统的软硬件实时处理能力和存储模式、性价比都较以往得到了根本的提高，完全可以采用符合不同过程数据应用特征的压缩算法在数据压缩有效性和保真度等方面实现性能的提升。

参考文献：

[1].CN1223951A，自适应的历史数据压缩方法

[2].CN100385437C，实时数据压缩方法

[3].CN100430943C，一种过程工业历史数据智能两级压缩方法

[4].CN100435136C，一种基于最小二乘线性拟合的实时数据压缩方法

[5].CN101692251A，基于函数参数估计的通用过程数据在线压缩、解压方法

[6].CN101807925A，一种基于数值排序线性拟合的历史数据压缩方法

发明内容

本发明要解决的问题是弥补现有过程数据有损压缩方法的不足，针对不同过程数据的应用特征来提高全量程压缩效率，分别考虑稳态和动态过程的数据保真度，通过动态数据无损存储来获得更有效的数据压缩效果。

本发明的技术方案具体是按照以下方法实现的：将需存储的过程实时历史数据先存储于计算机内存的数据压缩缓存区内，并对每个时间片内超过阈值和死区的动态数据采用无损存储，而对未达阈值或变化较小的稳态数据仅存储其采样的数据压缩特征值，处理完成的数据压缩特征值数据再转存到内存的历史数据缓存区队列，最后将历史数据缓冲区内的数据批量存入硬盘上打开的活动历史数据文件，具体包括以下步骤：

步骤1.启动历史数据记录进程并读入设定参数；按照历史数据文件大小的设定，在计算机内存中开启一个历史数据缓存区ΔF，并在计算机硬盘打开一个与之对应的活动历史数据文件；

步骤2.按设定的压缩缓存时间片ΔT的对应大小开启一个内存数据压缩缓存区；

步骤3.清空数据压缩缓存区，开始一个周期为压缩缓存时间片ΔT的过程数据采集和处理过程；

步骤4.采集过程数据样本，记录压缩缓存时间片ΔT的初始数据样本，并判断该初始数据样本是否满足压缩阈值ΔL，如果其满足压缩阈值ΔL，则按照设定的采样周期逐次采集过程数据样本并顺序存储于数据压缩缓存区；

步骤5.如果初始数据样本的值不满足压缩阈值ΔL，则仅将初始数据样本按照对应的时间戳存入历史数据缓存区，并转到步骤8；

步骤6.如果初始数据样本数值满足压缩阈值ΔL，且到达压缩缓存时间片ΔT设定间隔时，对数据压缩缓存区内的全部数据样本按照压缩模式参数C设定的模式进行数据压缩特征值处理；

步骤7.将处理完成的数据压缩特征值及其对应的时间戳依次存储到历史数据缓存区的数据队列；

步骤8.在完成数据压缩缓存区内全部数据样本的处理并将得到的压缩特征值存入历史数据缓存区之后，将数据压缩缓存区内的终了数据样本作为下一个压缩缓存时间片ΔT的初始数据样本，并转到步骤3开始下一个压缩缓存时间片ΔT的过程数据采集和处理过程；

步骤9.当历史数据缓存区内的数据达到写入历史数据文件的设定值ΔF时，将其中的数据转存入在硬盘打开的活动历史数据文件，并采用通用压缩算法对该文件进行二进制压缩后，按照存盘时间顺序转存到计算机硬盘的历史数据归档区；

步骤10.清空历史数据缓存区ΔF，开启一个新的活动历史数据文件，转入步骤3重复进行后续的过程数据采集和处理；

步骤11.循环进行上述步骤，直至历史数据记录进程被中止；当记录进程被中止时，当前打开的活动历史数据文件将被存入硬盘暂存区，并在进行标识后再转存到历史数据归档区。

为了满足不同应用特征的过程数据的压缩需求，前述的步骤6和步骤7所述的数据压缩特征值处理方法具体是按照以下步骤实现的：

步骤12.如果初始数据样本的数值满足压缩阈值ΔL，数据压缩缓存区内的全部数据样本将按照压缩模式参数C的设定以不同的方式进行数据压缩特征值处理，并将结果存入历史数据缓存区；

步骤13.压缩模式参数C为一个大于等于0的整数，且每个整数值均代表了一种不同的压缩处理模式，并且至少包括了以下几种模式；

步骤14.当压缩模式参数C＝0时，为正常模式：除初始数据样本将作为数据压缩特征值存储到历史数据缓存区的队列之外，数据压缩缓存区内的所有数据样本将逐一与初始数据样本进行比较，当二者的偏差超过设定死区±δ时，超过死区±δ的对应数据样本将全部作为数据压缩特征值按对应的时间戳无损地存储到历史数据缓存区的队列中；

步骤15.如果步骤14中数据样本的偏差未超过设定死区+δ时，对全部的数据样本进行比较后的最大数据样及与其对应的时间戳也将作为数据压缩特征值存储到历史数据缓存区的队列中；

步骤16.如果步骤14中数据样本的偏差未超过设定死区-δ时，对全部的数据样本进行比较后的最小数据样本及与其对应的时间戳也作为数据压缩特征值存储到历史数据缓存区的队列中；

步骤17.当压缩模式参数C＝1时，为死区模式：除初始数据样本将作为数据压缩特征值存储到历史数据缓存区的队列之外，如果数据压缩缓存区内的数据样本值超过设定死区±δ时，其超出死区±δ时的最大或最小值及与其对应的时间戳也作为数据压缩特征值存储到历史数据缓存区的队列中；如果无数据样本值超过死区±δ时，仅初始数据样本作为数据压缩特征值；

步骤18.当压缩模式参数C＝2时，为滤波模式：除初始数据样本将作为数据压缩特征值存储到历史数据缓存区的队列之外，数据压缩缓存区内所有数据样本的算术平均值将以压缩缓存时间片ΔT的中位时间戳作为数据压缩特征值存储到历史数据缓存区的队列中；

根据过程数据分析等不同的需求，用户还可在上述模式基础上自定义其它压缩模式。

本发明的有益效果在于该方法通过采用阈值、死区和压缩模式的多模压缩方式，解决了暂态和动态数据以及其它不同应用特征的过程数据高效压缩问题，同时，本发明的方法便于计算机编程实现，适合于高速海量时序数据的处理，解决了目前实时历史数据库有损压缩算法的失真现象，具有较高的压缩效率。实践证明，该方法既可以有效地应用于过程控制系统PCS，也适合于更高一级的生产信息系统OIS。

附图说明

附图1是本发明压缩方法的软件流程示意图；

附图2是本发明的数据变化及处理方法示意图；

附图3是本发明压缩方法的内存处理过程示意图；

附图4是本发明压缩方法的数据复现效果示意图。

具体实施方式

下面结合附图1～附图4来对本发明的实施例作详细说明，实施例在以本发明技术方案为前提下进行实施并给出了具体的实施方案和系统结构，但本发明的保护范围不限于下述的实施例。

如附图1所示，在采用本发明方法实现的历史数据服务器上启动历史数据记录进程1，并读入下列设定参数：

-历史数据缓存区ΔF：该参数定义了每个历史数据文件的大小，可以选择设置为一个固定的文件大小或一个固定长度的存储时间。在本实例中，选择ΔF＝8小时，即每隔8小时将完成一个历史数据文件的存储，因为ΔF同时也对应了历史数据缓存区的大小，必须根据计算机物理内存的实际大小设置，软件将会自动限制其超出合理值。

-压缩缓存时间片ΔT：该时间定义了对采集到的数据样本进行压缩处理的间隔，本实施例中设定ΔT＝10秒，过程数据采样周期为0.1秒，即每次对100个采集到的数据样本进行压缩处理，可以看出，ΔT设置得越大，数据的压缩效率越高。

-压缩阈值ΔL：该参数定义了在数据的全量程范围内需要更精确存储的区间。在本实例中，定义ΔL为过程数据的报警I值，即当数据样本大于其报警I值时，将对数据的动态变化进行无损压缩或特征值处理，而未到该区域时，存入历史数据文件的数据将只是每个时间片ΔT的初始数据样本值，这样就对不需要进行精确复现的数据变化实现了最高效的压缩，例如对一个温度(设其量程为0～600℃)这样的慢变测点，当其远低于设计的报警值(如≤450℃)时，就不需要对其变化进行精确记录，在本实例中10秒钟才会记录一次变化值。

-死区±δ：数据超过了该参数定义范围后，将记录其动态变化的所有样本，在本实例中，一般δ取0.1％，即当样本的变化超过其量程的±0.1％时会被精确地记录并无损地存储下来(如量程为0～600℃的一个温度测点，当其变化幅度超过0.6℃时，其数值将会被精确地记录)。

-压缩模式C：该参数为一个正整数，定义了当数据样本大于压缩阈值ΔL时的不同历史数据记录模式，对不同类型和应用的测点可以选择不同的压缩模式。除三种标准模式外，在本实例中C为0～4，还另外自定义了两种新的压缩模式：

①当C＝0时为正常模式或称缺省模式，每个压缩缓存时间片ΔT中的数据样本被存储到历史数据缓冲区内的数据压缩特征值包括每个压缩缓存时间片ΔT的初始数据样本、变化的最大和最小的样本值、以及超过死区±δ时的全部样本值；

②当C＝1时为死区模式，压缩缓存时间片ΔT的初始数据样本以及超过死区时的最大和/或最小值将作为数据压缩特征值存储到历史数据缓冲区内。

③当C＝2时为滤波模式，压缩缓存时间片ΔT的初始数据样本和全部数据样本的加权平均值将作为中位数据压缩特征值存储到历史数据缓冲区内。

④当C＝3时为自定义最小值模式，压缩缓存时间片ΔT的初始数据样本和全部数据样本中的最小值将作为数据压缩特征值存储到历史数据缓冲区内，和C＝1时相比，无论数据样本是否超过死区，其最小样本值都将被存储到历史数据缓冲区内。

⑤当C＝4时为自定义最大值模式，压缩缓存时间片ΔT的初始数据样本和全部数据样本中的最大值将作为数据压缩特征值存储到历史数据缓冲区内，和C＝1时相比，无论数据样本是否超过死区，其最大样本值都将被存储到历史数据缓冲区内。

根据上述参数的设定开启相应的缓存区(附图1步骤2)和硬盘活动历史数据文件(附图1步骤3)，即可采用本发明提供的方法(附图1步骤4～步骤14)对采样到的过程数据样本进行压缩处理。

数据变化和对应的数据处理过程可分别见附图2和附图3，当选择该测点的压缩值模式C＝0时，符合该模式要求的样本均将作为数据压缩特征值和与其对应的时间戳一起存储到历史数据缓存区。这里的时间戳是指由主时钟同步得到的该样本的绝对时间值，该值既可以以绝对时间值与样本数值一起作为一个完整的数据压缩特征值依次存放在历史数据缓存区，也可以在历史数据缓存区队列仅保留时间戳的相对偏移量。

如附图2所示，在第一个压缩缓存时间片ΔT的采集过程中，其时间戳T₁对应的初始值X₁超过了设定的压缩阈值ΔL，在时间戳t₁时测点样本的变化与初始值X₁之差超过了设定的死区+δ，并在时间戳t₃时回复到了+δ以内；在时间戳t4时测点样本达到了与初始值X₁相比最低的数值S₄，在到达时间片终点T₂时测点的样本值为X₂。数据采集缓冲区中的样本值X₁、S₁～S₃、S₄将按照时间戳的顺序被存储到历史数据缓存区，并且X₂将作为下一个时间片ΔT的初始数据样本值。

在第二个时间片ΔT的采集过程中，X₂也超过了设定的压缩阈值ΔL，但所有的数据样本与初始值X₂比较均未超过死区±δ，在时间戳t₅时测点样本到达了低点S₅，在时间戳t₆时测点样本到达了高点S₆，因此到达时间片终了点T3时，数据采集缓冲区中的数据压缩特征值X₂、S₅、S₆将按照时间戳的顺序被存储到历史数据缓存区，X₃将作为后续一个时间片ΔT的初始值。

如附图3和附图1中步骤15所示，当历史数据缓存区存储的数据到达设定限值ΔF时，其存储的数据将转存到打开的活动历史数据文件Fi，在本实例中将以二进制格式直接存储上述数据并将关闭后的文件存到硬盘的历史数据文件归档区，也可以设定采用其它通用压缩算法对文件进行二次压缩，该流程也可以在文件存入硬盘归档区之后再进行。

当记录进程未被中止时，将重复进行上述过程(附图1步骤16、17)；如果进程被中止，由于此时的活动文件可能尚未达到设定限值ΔF，在转存到硬盘归档区前将先存于一个硬盘暂存区，并在标识之后再归档，以区别出本次记录的中断点(附图1步骤18～20)。

附图4显示了本发明压缩方法的数据复现效果，其中附图4-(1)是测点的实际变化，附图4-(2)是当本实例取压缩模式C＝0时的复现效果。

根据不同过程数据的分析需要，本发明还可以自定义更多的压缩模式，例如当本实例选择C＝4时，其复现效果为附图4-(3)所示，存入历史数据缓存区的压缩数据特征值分别为X₁、S₂、S₆、X₂和X₃，与传统的死区模式相比在保证了压缩率的同时也记录了该参数的峰值变化以免丢失重要的故障征兆特征。

Claims (2)

1.一种实时历史数据动态无损压缩方法，其特征在于：该方法具体是由以下步骤实现的：

步骤1.启动历史数据记录进程并读入设定参数；按照历史数据文件大小的设定，在计算机内存中开启一个历史数据缓存区ΔF，并在计算机硬盘打开一个与之对应的活动历史数据文件；

步骤2.按设定的压缩缓存时间片ΔT的对应大小开启一个内存数据压缩缓存区；

步骤3.清空数据压缩缓存区，开始一个周期为压缩缓存时间片ΔT的过程数据采集和处理过程；

步骤4.采集过程数据样本，记录压缩缓存时间片ΔT的初始数据样本，并判断该初始数据样本是否满足压缩阈值ΔL，如果其满足压缩阈值ΔL，则按照设定的采样周期逐次采集过程数据样本并顺序存储于数据压缩缓存区；

步骤5.如果初始数据样本的值不满足压缩阈值ΔL，则仅将初始数据样本按照对应的时间戳存入历史数据缓存区，并转到步骤8；

步骤6.如果初始数据样本数值满足压缩阈值ΔL，且到达压缩缓存时间片ΔT设定间隔时，对数据压缩缓存区内的全部数据样本按照压缩模式参数C设定的模式进行数据压缩特征值处理；

步骤7.将处理完成的数据压缩特征值及与其对应的时间戳依次存储到历史数据缓存区的数据队列；

步骤8.在完成数据压缩缓存区内全部数据样本的处理并将得到的压缩特征值存入历史数据缓存区之后，将数据压缩缓存区内的终了数据样本作为下一个压缩缓存时间片ΔT的初始数据样本，并转到步骤3开始下一个压缩缓存时间片ΔT的过程数据采集和处理过程；

步骤9.当历史数据缓存区内的数据达到写入历史数据文件的设定值ΔF时，将其中的数据转存入在硬盘打开的活动历史数据文件，并采用通用压缩算法对该文件进行二进制压缩后，按照存盘时间顺序转存到计算机硬盘的历史数据归档区；

步骤10.清空历史数据缓存区ΔF，开启一个新的活动历史数据文件，转入步骤3重复进行后续的过程数据采集和处理；

步骤11.循环进行上述步骤，直至历史数据记录进程被中止；当记录进程被中止时，当前打开的活动历史数据文件将被存入硬盘暂存区，并在进行标识后再转存到历史数据归档区。

2.如权利要求1所述的一种实时历史数据动态无损压缩方法，其特征在于：步骤6和步骤7所述的数据压缩特征值处理方法具体是按照以下步骤实现的：

步骤12.如果初始数据样本的数值满足压缩阈值ΔL，数据压缩缓存区内的全部数据样本将按照压缩模式参数C的设定以不同的方式进行数据压缩特征值处理，并将结果存入历史数据缓存区；

步骤13.压缩模式参数C为一个大于等于0的整数，且每个整数值均代表了一种不同的压缩处理模式，并且至少包括了以下几种模式；

步骤14.当压缩模式参数C＝0时，为正常模式：除初始数据样本将作为数据压缩特征值存储到历史数据缓存区的队列之外，数据压缩缓存区内的所有数据样本将逐一与初始数据样本进行比较，当二者的偏差超过设定死区±δ时，超过死区±δ的对应数据样本将全部作为数据压缩特征值按对应的时间戳无损地存储到历史数据缓存区的队列中；

步骤15.如果步骤14中数据样本的偏差未超过设定死区+δ时，对全部的数据样本进行比较后的最大数据样本及与其对应的时间戳也作为数据压缩特征值存储到历史数据缓存区的队列中；

步骤16.如果步骤14中数据样本的偏差未超过设定死区-δ时，对全部的数据样本进行比较后的最小数据样本及与其对应的时间戳也将作为数据压缩特征值存储到历史数据缓存区的队列中；

步骤17.当压缩模式参数C＝1时，为死区模式：除初始数据样本将作为数据压缩特征值存储到历史数据缓存区的队列之外，如果数据压缩缓存区内的数据样本值超过设定死区±δ时，超出死区±δ时的最大或最小值样本及与其对应的时间戳将作为数据压缩特征值存储到历史数据缓存区的队列中；如果无数据样本值超过死区±δ时，仅初始数据样本作为数据压缩特征值；

步骤18.当压缩模式参数C＝2时，为滤波模式：除初始数据样本将作为数据压缩特征值存储到历史数据缓存区的队列之外，数据压缩缓存区内所有数据样本的算术平均值将以压缩缓存时间片ΔT的中位时间戳作为数据压缩特征值存储到历史数据缓存区的队列中。