CN102073712A - 基于动态变化帧的过程数据全息归档和反演方法 - Google Patents

Abstract

本发明公开了一种基于动态变化帧的过程数据全息归档和反演方法，利用该方法对过程数据的变化过程进行全息压缩记录和全息反演，本方法针对过程数据自身的特点，提出了一种以时间为基准的，以聚合多种过程数据的动态变化帧为归档对象的，采用多级压缩处理的归档和检索方法，有效的降低了过程数据的归档空间占用率，提高了归档数据的检索效率，同时以聚合多种过程数据的存储方式为全息反演提供了基础。通过本方法可以有效的提高工业自动化系统中历史数据的实用性和可用性，将多种过程数据的统一处理为全息反演历史过程提供了可能。

Description

基于动态变化帧的过程数据全息归档和反演方法

技术领域

本发明属于工业自动化系统实时数据库领域，应用在工业自动化系统实时监控系统中，该方法应用于实时数据库中的过程数据的全息数据记录和检索，采用一种动态变化帧记录的方法，对过程数据的变化过程全息记录和全息反演。

技术背景

在工业自动化监控系统中，实时数据库提供对各种应用领域的数据支持，实时数据库除了提供工业自动化监控对象的实时数据采集和即时数据外，通常还需要提供海量过程数据的高效检索功能。

过程数据的内容通常包括：采集量的变化趋势，报警信息，操作日志信息。

在工业自动化监控系统中，传统的历史数据归档方式是将以上数据分别处理，例如归档库中分为模拟量表、数字量表、报警表、日志表等，各种类型的数据之间关联性差，基本上是各自独立的部分，不具备关联分析和处理的能力。而且海量数据的存储对计算机硬件的依赖越来越高。随着监控水平的逐步提高，对过程数据的处理要求也逐步提高，通常表现在需要对海量的过程数据进行长期的保存，对过程数据的检索效率和检索方式的要求也逐步提高。

这些需求对传统的历史数据归档和检索方法提出了挑战，表现在海量数据的优化存储、数据检索的高效性、混合数据类型的联合检索等。各种过程数据将不再是互不相关的割裂的部分，一个监控系统的过程数据将可作为一个或多个整体对象进行归档和检索。根据工业自动化的过程数据自身的特点，归档的过程需要进行数据压缩后持久化保存，在进行数据检索时，除了传统的趋势曲线、报警、日志的检索外，还需要多种数据类型的联合检索，进而提供过程数据的全息反演功能。

发明内容

为解决现有技术存在的上述问题，本发明针对过程数据自身的特点，提出了一种基于动态变化帧的过程数据全息归档和反演方法。

工业自动化控制领域的过程数据具有如下特点：

1、所有过程数据，包括模拟量、数字量、报警、操作日志都具备时间相关的特性；

2、模拟量的数据变化具有一定的变化规律，实时数据中只有一小部分采集点的值经常发生改变，很多采集点的数值都具有变化慢的特征，通常允许数据在一定范围内的精度损失；

3、数字量的数据变化有突发性的特点，但是变化不频繁；

4、报警和操作日志有突发性的特点；

本发明针对过程数据的如上特点，提出了以时间为基准的，以过程数据的动态变化帧为归档对象的，对模拟量进行有损数据压缩，对数字量、报警、操作日志进行帧间压缩的全息数据归档和反演方法，简称CyberZip方法。

本发明具体采用以下技术方案：

一种基于动态变化帧的过程数据全息归档和反演方法，该方法以聚合多种过程数据的动态变化帧为归档对象，采用多级压缩方式处理归档数据和检索数据，其特征在于，所述方法包括以下步骤：

(1)采集监控系统的过程数据，并存储在实时数据库中，所述过程数据包括模拟量、数字量、报警信息和操作日志；

(2)建立所述过程数据的过程数据集，包括模拟量数据集合、数字量数据集合、报警集合和操作日志集合，全部过程数据集形成数据帧；

(3)将过程数据中的模拟量和数字量进行一级压缩处理，即在满足精度要求的情况下进行有损压缩处理；

(4)对需要归档的过程数据，包括经过一级压缩后保留下来的模拟量数据、数字量数据，报警信息、操作日志信息进行归一化处理，即所述过程数据集按照最小存储结构原则组织过程数据，建立过程数据集的索引，形成归档数据帧，归档数据帧仅保留与上一数据帧之间的差异数据，称为动态变化帧；

(5)将归档数据帧中的各过程数据集的数据区进行二级压缩、无损字节压缩，并根据压缩后的结构重新建立各个集合的数据区索引信息，之后将归档数据帧以二进制字节流顺序保存到存储介质；

(6)经过步骤(3)进行的有损压缩数据，在任意时刻可以通过线性补点得到满足精度误差要求的值，理论上可以得到任意时刻的过程数据，所以称作全息归档方法。对于应用模块的数据请求，本方法可以得到任意时刻的过程数据点，并将该近似值返回给应用模块，称为全息反演。

本发明方法利用过程数据自身的特点，采用有损压缩算法对过程数据进行归档预处理，称之为一级压缩，即将过程数据中“不重要”的信息过滤，保留过程数据中的“关键”信息，一级压缩中采用了死区压缩和趋势压缩两种处理过程，这两个过程都是有损压缩过程，即在此压缩过程中会有一部分数据的精度损失，但是考虑到工业自动化监控系统从传感器到实时数据库本身就存在的采集精度误差，一定程度的精度损失是天生不可避免的，所以在归档预处理过程中的有损压缩也是可以接受的。

死区压缩是针对数据采集系统天生的精度误差和监控对象自身的精度要求而提出来的，通过对采集点的实际采集精度进行设置，只有当两次采集的数据偏差超过死区的设定值之后才能通过死区压缩处理，进入到下一级处理流程，否则该采集数据将认为是精度无法识别的或没有必要识别的而被抛弃。

趋势压缩是根据过程数据的阶段性趋势进行压缩，并只记录满足趋势条件的起点和终点。CyberZip中的趋势压缩算法采用的是动态趋势误差的旋转门算法，该算法计算量较小，而且可以连续处理变化趋势，对于较规则的过程数据效果很好。

一级压缩处理对模拟量和数字量都有效，数字量可以看做是一类特殊的模拟量，其采集值只有0或1，对数字量的死区压缩始终是无效的，趋势压缩始终是有效的。

归档预处理还包括对报警信息和日志信息的预处理，对于同一采集点的报警或操作日志进行归档分类，分为报警子列表集和日志子列表集，每一个报警子列表或日志子列表中包含某一个采集点相关的报警内容或日志内容，该子列表是按照最小化存储格式组织的，即仅保留不同报警或日志记录中不同的内容，相同的内容将作为子列表索引保存起来。

每经过一定间隔时间，经过归档预处理的过程数据就积累为一个数据集，在CyberZip中称之为数据帧，数据帧由模拟量集合、数字量集合、报警集合、日志集合构成，数据帧包含若干属性，包括：帧的起始时间、帧的最终时间、帧的前帧索引、帧的后帧索引、每个集合中的数据索引信息等。数据帧是CyberZip中需要持久化处理保存的对象，在序列化时，采用了分块压缩的机制，即二级压缩，在这种机制中，帧头信息和数据集合的索引不压缩，这样保证了在检索时的高效定位，对于每个数据集中的子集数据，采用了无损压缩算法对字节流进行压缩，这样保证了子集数据的最小化，同时，因为常用的检索需求通常是按采集点查询，在通过数据集索引定位到具体的点后，再进行解压缩的内容通常较小，其执行效率也很高。二级压缩是一种可选压缩，针对过程数据量的大小和检索效率要求，也可以不选用二级压缩。

数据帧中包含的是相对于前一帧之后的变化子集，在CyberZip中称之为动态变化帧，因为每一个数据帧中保存的变化子集可能差异很大，尤其是模拟量集合和数字量集合，动态变化帧的意义还在于其中保存了不同的采集点集合，根据过程数据的变化特点，有的采集点会频繁变化，而有的采集点变化很慢，所以这种数据帧，并不能理解为是实时数据库的定期快照，而是动态变化的。

压缩后的数据帧将持久保存到存储设备，根据系统的规模和归档服务器的性能不同，数据帧之间的间隔可以调整，如1天，或1小时，甚至几分钟，原则上是系统规模越小，间隔越长，服务器性能越好，间隔越长。

CyberZip的数据检索分为单点检索和全息检索方式。

模拟量单点检索即根据检索时间区间，从归档的数据帧中，将检索的数据返回，通常有两种方式，方式1为仅返回归档点，适用于曲线和趋势的检索需求，方式2为根据检索区间和步长，返回定量的点，该检索需求需要检索引擎根据趋势压缩的线性规律进行动态补点。

单点检索也适用于数字量、报警和日志信息的查询。

全息检索或全息反演是实时数据库的一种反演状态，在此状态下，应用模块从实时数据库中获取的数据并非是实时监测数据，而是特定时间的历史数据，而这些历史数据的数据源就是CyberZip。在全息检索模式下，CyberZip将加载数据帧中的所有数据，并根据反演时间进行取点或补点，再将所有信息返回给实时数据库，这些信息包括模拟量、数字量、报警、操作日志等。全息反演的一个应用场景是通过监控画面直接调阅历史上某个时刻或某个时间段的历史数据，就如同监控画面重新回到了之前的时刻，而且除了采集量外，报警和操作日志也同时回溯到了同一时刻，为事后分析或故障诊断提供了极大的便利。

通过本发明的方法，以多种数据类型聚合处理的方式，实现了过程数据的最优化的记录方式，由于采用了精度误差允许范围内的有损趋势压缩算法，可以得到任意时刻的模拟量近似值，任意时刻数字量的真实值，任意时间范围内的报警信息和操作信息，这样为监控系统的全息反演提供了数据支持。采用CyberZip方法，实现了多种过程数据的关联检索和最优化数据存储，为海量数据的长期存储，进行事后分析等提供了便利。

附图说明

图1是动态变化数据帧的构成；

图2是模拟量一级压缩方法示意图；

图3是数据帧的组织结构示意图；

图4是数据帧的归档前二级压缩方法示意图；

图5是CyberZip架构设计示意图；

图6是CyberZip归档工作流程示意图；

图7是CyberZip检索工作流程示意图。

具体实施方式

下面结合说明书附图对本发明的技术方案作进一步详细说明。

本申请中用到的专门术语：

过程数据：包括模拟量，数字量，报警信息，操作日志信息；

数据帧：是全部过程数据的总和；

动态变化帧：是一段时间范围内的全部数据帧；

全息压缩记录：以有损压缩算法为基础，压缩记录全部过程数据；

全息反演：以全息记录为基础，并根据趋势压缩算法，追溯到历史上任意时刻的过程数据的方法。

CyberZip方法的特征在于以聚合多种过程数据的动态变化帧为归档对象，采用多级压缩方式处理归档数据和检索数据，该方法由以下步骤构成：

(1)过程数据的采集，经过实时数据库处理的采集数据作为本方法的处理对象，包含模拟量集合、数字量集合、报警集合，以及实时数据库记录的操作日志集合；

(2)建立数据帧，本方法中的数据帧一段时间范围内的全部过程数据的变化子集构成，包括模拟量集合、数字量集合、报警集合、操作日志集合。

图1示意了动态变化数据帧的构成。

(3)采集数据中的模拟量和数字量经过缓冲管理器进行一级有损压缩处理，在满足精度要求的前提下去除次要信息，仅保留关键信息；

缓冲管理器处理的对象为内存对象，其输入为实时库的采集信息，其输出是经过一级压缩后的过程数据信息。

图2示意了模拟量的一级压缩方法，其中包括精度压缩和趋势压缩两种方法，一级压缩是一种有损压缩方法，在满足精度要求的情况下，尽可能少记录采集信息。

死区压缩是针对数据采集系统天生的精度误差和监控对象自身的精度要求而提出来的，通过对采集点的实际采集精度进行设置，只有当两次采集的数据偏差超过死区的设定值之后才能通过死区压缩处理，进入到下一级处理流程，否则该采集数据将认为是精度无法识别的或没有必要识别的而被抛弃。

趋势压缩是根据过程数据的阶段性趋势进行压缩，并只记录满足趋势条件的起点和终点。CyberZip中的趋势压缩算法采用的是动态趋势误差的旋转门算法，该算法计算量较小，而且可以连续处理变化趋势，对于较规则的过程数据效果很好。一级压缩处理对模拟量和数字量都有效，数字量可以看做是一类特殊的模拟量，其采集值只有0或1，对数字量的死区压缩始终是无效的，趋势压缩始终是有效的。

(4)归档管理器对需要归档的数据进行归一化处理，归一化处理后的数据按照最小存储结构原则组织数据，并组织数据集合的索引，维护数据帧之间的关联关系，形成归档数据帧；

归档管理器的输入是缓冲管理器的输出，其输出是需要存盘的经过归一化处理的数据帧。

图3示意了数据帧的组织结构，一个数据帧包含帧头信息，子集合的索引信息和子集合的数据区。

归档预处理包括对报警信息和日志信息的预处理，对于同一采集点的报警或操作日志进行归档分类，分为报警子列表集和日志子列表集，每一个报警子列表或日志子列表中包含某一个采集点相关的报警内容或日志内容，该子列表是按照最小化存储格式组织的，即仅保留不同报警或日志记录中不同的内容，相同的内容将作为子列表索引保存起来。

(5)存储管理器将数据帧中的各个集合数据区进行无损字节压缩处理，并重新整理各个集合的索引信息，之后序列化到存储介质进行保存。

存储管理器的输入是归档数据帧，其输出是经过压缩、索引处理后的数据帧。

图4示意了数据帧的归档前二级压缩方法，二级压缩方法采用了字节流的无损压缩算法，在归档前需要重新整理子集合的索引信息，以便定位归档后的压缩数据区。

每经过一定间隔时间，经过归档预处理的过程数据就积累为一个数据帧，数据帧由模拟量集合、数字量集合、报警集合、日志集合构成，数据帧包含若干属性，包括：帧的起始时间、帧的最终时间、帧的前帧索引、帧的后帧索引、每个集合中的数据索引信息等。数据帧是CyberZip中需要持久化处理保存的对象，在序列化时，采用了分块压缩的机制，即二级压缩，在这种机制中，帧头信息和数据集合的索引不压缩，这样保证了在检索时的高效定位，对于每个数据集中的子集数据，采用了无损压缩算法对字节流进行压缩，这样保证了子集数据的最小化，同时，因为常用的检索需求通常是按采集点查询，在通过数据集索引定位到具体的点后，再进行解压缩的内容通常较小，其执行效率也很高。二级压缩是一种可选压缩，针对过程数据量的大小和检索效率要求，也可以不选用二级压缩。

图5示意了CyberZip架构设计示意图，CyberZip由数据缓冲管理器、归档管理器、存储管理器和检索管理器构成。数据缓冲管理器负责接收数据采集的原始数据，进行一级压缩处理。归档管理器负责对需要归档的数据进行归一化处理，组织数据集合的索引，维护数据帧之间的关联关系等。存储管理器负责将数据帧中的各个集合数据区进行压缩，并重新整理各个集合的索引信息，之后序列化到存储介质进行保存。检索管理器负责响应各个应用的数据请求，并从归档管理器和存储管理器中请求数据返回给各个应用。

图6示意了CyberZip归档工作流程示意图。归档过程从采集数据开始，采集的数据包含过程数据集合，采集数据首先经过缓冲管理器进行处理。对于采集量中的模拟量和数字量，缓冲管理器包含了一级压缩的处理流程，分为精度压缩和趋势压缩两个步骤，每个步骤中只有满足压缩精度需求的数据才会进入到下一个环节中。对于报警数据和日志数据，缓冲管理器经过一个归一化处理流程将同一采集点相关的信息进行合并处理。经过缓冲管理器处理后的保留下来的采集数据是需要进行归档保存的数据，由归档管理器进行索引处理，并将数据写入内存数据区。在达到归档时间点时，归档管理器将数据帧交给存储存储管理器进行存储，并重新开始新一轮的数据帧记录。存储管理器负责将数据帧进行二级压缩后进行持久保存，在序列化存储前，存储管理器将重新整理数据帧中的数据子集索引，并对子集数据区进行分段压缩，将整理和压缩后的数据帧进行存储介质的持久化保存。至此，一个经过多级压缩后的完整的数据帧被保存下来。

(6)检索管理器负责响应应用的数据请求，并从归档管理器和存储管理器中请求数据，根据线性趋势压缩的原理，可以得到任意时刻的模拟量和数字量近似值，并将结果返回给应用。

图7示意了CyberZip检索工作流程示意图。数据检索由应用模块发起，将请求提交给检索管理器，检索管理器内部有一个数据缓冲区，如果检索请求的数据在缓冲区内已经存在了，则直接返回，如果不存在，视检索的数据区间，被检索的数据可能来自归档管理器，也可能来自存储管理器。归档管理器中的数据是还未持久化保存的，位于内存的数据帧，由于数据并未进行二级压缩，可以直接访问提取。对于存储管理器中的数据，由于进行了二级压缩，首先需要根据索引定位到压缩数据区，然后对数据区进行解压缩处理，之后返回给数据缓冲区，再由检索管理器返回给应用模块。上述是单点检索的流程，在进行全息检索时，流程与单点检索的基本一致，为了提高检索效率，需要将目标数据帧从存储管理器中一次性读取出来后再做处理。

Claims (7)

1.一种基于动态变化帧的过程数据全息归档和反演方法，其特征在于，所述方法包括以下步骤：

(1)采集监控系统的过程数据，并存储在实时数据库中，所述过程数据包括模拟量、数字量、报警信息和操作日志；

(2)建立所述过程数据的过程数据集，包括模拟量数据集合、数字量数据集合、报警集合和操作日志集合，全部过程数据集形成数据帧；

(3)将过程数据中的模拟量和数字量进行一级压缩处理，即在满足精度要求的情况下进行有损压缩处理；

(4)对需要归档的过程数据，包括经过一级压缩后保留下来的模拟量数据、数字量数据，报警信息、操作日志信息进行归一化处理，即所述过程数据集按照最小存储结构原则组织过程数据，建立过程数据集的索引，形成归档数据帧，归档数据帧仅保留与上一数据帧之间的差异数据，称为动态变化帧；

(5)将归档数据帧中的各过程数据集的数据区进行二级压缩、即无损字节压缩，并根据压缩后的结构重新建立各个集合的数据区索引信息，之后将归档数据帧以二进制字节流顺序保存到存储介质；

(6)经过步骤(3)进行的有损压缩数据，在任意时刻可以通过线性补点得到满足精度误差要求的值，能够得到任意时刻的过程数据，对于应用模块的数据请求，通过线性补点得到任意时刻的过程数据近似值，并将该近似值返回给应用模块。

2.根据权利要求1所述的过程数据全息归档和反演方法，其特征在于：

所述有损压缩处理是指对过程数据的变化过程中不影响精度的数据进行抛弃，同时对全部过程数据进行记录，并在序列化之前针对过程数据的子集合进行区间压缩，从而实现对过程数据的全息和压缩记录。

3.根据权利要求1或2所述的过程数据全息归档和反演方法，其特征在于：在步骤(3)中，有损压缩处理优选采用死区压缩算法，只有当两次采集的数据偏差超过死区的设定值之后才能通过死区压缩处理，进入到下一级处理流程，否则该采集数据将认为是精度无法识别的或没有必要识别的而被抛弃。

4.根据权利要求1或2所述的过程数据全息归档和反演方法，其特征在于：在步骤(3)中，所述有损压缩处理优选采用趋势压缩算法，所述趋势压缩是根据过程数据的阶段性趋势进行压缩，并只记录满足趋势条件的起点和终点。

5.根据权利要求1所述的过程数据全息归档和反演方法，其特征在于：动态变化帧为保存了自上一数据帧结束到本数据帧结束时间范围内的所有过程数据集的变化，包括模拟量集合、数据量集合、报警集合、操作日志集合。

6.根据权利要求1所述的过程数据全息归档和反演方法，其特征在于：在步骤(4)中，还进一步包括对报警信息和日志信息的归档预处理，即对于同一采集点的报警信息或操作日志进行归档分类，分为报警子列表集和日志子列表集，每一个报警子列表或日志子列表中包含某一个采集点相关的报警内容或日志内容，该子列表是按照最小化存储格式组织的，即仅保留不同报警或日志记录中不同的内容，相同的内容将作为子列表索引保存起来。

7.根据权利要求1所述的过程数据全息归档和反演方法，其特征在于：在步骤(5)中，对于帧头信息和数据集合的索引不压缩，对每个数据集中的子集数据，采用了无损压缩算法对字节流进行压缩。

Images