CN102437856A

CN102437856A - 基于特征点提取的地铁综合监控系统三级数据压缩方法

Info

Publication number: CN102437856A
Application number: CN2011103454498A
Authority: CN
Inventors: 包德梅; 颜儒彬; 刘志超
Original assignee: Guodian Nanjing Automation Co Ltd
Current assignee: Guodian Nanjing Automation Co Ltd
Priority date: 2011-11-04
Filing date: 2011-11-04
Publication date: 2012-05-02

Abstract

本发明公开了一种基于特征点提取的地铁综合监控系统三级数据压缩方法，地铁综合控制系统中所采集的数据点包含模拟量和开关量两类数据，包含对模拟量压缩的步骤和对开关量压缩的步骤。针对模拟量的数据量过滤提出一种特征点提取的死区压缩、均方差压缩和斜率压缩算法，通过在压缩过程中对参数的动态调整，使误差控制在给定范围内，保证了压缩精度并且获得更高的压缩比。相比于其他压缩算法，现场测试压缩比提高了50％至90％，避免了由于不合理的设置导致压缩性能低下，使用本发明的方法历史数据库性能稳定，实时数据采集与数据压缩存储可同步进行，数据压缩性能突出。

Description

基于特征点提取的地铁综合监控系统三级数据压缩方法

技术领域

本发明涉及一种对地铁综合监控自动化系统中的数据进行压缩的方法，属于数据处理技术领域。

背景技术

地铁综合监控自动化系统通过先进的计算机集成和网络互连技术，对地铁各个自动化监控系统所管辖的机电设备、车辆运营状况以及客运组织情况进行全方位监视，在一个统一的硬件平台与软件平台实现资源共享、信息互通，形成数据处理方式一致，用户界面统一的综合监控系统，从而为地铁运营组织和维护管理提供直观信息界面。它可以对现场的运行设备进行监测和控制，实现数据采集、测量、各类信号报警、设备控制以及参数调节等各项功能。从地铁用户操作的数据来源分析，实时监控与实时报警等操作需要的实时数据，来源于实时数据库从现场设备采集到的数据；趋势分析与报表查询等操作需要的历史数据，则完全靠历史数据库来提供。简单地讲，历史数据库记录下生产过程中的实时数据，按照自身的存储策略予以记录保存，为了以最小的空间存储最丰富的信息，数据压缩技术尤为关键。

要研究和分析历史数据的压缩技术，首先要对历史数据的冗余信息特性有很好的把握，因此，在这里有必要详细分析历史数据的特点。地铁控制中的历史数据是指基于时间的、随着地铁运行过程进行而连续产生的数据，其显著的特点可以用如下四个方面来归纳：

(1)一套自动化系统设备从投入使用到换代更新，一般都要经历少则几年多则数十年的时间，期间需要不断记录地铁运行过程中的关键数据作为系统运行维护的重要参考。在这个过程中积累的数据量非常多，可以用海量来形容，数据接入总体规模大概在10万点-30万点左右，模拟量大概占30%左右。目前地铁综合监控系统数据存储是按照模拟量每一分钟进行存储，假设一个仅有30000个记录点的历史数据库，记录点均为模拟量，记录周期1分钟，每条记录中，浮点型的数据值和整型的时间戳各自占用4字节，则该系统运行1年产生的原始数据量为：2*4×30000×60×24×365=126144000000字节，合计约117.5GB。因此如何更好地压缩数据，提高数据的查询效率具有很重要的意义。

(2)从工程应用角度看，历史数据有I／O整型、模拟型、离散型、内存整型等多种数据类型。从相应技术角度看，都可以归纳为1字节，2字节和4字节的数据类型三种情况。

(3)每个记录点的值都与记录时间关系密切，通常来说，上一个周期的数据与下一个周期的数据不允许混淆，因此，历史数据的记录必须保证实时性。

(4)有些信号量每秒钟记录一次，而有些信号量一个小时甚至是一天才记录一次，数据保存的时间间隔相差很大。由此可见，对于历史数据记录周期差异较大的情况，研究时要统筹兼顾，细化要求。

针对过程工业历史数据压缩技术的研究有着较为广泛的基础，其压缩方法大致可以分为3类，包括分段线性方法、矢量量化方法以及信号变换法。分段线性方法又包括矩形波串法、后向斜率法、旋转门趋势法及PLOT法，其中旋转门趋势法应用最广，尽管它的压缩比不如信号变换方法高，但其突出的优点是算法简单，执行速度快，对信号趋势有很好的追踪分析能力。矢量量化方法由于要花很多时间来计算“码书”，而且一个数据集的“码书”不能用于另外的数据集，因此矢量量化方法对于工业历史数据的压缩现实性与通用性不强。信号变换包括了许多种方法，如离散余弦变换、小波变换等，其中小波变换应该是最有前途的过程数据压缩方法，不过还有许多实际的技术问题有待解决。而地铁综合监控系统数据存储是数据点按固定时间周期进行存储，导致地铁控制的硬盘容量要求很大，数据查询速度较慢，而针对地铁控制领域中的历史数据压缩算法还没有被提及。

发明内容

本发明所要解决的技术问题是提供一种基于特征点提取的地铁综合监控系统三级数据压缩方法，针对不断增长的历史数据量，提供了一种数据的压缩方法，可以更节省历史数据占用的存储空间，降低对硬盘数据库的操作时间，提高历史数据库的读写效率。

尽管随着计算机硬件的飞速发展，磁盘和内存容量越来越大，放松了对数据压缩方面的需求，但在面向地铁控制工业的应用中，由于数据量巨大，采取灵活配置的压缩方式以实现数据精度、存储空间和存取速度几方面在不同应用环境下的要求，对于提高实时数据库的适应性，保证实时数据库中数据的完整性、实现海量数据存储、提高运行速度都是非常重要的。

针对以上特点，分析历史数据库中采用压缩技术的必然性，从以下几个角度考虑：

首先，数据压缩技术能够节省历史数据占用的存储空间，这一点比较容易理解。在深入研究历史数据特点、数据冗余特征的基础上，提出有较强针对性的历史数据压缩策略和压缩方法，可以有效减少数据数量，缩短数据的编码长度，因而可以将海量的历史数据在保证其精度的前提下做最大限度的压缩。

其次，数据压缩技术可以有效地增加历史数据库的容量。这里的容量是指历史数据库系统能够容纳和处理的最大点数，即同时记录的信号量个数。随着工业控制系统应用的不断大型化，系统内信号点的量也会随着工程规模的增大而增加，但是由于计算机的处理能力是有限的，在保证数据存储实时性的前提下，数据库不可能记录无限量的点，因而历史数据库的容量受到了限制。数据压缩技术可以有效减少冗余信息，减少不必要的存储点，增加了处理器在单位时间的数据处理量。通过压缩获得更精简更关键的数据，意味着更高的数据的处理效率，因而数据压缩技术大大增加了历史数据库的容量。

再次，整个历史数据库系统中通常保存在硬盘中，计算机硬盘的读写速度比内存慢得多，对硬盘的存取操作越少，相应的数据存储和读取时间就越短。数据压缩技术可以通过提高数据的压缩比，减少在相同时间段内需要存储和读取的数据量，降低对硬盘数据库的操作时间，提高历史数据库的读写效率，节省系统的资源，使得数据的存储和查询流程更为快速和流畅。另外，对于历史数据的备份、网络传输等工作，压缩后的数据量更小，有助于提高工作的效率，降低工作的复杂程度。

最后，在计算机上处理工业实时数据存在许多无法控制的失真环节，如：数据采集的传感器存在采集误差；数据采集过程中将实时数据连续变化值的采样和数字化，采集周期之间的特征波形已经丢失；计算机处理和网络传输造成的延时和不确定因素；传感器和计算机的数据类型字节限制等。可见，在计算机上采集到的实时数据本身就存在着信息丢失，只要是数字化和计算机化处理，都是对数据的近似处理过程，因此，强调保存数据的完全不失真，是没有意义的。在历史数据存储过程中，采取数据压缩技术，是在不影响整体数据精度的情况下对性能指标的综合平衡。

综上所述，数据压缩技术能够从众多方面改善历史数据库的性能，提高历史数据库的运行效率，因此将数据压缩技术引入历史数据库是非常必要的。

为解决上述技术问题，本发明提供一种基于特征点提取的地铁综合监控系统三级数据压缩方法。

本发明所达到的有益效果：

本发明提出了一种对历史数据库的多级压缩方法，针对模拟量的数据量过滤提出一种特征点提取的死区压缩+均方差压缩+斜率压缩算法，通过在压缩过程中对参数的动态调整，使误差控制在给定范围内，保证了压缩精度并且获得更高的压缩比。相比于其他压缩算法，现场测试压缩比提高了50％至90％，避免了由于不合理的设置导致压缩性能低下，具有实际的工程意义。

针对地铁运行过程中的历史数据量巨大，本发明的多级压缩方法可对有限强噪声进行数据平滑处理，对不同实际特性的信号点采用不同的记录方式，并针对开关量和模拟量分别设计了不同的数据量过滤算法。

使用本发明的方法历史数据库性能稳定，实时数据采集与数据压缩存储可同步进行，数据压缩性能突出。

本发明的创新点在于数据多级压缩方法，具有如下特点：

(1)多级压缩方法充分考虑了不同特性信号点的需求，采用开放性的记录方式给予工程配置以最大的自由度，能够很好地配合工程应用，有效地过滤冗余数据。

(2)数据平滑对数据序列中强噪声点进行处理，使得处理后的数据能接近被测参数的实际值，主要用于降低传感器的测量精度误差给数据处理带来的影响。

(3) 三级压缩算法更好地逼近期望误差，对实际数据的波动更敏感，信号波动捕捉能力更强，算法的鲁棒性更好，并且更好地适应不同的信号源。另外，该算法避免了工程人员对算法参数的盲目设置而导致的压缩性能低下，免去了现场繁琐的反复试探过程，具有重大的工程意义。

(4)现场测试的数据通过历史曲线绘制可以证明，三级压缩算法不论对于波动幅度较大的量还是趋势相对平缓的量都能很好抓住曲线关键点，减少了频繁抖动的无关信息存储，压缩比更大，曲线更逼近关键趋势。

附图说明

图1是数据的分区；

图2是模拟量的变化压缩；

图3是开关量的变化压缩。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

地铁综合控制系统中所采集的数据点通常分为两类数据，一是模拟量，一是数字量又叫开关量。本技术方案中主要讨论这两类数据点的压缩方法。

一、模拟量压缩

（1）死区压缩

如图1所示，将模拟量分成正常区、告警区和故障区，并预先设定一个精度值差量

Figure 2011103454498100002DEST_PATH_IMAGE002

，然后对收到的带时标的模拟量点进行分区处理。

当数据值在正常区、告警区或故障区内波动时，设

Figure 2011103454498100002DEST_PATH_IMAGE004

为某记录点最近一次保存的数据值，该记录点待压缩的原始数据序列为

Figure 2011103454498100002DEST_PATH_IMAGE006

…

Figure 2011103454498100002DEST_PATH_IMAGE008

，定义一个精度值

，依次对序列中的数据值

与前一个保存值进行比较：若

满足，则将

保存；当前值

与保存值

之差小于

的值的将被滤掉不予保存。系统只保存两个数据的差值大于

的数据量。

对于精度值

的设定需要有先验知识，预先知道记录点波动的合理范围是多少。

的设定值偏大降低数据压缩精度，可能会丢失有效的历史数据；相反，的设定值偏小则会记录过多冗余数据，无法保证高的压缩比，因而也就失去了精度记录的优势。的设定参数来源于于工程组态时对记录点的配置，由工程人员根据实际记录点的物理意义、信号特性等信息，设置周期记录方式的时间间隔值，或者死区记录方式的

值。可见，记录方式过滤的压缩效果对组态人员的工程经验有着较多的依赖，因此，本级压缩中的所有参数是对用户完全开放的。死区记录方式适合信号变化频繁但是数值变化不大的情况，当精度值设定适当时，能够有效地减少数据量。

（2）均方差压缩

原始数据点序列

Figure 2011103454498100002DEST_PATH_IMAGE014

经过一级死区压缩后的变为数据点序列

Figure 2011103454498100002DEST_PATH_IMAGE016

，其中m

n。将数据点等分成时间间隔

Figure 2011103454498100002DEST_PATH_IMAGE020

,在

时间间隔内显示曲线的数据序列为

Figure 2011103454498100002DEST_PATH_IMAGE022

.共k个点，则称

Figure 2011103454498100002DEST_PATH_IMAGE024

为y的平均值，

定义：

Figure 2011103454498100002DEST_PATH_IMAGE026

为y的标准差或均方差。

标准差被用来评估数据可能的变化或波动程度，统计上用于衡量一组数值中某一数值与其平均值差异程度的指标。标准差越大，数据波动的范围就越广。一个较大的标准差，代表大部分数值和其平均值之间差异较大；一个较小的标准差，代表这些数值较接近平均值。

设定

Figure 2011103454498100002DEST_PATH_IMAGE028

为标准差限定值，若在时间间隔

的数据点的标准差

Figure 2011103454498100002DEST_PATH_IMAGE030

，则说明数据波动不大，取

的起点或终点值予以保存。若在时间间隔的数据点的标准差，则

间隔内的所有数据点都将保存。

（3）斜率压缩算法

经死区压缩与均方差压缩后的数据点序列变为，其中pm

n。

假设压缩后的数据点记为

和

，分别是上一个存储点和第i个测试点之间的斜率和时间差，即：

算法的理论依据是Attneave关键形状点（critical shapepoints）理论，即曲线上的某一些关键点与另一些点相比包含更为丰富的信息，这些关键点足以表达曲线的形状特征。因此，算法是通过保留关键点删除次要点来达到曲线数据压缩的目的。如图2所示，假设点

～

对应着一组待压缩的数据，设时刻的数据

最近存储的数据点，压缩精度为E，则压缩过程可以描述为：由

点开始依次检测该组数据中的点，将

点与被检测点连成一条直线。如果

与被检测时刻之间的全部数据点与该曲线的垂直距离在精度区E之内，则继续检测一下时刻的点，否则就存储被检测点的前一个点并由该点代替点继续检测。图中

Figure 2011103454498100002DEST_PATH_IMAGE048

全部数据点到

Figure 2011103454498100002DEST_PATH_IMAGE050

的直线距离在数据精度区E的范围内，因此

不保存；而

时刻数据与

时刻的直线到

的数据点的距离大于在精度区E，因此保存

点的前一个点

点，并且点成为最近存储的数据点。

该方法中，时刻值

点到

时刻与时刻的所连接的直线的距离为

其中

Figure 2011103454498100002DEST_PATH_IMAGE066

,

Figure 2011103454498100002DEST_PATH_IMAGE068

,

Figure 2011103454498100002DEST_PATH_IMAGE070

。

分析以上过程可知，经压缩后，历史数据库虽然未存储所有的数据，但利用垂向距离作为约束条件来决定曲线上点的取舍,能够在指定的精度内逼近数据的波动趋势，进而确保在精度范围内可以对原始数据加以恢复，这正是对历史数据特性很好地利用。该方法中，曲线上保留点的个数取决于压缩精度的大小，压缩精度越大，删除的点越多。压缩误差的大小和压缩偏移量之间成线性关系。因此压缩精度E可按实际的需要来调整，对不同特性的历史数据应设定不同的压缩精度值从而控制压缩效果。在实际的应用中，适当的设置压缩参数，经过插值后的数据曲线不会影响整体变化情况和关键信息(拐点信息)。并且，通过压缩后，能够消除小信号扰动，达到过虑噪声的功能；而且增加数据的平滑度，有利于进行数据分析和挖掘。

二、开关量压缩

前面提到了死区压缩的方法，以此理论为基础，当死区的精度△非常小，比如△=0.000001时，该算法可以演化为一种新的压缩算法——变化压缩算法。变化压缩算法的基本思想是：数据值只有在发生变化时才被处理保存，否则，数据被丢弃。开关量信号点只有0和1两种状态，其数据值是跳变的，而不是连续性地变化。另外，在实际运行过程中有相当一部分的开关量数据在特定甚至很长的时间段内状态不发生变化，因此，本方法在对开关量进行数据量过滤时采用了变化压缩算法。如图3所示，时间点

Figure 2011103454498100002DEST_PATH_IMAGE072

分别对应着开关量值1，0，0，1，1，0，0，根据变化压缩算法提取

Figure 2011103454498100002DEST_PATH_IMAGE074

时刻的关键数据点保存，而

Figure 2011103454498100002DEST_PATH_IMAGE076

时刻的数据值丢弃不保存。这样，在严格保证数据序列准确性的同时，实现了数据量的过滤。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。