CN102611454B - 一种实时历史数据动态无损压缩方法 - Google Patents

一种实时历史数据动态无损压缩方法 Download PDF

Info

Publication number
CN102611454B
CN102611454B CN201210020450.8A CN201210020450A CN102611454B CN 102611454 B CN102611454 B CN 102611454B CN 201210020450 A CN201210020450 A CN 201210020450A CN 102611454 B CN102611454 B CN 102611454B
Authority
CN
China
Prior art keywords
data
buffer area
compression
sample
stored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210020450.8A
Other languages
English (en)
Other versions
CN102611454A (zh
Inventor
叶敏
徐雪元
吴乃新
丁怡若
孙晅
张岩
刘仕君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI DIGIT CONTROL SYSTEM CO Ltd
Shanghai Boiler Works Co Ltd
Original Assignee
SHANGHAI DIGIT CONTROL SYSTEM CO Ltd
Shanghai Boiler Works Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI DIGIT CONTROL SYSTEM CO Ltd, Shanghai Boiler Works Co Ltd filed Critical SHANGHAI DIGIT CONTROL SYSTEM CO Ltd
Priority to CN201210020450.8A priority Critical patent/CN102611454B/zh
Publication of CN102611454A publication Critical patent/CN102611454A/zh
Application granted granted Critical
Publication of CN102611454B publication Critical patent/CN102611454B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明公开了一种工业生产过程实时历史数据的动态无损压缩方法。本方法通过先将最新的实时数据按时间片存储于一个压缩缓冲区,并在每个设定时间片内分别对超过阈值的动态实时数据全部无损存储,而对变化较小的稳态实时数据按照不同的设定模式仅存储其特征值的方法对压缩缓冲区内的数据进行处理之后,再定时存储到历史数据缓冲区和历史数据文件。本发明的方法便于计算机编程实现,不仅解决了目前各种线性有损压缩算法的滤波失真现象,也在保证较高的数据保真度前提下提高了数据的整体压缩效率。

Description

一种实时历史数据动态无损压缩方法
技术领域
本发明涉及一种过程数据压缩方法,尤其是涉及一种能够对生产过程数据进行缓存预处理和采取全量程阈值多模压缩并无损保存动态数据的一种实时历史数据动态无损压缩方法。
背景技术
在工业生产过程中,由于其过程控制系统(Process Control System,简称PCS系统)或生产信息系统(Operation Information System,简称OIS系统)需要采集和存储的生产过程数据量非常大、频度非常高、持续时间非常长,因此,都会采取对实时历史数据进行压缩处理,合理舍弃部分数据采样点或对过程数据进行数学拟合之后再加以存储的方法以减少其对物理存储空间的需求、提高计算机处理效率和缩短实时历史数据的检索时间。
而作为实时历史数据库关键技术之一的数据压缩方法是随着计算机信息处理技术的发展而在不断变化的。也陆续出现了许多通用的压缩技术(如PPM算法、BWT算法、LZ算法等)和专用压缩技术(如多媒体数据压缩技术和过程数据压缩技术等),前者不关心数据的具体特征,仅按计算机存储的最小单元进行压缩处理;而后者则考虑了数据本身的基本应用特征以保证一定的复现精度。
由于在实际的工业生产过程应用中,用户往往更加关心的是数据的波动、突变和越限等变化,而对数值的微小变化并不需要时刻加以关注,所以,一般在过程数据压缩技术中多采用了有损压缩算法。最常用的是死区压缩法和矢量压缩法,其中,PCS系统大多采用的是死区压缩法,即可对过程数据设定一个较小的死区,当过程数据的变化超过该死区时,才存储其数据样本,这种处理方法简单、快速、压缩效率高,但数据的失真也较为严重。而在OIS系统中,一种由美国OSI公司提出的旋转门压缩算法(Swinging Door Compression)得到了广泛的应用,“旋转门”算法对慢变数据具有较高的压缩比,算法成熟可靠。经过对国内外专利和技术文献的检索和分析发现,已有许多研究者针对上述两种常用的过程数据压缩方法的不足之处进行了改进。如中国专利CN1223951C[1]、CN100430943C[3]等采用斜率或偏差修正等方法对旋转门算法进行了自适应或二级压缩优化;中国专利CN10035437C[2]等还将通用压缩算法LZW和旋转门等实时数据压缩算法结合起来,以提高数据压缩效率。为了减少数据采集过程中噪声的影响,中国专利CN100435136[4]还给出了一种基于最小二乘法的线性滤波方法,上述专利和其中的引用文献也给出了现有技术存在的问题和各种提高压缩效率的改进方法。
随着近年来计算机处理能力的迅速提高和硬件存储成本的不断降低,过程数据压缩技术的关注点也从因受计算机性能和成本的制约而单纯考虑压缩效率;转到了更为关注有损压缩方法的数据保真度。中国专利CN101692251A[5]、CN101807925A[6]等分别采用基于函数参数估计和基于数值排序线性拟合的方法对数据压缩过程进行了拟合优化。
而前述的这些方法都对全部过程数据及其全量程范围采取了相同的压缩模式和压缩精度,这种处理方法虽然简单,却并没有针对各种过程数据的不同应用特征,因此会不同程度地丢失许多能够及时反映过程故障征兆或暂态过程的数据变化,因而复现数据仅适合于稳态分析。
众所周知,过程数据压缩技术的关键在于时间性能、空间性能和实现难度三者的平衡和折衷,在本申请人完成的上海市科技创新专项中,针对锅炉数字化设计和仿真分析对历史数据的需求,对现有的过程数据有损压缩方法的适应性问题进行了深入的分析。着重考虑了稳态和动态等不同工况下的数据保真度和数据全量程范围内的压缩有效性。由于目前PCS或OIS系统的软硬件实时处理能力和存储模式、性价比都较以往得到了根本的提高,完全可以采用符合不同过程数据应用特征的压缩算法在数据压缩有效性和保真度等方面实现性能的提升。
参考文献:
[1].CN1223951A,自适应的历史数据压缩方法
[2].CN100385437C,实时数据压缩方法
[3].CN100430943C,一种过程工业历史数据智能两级压缩方法
[4].CN100435136C,一种基于最小二乘线性拟合的实时数据压缩方法
[5].CN101692251A,基于函数参数估计的通用过程数据在线压缩、解压方法
[6].CN101807925A,一种基于数值排序线性拟合的历史数据压缩方法
发明内容
本发明要解决的问题是弥补现有过程数据有损压缩方法的不足,针对不同过程数据的应用特征来提高全量程压缩效率,分别考虑稳态和动态过程的数据保真度,通过动态数据无损存储来获得更有效的数据压缩效果。
本发明的技术方案具体是按照以下方法实现的:将需存储的过程实时历史数据先存储于计算机内存的数据压缩缓存区内,并对每个时间片内超过阈值和死区的动态数据采用无损存储,而对未达阈值或变化较小的稳态数据仅存储其采样的数据压缩特征值,处理完成的数据压缩特征值数据再转存到内存的历史数据缓存区队列,最后将历史数据缓冲区内的数据批量存入硬盘上打开的活动历史数据文件,具体包括以下步骤:
步骤1.启动历史数据记录进程并读入设定参数;按照历史数据文件大小的设定,在计算机内存中开启一个历史数据缓存区ΔF,并在计算机硬盘打开一个与之对应的活动历史数据文件;
步骤2.按设定的压缩缓存时间片ΔT的对应大小开启一个内存数据压缩缓存区;
步骤3.清空数据压缩缓存区,开始一个周期为压缩缓存时间片ΔT的过程数据采集和处理过程;
步骤4.采集过程数据样本,记录压缩缓存时间片ΔT的初始数据样本,并判断该初始数据样本是否满足压缩阈值ΔL,如果其满足压缩阈值ΔL,则按照设定的采样周期逐次采集过程数据样本并顺序存储于数据压缩缓存区;
步骤5.如果初始数据样本的值不满足压缩阈值ΔL,则仅将初始数据样本按照对应的时间戳存入历史数据缓存区,并转到步骤8;
步骤6.如果初始数据样本数值满足压缩阈值ΔL,且到达压缩缓存时间片ΔT设定间隔时,对数据压缩缓存区内的全部数据样本按照压缩模式参数C设定的模式进行数据压缩特征值处理;
步骤7.将处理完成的数据压缩特征值及其对应的时间戳依次存储到历史数据缓存区的数据队列;
步骤8.在完成数据压缩缓存区内全部数据样本的处理并将得到的压缩特征值存入历史数据缓存区之后,将数据压缩缓存区内的终了数据样本作为下一个压缩缓存时间片ΔT的初始数据样本,并转到步骤3开始下一个压缩缓存时间片ΔT的过程数据采集和处理过程;
步骤9.当历史数据缓存区内的数据达到写入历史数据文件的设定值ΔF时,将其中的数据转存入在硬盘打开的活动历史数据文件,并采用通用压缩算法对该文件进行二进制压缩后,按照存盘时间顺序转存到计算机硬盘的历史数据归档区;
步骤10.清空历史数据缓存区ΔF,开启一个新的活动历史数据文件,转入步骤3重复进行后续的过程数据采集和处理;
步骤11.循环进行上述步骤,直至历史数据记录进程被中止;当记录进程被中止时,当前打开的活动历史数据文件将被存入硬盘暂存区,并在进行标识后再转存到历史数据归档区。
为了满足不同应用特征的过程数据的压缩需求,前述的步骤6和步骤7所述的数据压缩特征值处理方法具体是按照以下步骤实现的:
步骤12.如果初始数据样本的数值满足压缩阈值ΔL,数据压缩缓存区内的全部数据样本将按照压缩模式参数C的设定以不同的方式进行数据压缩特征值处理,并将结果存入历史数据缓存区;
步骤13.压缩模式参数C为一个大于等于0的整数,且每个整数值均代表了一种不同的压缩处理模式,并且至少包括了以下几种模式;
步骤14.当压缩模式参数C=0时,为正常模式:除初始数据样本将作为数据压缩特征值存储到历史数据缓存区的队列之外,数据压缩缓存区内的所有数据样本将逐一与初始数据样本进行比较,当二者的偏差超过设定死区±δ时,超过死区±δ的对应数据样本将全部作为数据压缩特征值按对应的时间戳无损地存储到历史数据缓存区的队列中;
步骤15.如果步骤14中数据样本的偏差未超过设定死区+δ时,对全部的数据样本进行比较后的最大数据样及与其对应的时间戳也将作为数据压缩特征值存储到历史数据缓存区的队列中;
步骤16.如果步骤14中数据样本的偏差未超过设定死区-δ时,对全部的数据样本进行比较后的最小数据样本及与其对应的时间戳也作为数据压缩特征值存储到历史数据缓存区的队列中;
步骤17.当压缩模式参数C=1时,为死区模式:除初始数据样本将作为数据压缩特征值存储到历史数据缓存区的队列之外,如果数据压缩缓存区内的数据样本值超过设定死区±δ时,其超出死区±δ时的最大或最小值及与其对应的时间戳也作为数据压缩特征值存储到历史数据缓存区的队列中;如果无数据样本值超过死区±δ时,仅初始数据样本作为数据压缩特征值;
步骤18.当压缩模式参数C=2时,为滤波模式:除初始数据样本将作为数据压缩特征值存储到历史数据缓存区的队列之外,数据压缩缓存区内所有数据样本的算术平均值将以压缩缓存时间片ΔT的中位时间戳作为数据压缩特征值存储到历史数据缓存区的队列中;
根据过程数据分析等不同的需求,用户还可在上述模式基础上自定义其它压缩模式。
本发明的有益效果在于该方法通过采用阈值、死区和压缩模式的多模压缩方式,解决了暂态和动态数据以及其它不同应用特征的过程数据高效压缩问题,同时,本发明的方法便于计算机编程实现,适合于高速海量时序数据的处理,解决了目前实时历史数据库有损压缩算法的失真现象,具有较高的压缩效率。实践证明,该方法既可以有效地应用于过程控制系统PCS,也适合于更高一级的生产信息系统OIS。
附图说明
附图1是本发明压缩方法的软件流程示意图;
附图2是本发明的数据变化及处理方法示意图;
附图3是本发明压缩方法的内存处理过程示意图;
附图4是本发明压缩方法的数据复现效果示意图。
具体实施方式
下面结合附图1~附图4来对本发明的实施例作详细说明,实施例在以本发明技术方案为前提下进行实施并给出了具体的实施方案和系统结构,但本发明的保护范围不限于下述的实施例。
如附图1所示,在采用本发明方法实现的历史数据服务器上启动历史数据记录进程1,并读入下列设定参数:
-历史数据缓存区ΔF:该参数定义了每个历史数据文件的大小,可以选择设置为一个固定的文件大小或一个固定长度的存储时间。在本实例中,选择ΔF=8小时,即每隔8小时将完成一个历史数据文件的存储,因为ΔF同时也对应了历史数据缓存区的大小,必须根据计算机物理内存的实际大小设置,软件将会自动限制其超出合理值。
-压缩缓存时间片ΔT:该时间定义了对采集到的数据样本进行压缩处理的间隔,本实施例中设定ΔT=10秒,过程数据采样周期为0.1秒,即每次对100个采集到的数据样本进行压缩处理,可以看出,ΔT设置得越大,数据的压缩效率越高。
-压缩阈值ΔL:该参数定义了在数据的全量程范围内需要更精确存储的区间。在本实例中,定义ΔL为过程数据的报警I值,即当数据样本大于其报警I值时,将对数据的动态变化进行无损压缩或特征值处理,而未到该区域时,存入历史数据文件的数据将只是每个时间片ΔT的初始数据样本值,这样就对不需要进行精确复现的数据变化实现了最高效的压缩,例如对一个温度(设其量程为0~600℃)这样的慢变测点,当其远低于设计的报警值(如≤450℃)时,就不需要对其变化进行精确记录,在本实例中10秒钟才会记录一次变化值。
-死区±δ:数据超过了该参数定义范围后,将记录其动态变化的所有样本,在本实例中,一般δ取0.1%,即当样本的变化超过其量程的±0.1%时会被精确地记录并无损地存储下来(如量程为0~600℃的一个温度测点,当其变化幅度超过0.6℃时,其数值将会被精确地记录)。
-压缩模式C:该参数为一个正整数,定义了当数据样本大于压缩阈值ΔL时的不同历史数据记录模式,对不同类型和应用的测点可以选择不同的压缩模式。除三种标准模式外,在本实例中C为0~4,还另外自定义了两种新的压缩模式:
①当C=0时为正常模式或称缺省模式,每个压缩缓存时间片ΔT中的数据样本被存储到历史数据缓冲区内的数据压缩特征值包括每个压缩缓存时间片ΔT的初始数据样本、变化的最大和最小的样本值、以及超过死区±δ时的全部样本值;
②当C=1时为死区模式,压缩缓存时间片ΔT的初始数据样本以及超过死区时的最大和/或最小值将作为数据压缩特征值存储到历史数据缓冲区内。
③当C=2时为滤波模式,压缩缓存时间片ΔT的初始数据样本和全部数据样本的加权平均值将作为中位数据压缩特征值存储到历史数据缓冲区内。
④当C=3时为自定义最小值模式,压缩缓存时间片ΔT的初始数据样本和全部数据样本中的最小值将作为数据压缩特征值存储到历史数据缓冲区内,和C=1时相比,无论数据样本是否超过死区,其最小样本值都将被存储到历史数据缓冲区内。
⑤当C=4时为自定义最大值模式,压缩缓存时间片ΔT的初始数据样本和全部数据样本中的最大值将作为数据压缩特征值存储到历史数据缓冲区内,和C=1时相比,无论数据样本是否超过死区,其最大样本值都将被存储到历史数据缓冲区内。
根据上述参数的设定开启相应的缓存区(附图1步骤2)和硬盘活动历史数据文件(附图1步骤3),即可采用本发明提供的方法(附图1步骤4~步骤14)对采样到的过程数据样本进行压缩处理。
数据变化和对应的数据处理过程可分别见附图2和附图3,当选择该测点的压缩值模式C=0时,符合该模式要求的样本均将作为数据压缩特征值和与其对应的时间戳一起存储到历史数据缓存区。这里的时间戳是指由主时钟同步得到的该样本的绝对时间值,该值既可以以绝对时间值与样本数值一起作为一个完整的数据压缩特征值依次存放在历史数据缓存区,也可以在历史数据缓存区队列仅保留时间戳的相对偏移量。
如附图2所示,在第一个压缩缓存时间片ΔT的采集过程中,其时间戳T1对应的初始值X1超过了设定的压缩阈值ΔL,在时间戳t1时测点样本的变化与初始值X1之差超过了设定的死区+δ,并在时间戳t3时回复到了+δ以内;在时间戳t4时测点样本达到了与初始值X1相比最低的数值S4,在到达时间片终点T2时测点的样本值为X2。数据采集缓冲区中的样本值X1、S1~S3、S4将按照时间戳的顺序被存储到历史数据缓存区,并且X2将作为下一个时间片ΔT的初始数据样本值。
在第二个时间片ΔT的采集过程中,X2也超过了设定的压缩阈值ΔL,但所有的数据样本与初始值X2比较均未超过死区±δ,在时间戳t5时测点样本到达了低点S5,在时间戳t6时测点样本到达了高点S6,因此到达时间片终了点T3时,数据采集缓冲区中的数据压缩特征值X2、S5、S6将按照时间戳的顺序被存储到历史数据缓存区,X3将作为后续一个时间片ΔT的初始值。
如附图3和附图1中步骤15所示,当历史数据缓存区存储的数据到达设定限值ΔF时,其存储的数据将转存到打开的活动历史数据文件Fi,在本实例中将以二进制格式直接存储上述数据并将关闭后的文件存到硬盘的历史数据文件归档区,也可以设定采用其它通用压缩算法对文件进行二次压缩,该流程也可以在文件存入硬盘归档区之后再进行。
当记录进程未被中止时,将重复进行上述过程(附图1步骤16、17);如果进程被中止,由于此时的活动文件可能尚未达到设定限值ΔF,在转存到硬盘归档区前将先存于一个硬盘暂存区,并在标识之后再归档,以区别出本次记录的中断点(附图1步骤18~20)。
附图4显示了本发明压缩方法的数据复现效果,其中附图4-(1)是测点的实际变化,附图4-(2)是当本实例取压缩模式C=0时的复现效果。
根据不同过程数据的分析需要,本发明还可以自定义更多的压缩模式,例如当本实例选择C=4时,其复现效果为附图4-(3)所示,存入历史数据缓存区的压缩数据特征值分别为X1、S2、S6、X2和X3,与传统的死区模式相比在保证了压缩率的同时也记录了该参数的峰值变化以免丢失重要的故障征兆特征。

Claims (2)

1.一种实时历史数据动态无损压缩方法,其特征在于:该方法具体是由以下步骤实现的:
步骤1.启动历史数据记录进程并读入设定参数;按照历史数据文件大小的设定,在计算机内存中开启一个历史数据缓存区ΔF,并在计算机硬盘打开一个与之对应的活动历史数据文件;
步骤2.按设定的压缩缓存时间片ΔT的对应大小开启一个内存数据压缩缓存区;
步骤3.清空数据压缩缓存区,开始一个周期为压缩缓存时间片ΔT的过程数据采集和处理过程;
步骤4.采集过程数据样本,记录压缩缓存时间片ΔT的初始数据样本,并判断该初始数据样本是否满足压缩阈值ΔL,如果其满足压缩阈值ΔL,则按照设定的采样周期逐次采集过程数据样本并顺序存储于数据压缩缓存区;
步骤5.如果初始数据样本的值不满足压缩阈值ΔL,则仅将初始数据样本按照对应的时间戳存入历史数据缓存区,并转到步骤8;
步骤6.如果初始数据样本数值满足压缩阈值ΔL,且到达压缩缓存时间片ΔT设定间隔时,对数据压缩缓存区内的全部数据样本按照压缩模式参数C设定的模式进行数据压缩特征值处理;
步骤7.将处理完成的数据压缩特征值及与其对应的时间戳依次存储到历史数据缓存区的数据队列;
步骤8.在完成数据压缩缓存区内全部数据样本的处理并将得到的压缩特征值存入历史数据缓存区之后,将数据压缩缓存区内的终了数据样本作为下一个压缩缓存时间片ΔT的初始数据样本,并转到步骤3开始下一个压缩缓存时间片ΔT的过程数据采集和处理过程;
步骤9.当历史数据缓存区内的数据达到写入历史数据文件的设定值ΔF时,将其中的数据转存入在硬盘打开的活动历史数据文件,并采用通用压缩算法对该文件进行二进制压缩后,按照存盘时间顺序转存到计算机硬盘的历史数据归档区;
步骤10.清空历史数据缓存区ΔF,开启一个新的活动历史数据文件,转入步骤3重复进行后续的过程数据采集和处理;
步骤11.循环进行上述步骤,直至历史数据记录进程被中止;当记录进程被中止时,当前打开的活动历史数据文件将被存入硬盘暂存区,并在进行标识后再转存到历史数据归档区。
2.如权利要求1所述的一种实时历史数据动态无损压缩方法,其特征在于:步骤6和步骤7所述的数据压缩特征值处理方法具体是按照以下步骤实现的:
步骤12.如果初始数据样本的数值满足压缩阈值ΔL,数据压缩缓存区内的全部数据样本将按照压缩模式参数C的设定以不同的方式进行数据压缩特征值处理,并将结果存入历史数据缓存区;
步骤13.压缩模式参数C为一个大于等于0的整数,且每个整数值均代表了一种不同的压缩处理模式,并且至少包括了以下几种模式;
步骤14.当压缩模式参数C=0时,为正常模式:除初始数据样本将作为数据压缩特征值存储到历史数据缓存区的队列之外,数据压缩缓存区内的所有数据样本将逐一与初始数据样本进行比较,当二者的偏差超过设定死区±δ时,超过死区±δ的对应数据样本将全部作为数据压缩特征值按对应的时间戳无损地存储到历史数据缓存区的队列中;
步骤15.如果步骤14中数据样本的偏差未超过设定死区+δ时,对全部的数据样本进行比较后的最大数据样本及与其对应的时间戳也作为数据压缩特征值存储到历史数据缓存区的队列中;
步骤16.如果步骤14中数据样本的偏差未超过设定死区-δ时,对全部的数据样本进行比较后的最小数据样本及与其对应的时间戳也将作为数据压缩特征值存储到历史数据缓存区的队列中;
步骤17.当压缩模式参数C=1时,为死区模式:除初始数据样本将作为数据压缩特征值存储到历史数据缓存区的队列之外,如果数据压缩缓存区内的数据样本值超过设定死区±δ时,超出死区±δ时的最大或最小值样本及与其对应的时间戳将作为数据压缩特征值存储到历史数据缓存区的队列中;如果无数据样本值超过死区±δ时,仅初始数据样本作为数据压缩特征值;
步骤18.当压缩模式参数C=2时,为滤波模式:除初始数据样本将作为数据压缩特征值存储到历史数据缓存区的队列之外,数据压缩缓存区内所有数据样本的算术平均值将以压缩缓存时间片ΔT的中位时间戳作为数据压缩特征值存储到历史数据缓存区的队列中。
CN201210020450.8A 2012-01-29 2012-01-29 一种实时历史数据动态无损压缩方法 Active CN102611454B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210020450.8A CN102611454B (zh) 2012-01-29 2012-01-29 一种实时历史数据动态无损压缩方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210020450.8A CN102611454B (zh) 2012-01-29 2012-01-29 一种实时历史数据动态无损压缩方法

Publications (2)

Publication Number Publication Date
CN102611454A CN102611454A (zh) 2012-07-25
CN102611454B true CN102611454B (zh) 2014-12-24

Family

ID=46528643

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210020450.8A Active CN102611454B (zh) 2012-01-29 2012-01-29 一种实时历史数据动态无损压缩方法

Country Status (1)

Country Link
CN (1) CN102611454B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831245B (zh) * 2012-09-17 2015-08-05 洛阳翔霏机电科技有限责任公司 一种关系型数据库的实时数据存储和读取方法
CN103198157B (zh) * 2013-04-28 2016-02-03 南京信息工程大学 一种大地电场数据的压缩存储处理方法
CN104216814B (zh) * 2014-09-22 2017-01-18 北京国双科技有限公司 一种日志压缩监控方法及装置
CN104408064A (zh) * 2014-10-29 2015-03-11 中国建设银行股份有限公司 一种数据存储方法及装置
CN106372181B (zh) * 2016-08-31 2019-08-06 东北大学 一种基于工业过程的大数据压缩方法
CN106569750A (zh) * 2016-11-09 2017-04-19 郑州云海信息技术有限公司 一种数据压缩方法及装置
CN106681659A (zh) * 2016-12-16 2017-05-17 郑州云海信息技术有限公司 数据压缩的方法及装置
CN108052599A (zh) * 2017-12-12 2018-05-18 清华大学 一种支持特征查询的时序数据存储的方法和装置
CN108628968B (zh) * 2018-04-24 2022-06-21 哈尔滨汽轮机厂有限责任公司 一种汽轮机测点历史数据库建立方法
CN108629029B (zh) * 2018-05-09 2021-06-29 北京京东尚科信息技术有限公司 一种应用于数据仓库的数据处理方法和装置
CN111240594A (zh) * 2020-01-09 2020-06-05 深圳市东深电子股份有限公司 一种基于水利rtu的加密压缩数据存储方法
CN111309690B (zh) * 2020-02-05 2022-10-21 吉林大学 一种数控机床g代码数据无损压缩方法
CN112269769B (zh) * 2020-11-18 2023-12-05 远景智能国际私人投资有限公司 数据压缩方法、装置、计算机设备及存储介质
CN113258933B (zh) * 2021-05-28 2022-09-16 山西阳光三极科技股份有限公司 多区间自适应旋转门算法
CN114546270B (zh) * 2022-02-15 2024-02-09 杭州隆埠科技有限公司 数据存储方法、装置及电子设备
CN115034735B (zh) * 2022-04-13 2024-07-05 成都秦川物联网科技股份有限公司 天然气能量计量图像数据分级管理物联网系统和方法
CN114726379B (zh) * 2022-06-13 2022-09-13 西安热工研究院有限公司 基于时序数据库样本存储特征的自适应压缩方法及系统
CN115391355B (zh) * 2022-10-26 2023-01-17 本原数据(北京)信息技术有限公司 数据处理方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1786939A (zh) * 2005-11-10 2006-06-14 浙江中控技术有限公司 实时数据压缩方法
CN100435136C (zh) * 2006-06-21 2008-11-19 浙江中控软件技术有限公司 一种基于最小二乘线性拟合的实时数据压缩方法
CN101807925A (zh) * 2010-02-08 2010-08-18 南京朗坤软件有限公司 一种基于数值排序线性拟合的历史数据压缩方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007040675A1 (de) * 2006-11-13 2008-05-15 Abb Technology Ag System und Verfahren zur verlustfreien Verarbeitung von Prozesswerten einer technischen Anlage oder eines technischen Prozesses

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1786939A (zh) * 2005-11-10 2006-06-14 浙江中控技术有限公司 实时数据压缩方法
CN100435136C (zh) * 2006-06-21 2008-11-19 浙江中控软件技术有限公司 一种基于最小二乘线性拟合的实时数据压缩方法
CN101807925A (zh) * 2010-02-08 2010-08-18 南京朗坤软件有限公司 一种基于数值排序线性拟合的历史数据压缩方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
数据压缩技术在实时数据库中的应用研究;黄文君等;《仪器仪表学报》;20060630;第27卷(第6期);第911-914页 *

Also Published As

Publication number Publication date
CN102611454A (zh) 2012-07-25

Similar Documents

Publication Publication Date Title
CN102611454B (zh) 一种实时历史数据动态无损压缩方法
CN100435136C (zh) 一种基于最小二乘线性拟合的实时数据压缩方法
CN102510287B (zh) 一种工业实时数据的快速压缩方法
CN102437854B (zh) 一种高压缩比的工业实时数据压缩方法
CN106909101A (zh) 一种非侵入式家用电器分类装置及方法
CN103185837B (zh) 一种电力系统频率测量的方法
CN104682962A (zh) 一种海量燃气数据的压缩方法
CN104636240B (zh) 一种信息报表的获取方法及终端
CN108667463B (zh) 监测数据压缩方法
CN104102749A (zh) 终端设备
CN105353695A (zh) 一种反馈型事件驱动式模拟信号变频采集电路和集采方法
JP6032486B2 (ja) 電力管理システム、電力管理方法
CN103941116A (zh) 故障录波指示器的数据压缩方法
CN103198157B (zh) 一种大地电场数据的压缩存储处理方法
CN107835025A (zh) 一种电力负荷历史数据自适应压缩方法和系统
WO2018036290A1 (zh) 一种数据压缩方法及终端
CN105955673A (zh) 一种能耗监测数据的过滤方法
CN112667582A (zh) 一种用于工业实时数据库的数据压缩方法
CN106533840B (zh) 网控器呼损率和信道利用值数据采集统计的方法及系统
CN101751389A (zh) 变压器稳态录波数据检索方法
CN108347474A (zh) 机械设备的状态数据压缩方法、装置及机械设备
CN111585544A (zh) 一种功率信号脉冲噪声滤除的方法及滤波器
CN118467935B (zh) 一种电机数据消噪方法及系统
CN118410284B (zh) 一种电机数据清洗方法及系统
CN117453644B (zh) 一种面向电力行业实时数据库系统的负载均衡管理方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant