CN112965976A - 一种电磁能系统业务时序数据压缩方法、非暂态可读记录媒体及数据处理装置 - Google Patents
一种电磁能系统业务时序数据压缩方法、非暂态可读记录媒体及数据处理装置 Download PDFInfo
- Publication number
- CN112965976A CN112965976A CN202110219974.9A CN202110219974A CN112965976A CN 112965976 A CN112965976 A CN 112965976A CN 202110219974 A CN202110219974 A CN 202110219974A CN 112965976 A CN112965976 A CN 112965976A
- Authority
- CN
- China
- Prior art keywords
- data
- compression
- electromagnetic energy
- time sequence
- energy system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013144 data compression Methods 0.000 title claims abstract description 53
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012545 processing Methods 0.000 title claims abstract description 40
- 230000001052 transient effect Effects 0.000 title abstract description 5
- 230000006835 compression Effects 0.000 claims abstract description 83
- 238000005259 measurement Methods 0.000 claims abstract description 83
- 238000007906 compression Methods 0.000 claims abstract description 82
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 30
- 230000003068 static effect Effects 0.000 claims abstract description 14
- XOFYZVNMUHMLCC-ZPOLXVRWSA-N prednisone Chemical compound O=C1C=C[C@]2(C)[C@H]3C(=O)C[C@](C)([C@@](CC4)(O)C(=O)CO)[C@@H]4[C@@H]3CCC2=C1 XOFYZVNMUHMLCC-ZPOLXVRWSA-N 0.000 claims description 37
- 230000006837 decompression Effects 0.000 claims description 24
- 238000003860 storage Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 7
- 230000002688 persistence Effects 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000012423 maintenance Methods 0.000 claims description 3
- 230000000737 periodic effect Effects 0.000 claims description 3
- 230000003247 decreasing effect Effects 0.000 claims 1
- 230000007774 longterm Effects 0.000 description 6
- 230000002085 persistent effect Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 238000011084 recovery Methods 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 3
- 206010063385 Intellectualisation Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2291—User-Defined Types; Storage management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24552—Database cache management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2474—Sequence data queries, e.g. querying versioned data
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/3059—Digital compression and data reduction techniques where the original information is represented by a subset or similar information, e.g. lossy compression
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Mathematical Physics (AREA)
- Fuzzy Systems (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明属于电磁能技术领域，公开了一种电磁能系统业务时序数据压缩方法，包括：采集原始量测数据；划分为动态量测数据部分和静态标签属性数据，分别申请内存空间，生成测点量测值时间序列及时序元数据；读取内存缓存中测点时序动态数据，结合实际电磁能系统业务场景预设的时效性阈值，利用误差反馈对压缩偏差进行动态调整，并对时序数据压缩处理；将压缩后的时序数据进行存储，生成电磁能系统业务历史数据。本发明还提供了一种存储了电磁能系统业务时序数据压缩程序的非暂态可读记录媒体及包含该媒体的装置，通过处理电路可以调用该压缩程序，以执行电磁能系统业务时序数据压缩方法，用于解决电磁能数据压缩不同场景算法精度控制不通用的问题。
Description
技术领域
本发明属于电磁能技术领域，具体公开了一种电磁能系统业务时序数据压缩方法、非暂态可读记录媒体及数据处理装置。
背景技术
电磁能系统即为电磁能信息物理系统简称，主要指多电磁发射装置和综合电力系统。其中，多种电磁发射装置中技术较为成熟的主要有电磁弹射、电磁轨道炮、电磁阻拦等；而综合电力系统主要指舰船中压直流综合电力系统，能够实现舰船中相互独立的动力和电力两大系统合二为一，被誉为舰船动力新革命。
当前，随着工业数字化、信息化及智能化发展趋势，电磁能系统传感器数量及精度急剧增长，产生的数据量爆发式增长。时间序列数据，即时序数据，是工业数据主要类型，通常由设备传感器按照特定频率产生，且后续均无需修改，多用于特定时间尺度下分析性查询。电磁能时序数据作为电磁能系统大数据场景中主体数据资源，是实现数据驱动的电磁能系统信息业务智能化的重要基础支撑。所以，在保障电磁能系统业务时效性前提下，将海量电磁能时序数据进行高效压缩并实现快速持久化，是积累电磁能时序大数据资源有效技术途径。
目前，不少工业时序数据压缩处理基于旋转门压缩算法(Spinning DoorTransformation，SDT)实现。其中，旋转门算法的压缩偏差ΔE作为唯一的可控参数，决定了两扇门达到平行时所能容纳的精度范围，对于算法的压缩性能影响较大。由于电磁能系统各型系统的数据特性各异，不同业务的数据处理时效性需求区别明显，从而数据压缩过程中所需要设置不同的ΔE。然而，SDT算法数据压缩过程需要提前预设ΔE值，而具体业务相适配的ΔE值给定通常依赖长时间的调优和长期经验积累；同时，SDT算法在提供高压缩比时削弱了数据精度对于数据压缩的影响权重，会在不同程度造成数据解压缩之后的数据精度损失；此外，其他数据存储技术中很多运用通用数据压缩算法通常并不考虑业务应用特性，难以直接适用电磁能时序数据高效压缩处理。从而，在电磁能实时数据高效压缩及快速持久化存储过程中，压缩算法在保证数据压缩精度前提下，根据业务时效性等性能需求对压缩偏差ΔE进行动态调整是目前亟需解决的问题。
发明内容
为了解决已有旋转门SDT算法在电磁能时序数据压缩处理中的不足，本发明提供一种克服上述问题或者至少部分地解决上述问题的一种电磁能系统业务时序数据压缩方法，能够在不同业务时效性需求下提高时序数据压缩效率或降低数据精度损失。
一方面本发明提供了一种电磁能系统业务时序数据压缩方法，包括以下步骤：
S1，按电磁能系统现场设备测点集获取周期性上传的原始量测数据，原始量测数据包括每型设备所属分系统或装置区域及编号、数据帧或数据包编号、量测时间戳与量测数据值；
S2，将全空间原始量测数据按每类设备测点集划分为动态量测数据部分和静态标签属性数据部分，分别申请内存空间，根据时间戳生成测点量测值时间序列，并构建相对应的时序元数据；
S3，读取内存缓存中测点时序数据(仅动态数据部分)，结合实际电磁能系统业务场景预设的时效性阈值，在常规时序数据压缩中运用的旋转门算法上，利用误差反馈对压缩偏差ΔE进行动态调整，完成对需要持久化存储的时序数据压缩处理；
S4，将压缩后的时序数据进行持久化存储，生成电磁能系统业务历史数据，该持久化存储的数据能通过解压方式恢复。
优选的，步骤S2包括：
将所述原始量测数据进行解析划分为动态量测数据部分和静态标签属性数据部分，并作为内存缓存原始数据输入；
在内存键值数据库分别给原始量测数据动态和静态数据申请内存空间，根据时间戳生成测点量测值时间序列缓存，并构建相对应的时序元数据缓存；
将所述内存键值数据库提供的各类型程序编程接口与电磁能系统业务软件开发平台进行封装适配。
优选的，步骤S3包括：
预定义待压缩数据为y_1～y_n，经过数据压缩之后数据的个数为m(m≤n，其中n为完整时序数据个数)，解压缩重构后的数据为y～_1～y～_n，算法压缩偏差的调整参数为F_adj，数据解压缩实际误差与期望误差之间偏差的调整参数为α，压缩参数的上下限阈值为E_max和E_min，实施数据压缩处理步骤可具体细化为：
①在对当前周期的测点量测时序y_1～y_n进行数据压缩之前，首先进行压缩参数的初始化，压缩偏差的上下限阈值E_max和E_min，以及控制系统模型参数F_adj和α可以依据电磁能系统业务运维长期经验预先设定，可针对其他具体业务场景进行重新调优预设。
②定义T为压缩算法的所允许的最大时间间隔，从待压缩中取出一点y_i (1≤i≤n)，若该点与上一存储点的时间间隔大于等于T，则将前一个数据点y_(i -1)直接存储，不需要再进行旋转门分析，并将y_(i-1)作为新的数据压缩起点，否则进行下一步骤的旋转门压缩。
③计算数据点y_i(1≤i≤n)处旋转门两扇门的斜率k_up和k_down，其中 k_up为上斜率的最大值，k_down为下斜率的最小值。如果两扇门之间已经平行，或者说k_up≥k_down，则将前一数据点y_(i-1)进行存储，并将其作为新的压缩起始点，否则该数据点y_i被舍弃。
④检验待压缩数据是否压缩完毕，若压缩完毕进行下一步操作，否则返回第②步，对下一数据点y_(i+1)进行相同压缩操作。
⑤待压缩数据压缩完毕后，通过解压缩算法对数据进行恢复重构，解压缩之后的数据为y～_1～y～_n，由此可以计算出数据真实值与解压缩值之间的平均绝对误差MAE，与期望误差δ作差，得到两者之间的差值ε。
⑥根据差值ε情况，对压缩偏差ΔE做出动态调整：
当0≤ε<δ·α时，说明数据偏差ε在可容许的误差范围内，ΔE选取比较合适，不需要做出调整；
当ε≥δ·α时，说明数据偏差ε偏大，所计算获得的平均压缩误差MAE偏小，ΔE偏小，存储了较多原始数据，应在压缩偏差上限阈值E_max范围内适当扩大ΔE，
ΔE＝min{ΔE+|ε/(δ·α)|·F_adj，E_max}
当-δ·α<ε<0时，说明数据偏差ε偏小，所计算获得的平均压缩误差MAE偏大，ΔE偏大，舍弃了较多的原始数据，影响了压缩数据的精确度应在压缩偏差下限阈值E_min范围内适当减小ΔE，
ΔE＝max{ΔE-|ε/(δ·α)|·F_adj，E_min}
当ε不属于以上情况时，说明解压缩之后的数据已经严重失真，应直接返回第①步，对初始参数进行重新设置，再进行数据压缩处理。
⑦对压缩偏差ΔE进行动态调整后，返回第②步用新的ΔE进行数据压缩处理，通过不断迭代直至偏差ε在误差容许内，完成数据压缩。
进一步的，步骤S3细分步骤②中旋转门压缩包括：
定义Y_0为第一个压缩段的第一个数据，在距离Y_0为ΔE(压缩偏差)的坐标处各有两个支点，上面的支点与数据点Y_0连线构成上斜率k_up，下面的支点与数据点Y_0连线构成下斜率k_down；
当只有一个数据点时，上下支点与数据点Y_0在一条直线上，表示旋转门关闭；
随着数据点的增多，门会逐渐打开，门的长度可以延伸，k_up、k_down 也在发生变化，保持k_up为最大斜率，k_down为最小斜率；
门一旦打开就不能关闭，只要两扇门的内角和不超过180°，即k_up≠ k_down时，旋转操作就可以继续；
当两扇门内角和大于或等于180°时，就停止操作，存储前一数据点，并将该点作为下一段旋转门数据压缩操作的起始点。
优选的，步骤S4包括：
将压缩后的时序数据写回内存键值数据库形成待持久化触发的内存历史时序数据缓存，并将内存历史时序数据在新创建键值数据库实例中缓存；
这样，当内存键值数据库预设持久化策略触发器触发时能进行内存历史时序数据持久化存储，生成电磁能系统业务历史数据；
通过所述时序元数据缓存按给定时间尺度能查询电磁能系统业务历史数据；
可基于线性插值方法进行数据解压缩恢复，并利用所述内存键值数据库快速重构为历史时序数据内存缓存。
本发明的另一方案在于提供一种非暂态可读记录媒体，用以存储包含多个指令的一个或多个程序，当执行指令时，将致使处理电路执行所述一种电磁能系统业务时序数据压缩方法之S1-S4步骤。
本发明的又一方案在于提供一种数据处理装置，包括处理电路及与其电性耦接的存储器，其特征在于，所述存储器配置储存至少一程序，所述程序包含多个指令，所述处理电路运行所述程序，能执行所述一种电磁能系统业务时序数据压缩方法之S1-S4步骤。
相对于现有技术，本发明具有以下有益效果：
本发明提供的一种电磁能系统业务时序数据压缩方法在旋转门压缩算法基础上，通过负反馈对压缩偏差ΔE进行动态调整，有效降低压缩偏差ΔE设置难度，无需依赖长时间调优和长期经验积累，能够在不同业务时效性需求下提高时序数据压缩效率或降低数据精度损失，在保持数据精度的同时平衡高压缩比，在通用数据压缩算法基础上进一步结合电磁能系统业务应用特性，可满足电磁能时序数据高效压缩处理，适用于业务应用时效性需求较高，而算力、存储等计算资源相对受限的电磁能装置信息系统终端生产环境。当然，将该方法编制成程序并拷贝至非暂态可读记录媒体或数据处理装置中投入使用，也能获得等同的有益效果。
附图说明
图1为本发明实施例中一种电磁能系统业务时序数据压缩方法的流程图；
图2为本发明实施例中基于偏差反馈的旋转门压缩算法流程图；
图3为本发明实施例中旋转门压缩算法原理示意图；
图4为本发明实施例提供的一种电磁能系统业务时序数据压缩系统的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述，所描述的实施例是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创新劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的一种电磁能系统业务时序数据压缩方法的流程图，如图1所示，所述方法包括：S1，按电磁能系统现场设备测点集获取周期性上传的原始量测数据，原始量测数据包括每型设备所属分系统或装置区域及编号、数据帧或数据包编号、量测时间戳与量测数据值；S2，将全空间原始量测数据按每类设备测点集划分为动态量测数据部分和静态标签属性数据部分，分别申请内存空间，根据时间戳生成测点量测值时间序列，并构建相对应的时序元数据；S3，读取内存缓存中测点时序数据中动态数据部分，结合实际电磁能系统业务场景预设的时效性阈值，在常规时序数据压缩中运用的旋转门算法上，利用误差反馈对压缩偏差ΔE进行动态调整，完成对需要持久化存储的时序数据压缩处理；S4，将压缩后的时序数据进行持久化存储，生成电磁能系统业务历史数据，并能在历史数据分析等应用场景中采用线性插值方法进行数据解压缩恢复。
在步骤S1中，所述原始量测数据主要为从电磁能系统各型设备中传感器周期性采集并通过现场总线CAN、EIP等传输到电磁能装置信息系统上位机的实时数据。所述周期性采集指以频率范围为1-10Hz较低频率采集原始量测数据。
在步骤S3中，内存缓存基于内存键值数据库Redis构建，且进行分布式远多系统实例部署，可按实际电磁能系统业务测点集需求，即某型系统全测点集命名空间特定子集(含全集)，从内存键值数据库中获取该业务当前周期量测值键值对序列。
在步骤S4中，数据解压缩采用的线性插值方法，通常由存储的数据点之间的两点连线来表示两点之间任意时刻的解压值。若设y_0、y_k为连续存储的两个数据点，t_0、t_k为其所对应的时间，则它们之间的任意时刻t_i所对应的解压缩值y～_i都可以用〖y～_i＝y〗_0+(y_k-y_0)/(t_k-t_0)·(t_i-t_0)来表示。
本发明实施例提供的一种电磁能系统业务时序数据压缩方法，在旋转门压缩算法基础上，通过负反馈对压缩偏差ΔE进行动态调整，有效降低压缩偏差ΔE设置难度，无需依赖长时间调优和长期经验积累，能够在不同业务时效性需求下提高时序数据压缩效率或降低数据精度损失，在保持数据精度的同时平衡高压缩比，在通用数据压缩算法基础上进一步结合电磁能系统业务应用特性，可满足电磁能时序数据高效压缩处理，适用于业务应用时效性需求较高，而算力、存储等计算资源相对受限的电磁能装置信息系统终端生产环境。
基于上述实施例，步骤S2具体包括：
将所述原始量测数据进行解析划分为动态量测数据部分和静态标签属性数据部分，并作为内存缓存原始数据输入；
在内存键值数据库Redis分别给原始量测数据动态和静态数据申请内存空间，根据时间戳生成测点量测值时间序列缓存，并构建相对应的时序元数据缓存；
将所述内存键值数据库提供的C/C++、Python及Java等程序编程接口与电磁能系统业务软件开发平台进行封装适配，实现与基于消息中间件的业务软件通用数据总线统一集成对接。
基于上述实施例，步骤S3具体包括：
预定义待压缩数据为y_1～y_n，经过数据压缩之后数据的个数为m(m≤n，其中n为完整时序数据个数)，解压缩重构后的数据为y～_1～y～_n，算法压缩偏差的调整参数为F_adj，数据解压缩实际误差与期望误差之间偏差的调整参数为α，压缩参数的上下限阈值为E_max和E_min。
图2为本发明实施例中基于偏差反馈的旋转门压缩算法流程，实施数据压缩处理步骤具体包括：
①在对当前周期的测点量测时序y_1～y_n进行数据压缩之前，首先进行压缩参数的初始化，压缩偏差的上下限阈值E_max和E_min，以及控制系统模型参数F_adj和α可以依据电磁能系统业务运维长期经验预先设定，可预设 E_max和E_min分别为0.6和0.1，ΔE＝(E_max+E_min)/2，F_adj＝(E_max -E_min)/10，α＝0.2，可针对其他具体业务场景进行重新调优预设。
②定义T为压缩算法的所允许的最大时间间隔，从待压缩中取出一点y_i (1≤i≤n)，若该点与上一存储点的时间间隔大于等于T，则将前一个数据点y_(i -1)直接存储，不需要再进行旋转门分析，并将y_(i-1)作为新的数据压缩起点，否则进行下一步骤的旋转门压缩。
具体地，如图3所示，本发明实施例中旋转门压缩算法流程具体包括：
定义Y_0为第一个压缩段的第一个数据，在距离Y_0为ΔE(压缩偏差)的坐标处各有两个支点，上面的支点与数据点Y_0连线构成上斜率k_up，下面的支点与数据点Y_0连线构成下斜率k_down；
当只有一个数据点时，上下支点与数据点Y_0在一条直线上，表示旋转门关闭；
随着数据点的增多，门会逐渐打开，门的长度可以延伸，k_up、k_down 也在发生变化，保持k_up为最大斜率，k_down为最小斜率；
门一旦打开就不能关闭，只要两扇门的内角和不超过180°，即k_up≠ k_down时，旋转操作就可以继续；
当两扇门内角和大于或等于180°时，就停止操作，存储前一数据点，并将该点作为下一段旋转门数据压缩操作的起始点。
③计算数据点y_i(1≤i≤n)处旋转门两扇门的斜率k_up和k_down，其中 k_up为上斜率的最大值，k_down为下斜率的最小值。如果两扇门之间已经平行，或者说k_up≥k_down，则将前一数据点y_(i-1)进行存储，并将其作为新的压缩起始点，否则该数据点y_i被舍弃。
④检验待压缩数据是否压缩完毕，若压缩完毕进行下一步操作，否则返回第②步，对下一数据点y_(i+1)进行相同压缩操作。
⑤待压缩数据压缩完毕后，通过解压缩算法对数据进行恢复重构，解压缩之后的数据为y～_1～y～_n，由此可以计算出数据真实值与解压缩值之间的平均绝对误差MAE，与期望误差δ作差，得到两者之间的差值ε。
⑥根据差值ε情况，对压缩偏差ΔE做出动态调整：
当0≤ε<δ·α时，说明数据偏差ε在可容许的误差范围内，ΔE选取比较合适，不需要做出调整；
当ε≥δ·α时，说明数据偏差ε偏大，所计算获得的平均压缩误差MAE偏小，ΔE偏小，存储了较多原始数据，应在压缩偏差上限阈值E_max范围内适当扩大ΔE，
ΔE＝min{ΔE+|ε/(δ·α)|·F_adj，E_max}
当-δ·α<ε<0时，说明数据偏差ε偏小，所计算获得的平均压缩误差MAE偏大，ΔE偏大，舍弃了较多的原始数据，影响了压缩数据的精确度应在压缩偏差下限阈值E_min范围内适当减小ΔE，
ΔE＝max{ΔE-|ε/(δ·α)|·F_adj，E_min}
当ε不属于以上情况时，说明解压缩之后的数据已经严重失真，应直接返回第①步，对初始参数进行重新设置，再进行数据压缩处理。
⑦对压缩偏差ΔE进行动态调整后，返回第②步用新的ΔE进行数据压缩处理，通过不断迭代直至偏差ε在误差容许内，完成数据压缩。
本发明提供的一种包括处理电路及与其电性耦接有存储器的数据处理装置，可以是如图4所示的一种结合电磁能系统业务时效性的内存时序数据压缩系统，所述系统包括：输入模块1，缓存模块2、压缩模块3和解压模块4。其中：
输入模块1，用于获取现场设备原始量测数据，并将所述原始量测数据按每类设备测点集划分为动态量测数据部分和静态标签属性数据部分；其中，所述设备测点集为电磁能系统实时监测、状态估计、故障诊断及能量调度等业务需求的系统电气量、现场环境等输入参数，且数据源包括实时仿真、演示验证及工程初正样等形式搭建的电磁能系统产生的传感数据。
缓存模块2，用于利用内存键值数据库分别给原始量测数据动态和静态数据申请内存空间，根据时间戳生成测点量测值时间序列缓存，并构建相对应的时序元数据缓存；其中，所述内存键值数据库提供电磁能系统业务各类型程序编程接口，可对内存键值数据库中时序缓存进行读写访问。
压缩模块3，用于利用所述内存缓存读取到的量测值时序数据，在常规旋转门压缩处理流程上，利用所述误差反馈对压缩偏差ΔE进行动态调整方式，完成与电磁能系统业务时效性与数据精度损失相适应的数据压缩处理。
解压模块4，用于利用所述时序元数据缓存按给定时间尺度查询电磁能系统业务历史数据，基于线性插值方法进行数据解压缩恢复，并利用所述内存键值数据库快速重构为历史时序数据内存缓存。
本发明提供的一种包括处理电路及与其电性耦接有存储器的数据处理装置，也可以是一种配置有计算机程序的产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机能够执行上述各方法实施例所提供的方法，例如包括：按电磁能系统现场设备测点集获取周期性上传的原始量测数据，原始量测数据包括每型设备所属分系统或装置区域及编号、数据帧或数据包编号、量测时间戳与量测数据值；将全空间原始量测数据按每类设备测点集划分为动态量测数据部分和静态标签属性数据部分，分别申请内存空间，根据时间戳生成测点量测值时间序列，并构建相对应的时序元数据；读取内存缓存中测点时序数据中动态数据部分，结合实际电磁能系统业务场景预设的时效性阈值，在常规时序数据压缩中运用的旋转门算法上，利用误差反馈对压缩偏差ΔE进行动态调整，完成对需要持久化存储的时序数据压缩处理；将压缩后的时序数据进行持久化存储，生成电磁能系统业务历史数据，并在历史数据分析等应用场景中采用线性插值方法进行数据解压缩恢复。
本发明还可以是一种非暂态计算机可读记录媒体，所述非暂态计算机可读记录媒体存储计算机指令，所述计算机指令使所述计算机能够执行上述各方法实施例所提供的方法，例如包括：按电磁能系统现场设备测点集获取周期性上传的原始量测数据，原始量测数据包括每型设备所属分系统或装置区域及编号、数据帧或数据包编号、量测时间戳与量测数据值；将全空间原始量测数据按每类设备测点集划分为动态量测数据部分和静态标签属性数据部分，分别申请内存空间，根据时间戳生成测点量测值时间序列，并构建相对应的时序元数据；读取内存缓存中测点时序数据中动态数据部分，结合实际电磁能系统业务场景预设的时效性阈值，在常规时序数据压缩中运用的旋转门算法上，利用误差反馈对压缩偏差ΔE进行动态调整，完成对需要持久化存储的时序数据压缩处理；将压缩后的时序数据进行持久化存储，生成电磁能系统业务历史数据，并在历史数据分析等应用场景中采用线性插值方法进行数据解压缩恢复。
本领域技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在计算设备可读存储介质中，该程序在执行时，运行包括上述方法实施例的步骤。
通过以上实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可通过软件编程加上通用计算机硬件设备方式来实现，也可以全部通过硬件实现。基于该理解，上述技术方案对现有技术贡献的内容可以通过软件产品的形式实现，改软件产品可以存储在计算设备可读介质中，例如硬盘、光盘等，包含若干指令用来让一台计算设备执行实施例或其中部分方法。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种电磁能系统业务时序数据压缩方法，其特征在于包括以下步骤：
S1，按电磁能系统现场设备测点集获取周期性上传的时序原始量测数据，原始量测数据包括每型设备所属分系统或装置区域及编号、数据帧或数据包编号、量测时间戳与量测数据值；
S2，将全空间原始量测数据按每类设备测点集划分为动态量测数据部分和静态标签属性数据部分，分别申请内存空间，根据时间戳生成测点量测值时间序列，并构建相对应的时序元数据；
S3，读取内存缓存中测点动态量测数据，结合实际电磁能系统业务场景预设的时效性阈值，运用旋转门算法，通过误差反馈对压缩偏差ΔE进行动态调整，完成对需要持久化存储的时序数据压缩处理；
S4，将压缩后的时序数据进行持久化存储，生成电磁能系统业务历史数据，该持久化存储的数据能通过解压方式恢复。
2.根据权利要求1所述的一种电磁能系统业务时序数据压缩方法，其特征在于，S1中传感器采集原始量测数据频率范围为1-10Hz。
3.根据权利要求1所述的一种电磁能系统业务时序数据压缩方法，其特征在于，S3中内存缓存基于内存键值数据库构建，且具备分布式远程数据服务能力，可按预定电磁能系统业务测点集合，从内存键值数据库中获取该业务当前周期量测值键值对序列。
4.根据权利要求1所述的一种电磁能系统业务时序数据压缩方法，其特征在于，S3中压缩偏差ΔE可动态调整，设待压缩数据为y_1～y_n，经过数据压缩之后数据的个数为m，且m≤完整时序数据个数，解压缩重构后的数据为y～_1～y～_n，算法压缩偏差的调整参数为F_adj，数据解压缩实际误差与期望误差之间偏差的调整参数为α，压缩参数的上下限阈值为E_max和E_min，从而S3可具体细分为以下步骤：
①在对当前周期的测点量测时序的所述y_1～y_n进行数据压缩之前，首先进行压缩参数的初始化，依据电磁能系统业务运维往期经验值预先设定所述E_max和E_min、F_adj及α。
②设T为压缩算法的所允许的最大时间间隔，从待压缩中取出一点y_i(1≤i≤n)，若该点与上一存储点的时间间隔大于等于T，则将前一个数据点y_(i-1)直接存储，不需要再进行旋转门分析，并将y_(i-1)作为新的数据压缩起点，否则进行下一步骤的旋转门压缩。
③计算数据点y_i(1≤i≤n)处旋转门两扇门的斜率k_up和k_down，其中k_up为上斜率的最大值，k_down为下斜率的最小值。如果两扇门之间已经平行，或者说k_up≥k_down，则将前一数据点y_(i-1)进行存储，并将其作为新的压缩起始点，否则该数据点y_i被舍弃。
④检验待压缩数据是否压缩完毕，若压缩完毕进行下一步操作，否则返回第②步，对下一数据点y_(i+1)进行相同压缩操作。
⑤待压缩数据压缩完毕后，通过解压缩算法对数据进行恢复重构，解压缩之后的数据为y～_1～y～_n，由此可以计算出数据真实值与解压缩值之间的平均绝对误差MAE，与期望误差δ作差，得到两者之间的差值ε。
⑥根据差值ε情况，对压缩偏差ΔE做出动态调整：
当0≤ε<δ·α时，不做调整；
当ε≥δ·α时，在压缩偏差上限阈值E_max范围内扩大ΔE；
当-δ·α<ε<0时，在压缩偏差下限阈值E_min范围内减小ΔE；
当ε不属于以上情况时，说明解压缩之后的数据已经严重失真，应直接返回第①步，对初始参数进行重新设置，再进行数据压缩处理。
⑦对压缩偏差ΔE进行动态调整后，返回第②步用新的ΔE进行数据压缩处理，通过不断迭代直至偏差ε在误差容许内，完成数据压缩。
5.根据权利要求1所述的一种电磁能系统业务时序数据压缩方法，其特征在于，S4中数据解压缩采用的线性插值方法，通常由存储的数据点之间的两点连线来表示两点之间任意时刻的解压值。
6.一种非暂态可读记录媒体，用以存储包含多个指令的一个或多个程序，其特征在于，当执行指令时，将致使处理电路执行权利要求1-5中任一项所述的一种电磁能系统业务时序数据压缩方法。
7.一种数据处理装置，包括处理电路及与其电性耦接的存储器，其特征在于，所述存储器配置储存至少一程序，所述程序包含多个指令，所述处理电路运行所述程序，能执行权利要求1-5中任一项所述的一种电磁能系统业务时序数据压缩方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110219974.9A CN112965976A (zh) | 2021-02-26 | 2021-02-26 | 一种电磁能系统业务时序数据压缩方法、非暂态可读记录媒体及数据处理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110219974.9A CN112965976A (zh) | 2021-02-26 | 2021-02-26 | 一种电磁能系统业务时序数据压缩方法、非暂态可读记录媒体及数据处理装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112965976A true CN112965976A (zh) | 2021-06-15 |
Family
ID=76275903
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110219974.9A Pending CN112965976A (zh) | 2021-02-26 | 2021-02-26 | 一种电磁能系统业务时序数据压缩方法、非暂态可读记录媒体及数据处理装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112965976A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113408829A (zh) * | 2021-08-19 | 2021-09-17 | 南通倍佳机械科技有限公司 | 基于大数据分析的危险区域设备数据压缩方法及系统 |
| CN114640355A (zh) * | 2022-03-30 | 2022-06-17 | 北京诺司时空科技有限公司 | 时序数据库的有损压缩及解压缩方法、系统、存储介质、设备 |
| CN114679184A (zh) * | 2022-04-11 | 2022-06-28 | 哈尔滨工业大学 | 一种时序数据库的数据压缩方法及系统 |
| CN114726379A (zh) * | 2022-06-13 | 2022-07-08 | 西安热工研究院有限公司 | 基于时序数据库样本存储特征的自适应压缩方法及系统 |
| CN114969060A (zh) * | 2022-08-01 | 2022-08-30 | 浙江木链物联网科技有限公司 | 一种工业设备时序数据压缩存储方法、装置 |
| CN117131035A (zh) * | 2023-10-24 | 2023-11-28 | 山东尚儒弘毅精细化工有限公司 | 一种化工染料生产数据智能储存方法及系统 |
| WO2024036811A1 (zh) * | 2022-08-16 | 2024-02-22 | 浙江中控技术股份有限公司 | 一种工业数据存储缓存的方法、装置及相关产品 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104682962A (zh) * | 2015-02-09 | 2015-06-03 | 南京邦耀科技发展有限公司 | 一种海量燃气数据的压缩方法 |
| CN110046202A (zh) * | 2019-03-07 | 2019-07-23 | 中国人民解放军海军工程大学 | 基于内存键值数据库的综合电力系统实时数据管理方法 |
| CN110995275A (zh) * | 2019-11-20 | 2020-04-10 | 安徽省安泰科技股份有限公司 | 一种对于旋转门压缩算法的改进算法 |
-
2021
- 2021-02-26 CN CN202110219974.9A patent/CN112965976A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104682962A (zh) * | 2015-02-09 | 2015-06-03 | 南京邦耀科技发展有限公司 | 一种海量燃气数据的压缩方法 |
| CN110046202A (zh) * | 2019-03-07 | 2019-07-23 | 中国人民解放军海军工程大学 | 基于内存键值数据库的综合电力系统实时数据管理方法 |
| CN110995275A (zh) * | 2019-11-20 | 2020-04-10 | 安徽省安泰科技股份有限公司 | 一种对于旋转门压缩算法的改进算法 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113408829A (zh) * | 2021-08-19 | 2021-09-17 | 南通倍佳机械科技有限公司 | 基于大数据分析的危险区域设备数据压缩方法及系统 |
| CN114640355A (zh) * | 2022-03-30 | 2022-06-17 | 北京诺司时空科技有限公司 | 时序数据库的有损压缩及解压缩方法、系统、存储介质、设备 |
| CN114640355B (zh) * | 2022-03-30 | 2023-04-18 | 北京诺司时空科技有限公司 | 时序数据库的有损压缩及解压缩方法、系统、存储介质、设备 |
| CN114679184A (zh) * | 2022-04-11 | 2022-06-28 | 哈尔滨工业大学 | 一种时序数据库的数据压缩方法及系统 |
| CN114726379A (zh) * | 2022-06-13 | 2022-07-08 | 西安热工研究院有限公司 | 基于时序数据库样本存储特征的自适应压缩方法及系统 |
| CN114726379B (zh) * | 2022-06-13 | 2022-09-13 | 西安热工研究院有限公司 | 基于时序数据库样本存储特征的自适应压缩方法及系统 |
| CN114969060A (zh) * | 2022-08-01 | 2022-08-30 | 浙江木链物联网科技有限公司 | 一种工业设备时序数据压缩存储方法、装置 |
| CN114969060B (zh) * | 2022-08-01 | 2022-11-04 | 浙江木链物联网科技有限公司 | 一种工业设备时序数据压缩存储方法、装置 |
| WO2024036811A1 (zh) * | 2022-08-16 | 2024-02-22 | 浙江中控技术股份有限公司 | 一种工业数据存储缓存的方法、装置及相关产品 |
| CN117131035A (zh) * | 2023-10-24 | 2023-11-28 | 山东尚儒弘毅精细化工有限公司 | 一种化工染料生产数据智能储存方法及系统 |
| CN117131035B (zh) * | 2023-10-24 | 2024-01-05 | 山东尚儒弘毅精细化工有限公司 | 一种化工染料生产数据智能储存方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112965976A (zh) | 一种电磁能系统业务时序数据压缩方法、非暂态可读记录媒体及数据处理装置 | |
| CN110633277B (zh) | 时序数据存储方法、装置、计算机设备和存储介质 | |
| CN107909227B (zh) | 超短期预测风电场功率的方法、装置及风力发电机组 | |
| CN114285728B (zh) | 一种预测模型训练方法、流量预测方法、装置及存储介质 | |
| EP3871120B1 (en) | Apparatus and method for detecting an anomaly among successive events and computer program product therefor | |
| CN108900619B (zh) | 一种独立访客统计方法及装置 | |
| CN114969060B (zh) | 一种工业设备时序数据压缩存储方法、装置 | |
| CN112380044A (zh) | 数据异常检测方法、装置、计算机设备和存储介质 | |
| CN110602504A (zh) | 一种基于YOLOv2目标检测算法的视频解压缩方法及系统 | |
| CN116502164A (zh) | 基于对抗训练和频域改良自注意力机制的多维时序数据异常检测方法、设备及介质 | |
| CN116976441A (zh) | 设备故障预测模型训练方法、设备故障预测方法和装置 | |
| CN105022833A (zh) | 一种数据处理的方法、节点及监控系统 | |
| KR102575359B1 (ko) | 시계열 데이터 압축 및 복원 방법 | |
| CN111143761A (zh) | 一种基于离散制造设备过程数据的矩阵补全方法 | |
| CN115656747A (zh) | 基于异构数据的变压器缺陷诊断方法、装置和计算机设备 | |
| CN113742393B (zh) | 一种适用于互联网应用的时序数据处理系统 | |
| CN114239854A (zh) | 预测方法、装置和存储介质 | |
| CN112579390A (zh) | 一种基于实时内存tsdb报警的监控数据存储方法和系统 | |
| CN106339588A (zh) | 基于灰色系统理论的加速退化数据离散建模方法 | |
| KR20220028726A (ko) | 열화에 따른 패턴 학습을 이용한 이상 감지 방법 및 그를 위한 장치 | |
| CN112528097A (zh) | 一种在线设备监测数据的历史趋势查询方法及装置 | |
| CN113515684A (zh) | 一种异常数据检测方法及装置 | |
| CN112600944B (zh) | 一种适用于物联网时序数据的差分云存储方法和系统 | |
| CN111723827B (zh) | 基于核字典学习的工业过程监测方法、装置和设备 | |
| Dong et al. | Nocaqf: An efficient nonlinear online data compression algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210615 |
|
| RJ01 | Rejection of invention patent application after publication |