CN111294054B - 一种服务于工业互联数据采集存储的压缩方法 - Google Patents
一种服务于工业互联数据采集存储的压缩方法 Download PDFInfo
- Publication number
- CN111294054B CN111294054B CN202010091060.4A CN202010091060A CN111294054B CN 111294054 B CN111294054 B CN 111294054B CN 202010091060 A CN202010091060 A CN 202010091060A CN 111294054 B CN111294054 B CN 111294054B
- Authority
- CN
- China
- Prior art keywords
- data
- point
- namely
- compression
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种服务于工业互联数据采集存储的压缩方法，属于数据压缩领域，包括以下步骤：S1：在平台定义范围值、范围百分比、最长间隔及最短间隔，S2：根据判断最长间隔——范围计算——判断最短间隔的流程进行分析处理，S3：将上述经过处理流程的数据进行储存。该方法在技术上实现了动态配置，合理地提升压缩命中率，精进特征数据的筛选，将运算量降到最低标准、保证运算效率最高；在经济上实现了资源可控性，根据需求自由配置，将资源使用尽可能降低的同时，兼顾数据的合理性和完整性；在性能上实现了动态适配，通过分布式架构，实现水平扩展，根据不同的数据规模进行动态适配，大大提升采集存储性能。
Description
技术领域
本发明涉及数据压缩领域，具体为一种服务于工业互联数据采集存储的压缩方法。
背景技术
数据压缩基本上是挤压数据使得它占用更少的磁盘存储空间和更短的传输时间。压缩的依据是数字数据中包含大量的重复，它将这些重复信息用占用空间较少的符号或代码来代替，以到达减少容量目的。
CN201610785231.7一种基于工业过程的大数据压缩方法，涉及工业大数据分析技术领域。本发明通过对采集的生产数据按数据块和采集数据项进行压缩，根据采集数据项的类别，对浮点型、布尔型和字符型的采集数据分别进行处理，判定浮点型数值波动范围和比较布尔型、字符型相邻数据的变化来决定需要压缩的保存的数据。本发明既能有效改善工业过程中因时间的增加后采集数据项的数值发生偏移导致压缩结果偏差过大的问题，又能减少压缩后的采集数据项所占空间的大小，提高压缩效率，使工业数据库系统快速、有效地管理数据。
而当前工业数据采集正在向着多通道、高精度、高速高效的处理大容量采集数据的方向发展，而这导致在生产、测试和检测过程中有大量的数据才数据采集系统中产生，为解决大量数据在传输和存储中占用大量资源的问题，需采用数据压缩存储技术。现有的压缩存储技术多是根据固定值来提升压缩比。
但是，现有的压缩方法在平台上进行大规模数据压缩时存在一些缺陷，压缩命中率低，无法保证运算量的动态压缩以及压缩规模有限。
为此，提出一种服务于工业互联数据采集存储的压缩方法。
发明内容
本发明的目的在于提供一种服务于工业互联数据采集存储的压缩方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种服务于工业互联数据采集存储的压缩方法，包括以下步骤：
S1：在平台定义范围值、范围百分比、最长间隔及最短间隔；
S2：根据判断最长间隔——范围计算——判断最短间隔的流程进行分析处理，具体处理流程如下：
A：第一、二条数据进入到处理流中，分别记为起始点和中间点，此时流中数据并未大于2条，不进行计算处理；
起始点为数据处理流里的第一个点，即为point1，点值为起始値，即value1，时间为起始时间戳，即time1；中间点为数据处理流里的第二个点，即为point2，点值为中间値，即value2，时间为中间时间戳，即time2；
B：第三条数据进入到处理流中，记为当前点，此时流中数据大于2条，进行计算处理；
当前点为数据处理流里的第三个点，即为point3，点值为当前値，即value3，时间为当前时间戳，即time3；
C：首先，判断time3与time1相差是否大于最长间隔；
是:直接存储point1,并将其从处理流中清除，point2变为起始点，point3变为中间点，结束；
否:继续执行下面程序；
D：根据偏差值划定范围，判断中间值是否在上下限内；
计算直接偏差值:在上下限内，记为false,不在上下限内，记为true；
计算变化率偏差值:在上下限内，记为false；不在上下限内，记为true；
E：判断两种上下限计算结果；
均为false:将point2从处理流中清除，point1仍为起始点，point3变为中间点，结束；
其中有一个为true:判断time3与time1相差是否大于最短间隔；
是:存储point1,并将其从处理流中清除，point2变为起始点，point3变为中间点，结束；否:将point2从处理流中清除，point1仍为起始点，point3变为中间点，结束；以上逻辑，往复循环；
S3：将上述经过处理流程的数据进行储存。
优选的，在S1中，采用范围值、范围百分比两种压缩方式，以自由选取两种方式，改进压缩命中率低的问题；通过自由配置并组合，亦可提高对特征点的动态命中，实现运算量的动态压缩。
优选的，采用最长间隔与最短间隔，实现针对于某些特定的数据压缩。
优选的，采用分布式架构进行开发，压缩算法实例可以方便的进行水平扩展，形成压缩算法集群，可以根据数据的规模进行压缩。
与现有技术相比，本发明的有益效果是：
1.在技术上实现了动态配置，合理地提升压缩命中率，精进特征数据的筛选，将运算量降到最低标准、保证运算效率最高。
2.在经济上实现了资源可控性，根据需求自由配置，将资源使用尽可能降低的同时，兼顾数据的合理性和完整性。
3.在性能上实现了动态适配，通过分布式架构，实现水平扩展，根据不同的数据规模进行动态适配，大大提升采集存储性能。
附图说明
图1为本发明的整体流程图。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种技术方案：一种服务于工业互联数据采集存储的压缩方法，包括以下步骤：
S1：在平台定义范围值、范围百分比、最长间隔及最短间隔；其中，采用范围值、范围百分比两种压缩方式，以自由选取两种方式，改进压缩命中率低的问题；通过自由配置并组合，亦可提高对特征点的动态命中，实现运算量的动态压缩，采用最长间隔与最短间隔，实现针对于某些特定的数据压缩，采用分布式架构进行开发，压缩算法实例可以方便的进行水平扩展，形成压缩算法集群，可以根据数据的规模进行压缩；
S2：根据判断最长间隔——范围计算——判断最短间隔的流程进行分析处理，具体处理流程如下：
A：第一、二条数据进入到处理流中，分别记为起始点和中间点，此时流中数据并未大于2条，不进行计算处理，其中，起始点为数据处理流里的第一个点，即为point1，点值为起始値，即value1，时间为起始时间戳，即time1；中间点为数据处理流里的第二个点，即为point2，点值为中间値，即value2，时间为中间时间戳，即time2；
B：第三条数据进入到处理流中，记为当前点，此时流中数据大于2条，进行计算处理，其中，当前点为数据处理流里的第三个点，即为point3，点值为当前値，即value3，时间为当前时间戳，即time3；
C：首先，判断time3与time1相差是否大于最长间隔；
是:直接存储point1,并将其从处理流中清除，point2变为起始点，point3变为中间点，结束；
否:继续执行下面程序；
D：根据偏差值划定范围，判断中间值是否在上下限内；
计算直接偏差值:在上下限内，记为false,不在上下限内，记为true；
计算变化率偏差值:在上下限内，记为false；不在上下限内，记为true；
E：判断两种上下限计算结果；
均为false:将point2从处理流中清除，point1仍为起始点，point3变为中间点，结束；
其中有一个为true:判断time3与time1相差是否大于最短间隔；
是:存储point1,并将其从处理流中清除，point2变为起始点，point3变为中间点，结束；否:将point2从处理流中清除，point1仍为起始点，point3变为中间点，结束；以上逻辑，往复循环；
S3：将上述经过处理流程的数据进行储存。
本发明针对服务于工业互联数据采集存储的压缩方法，该方法在技术上实现了动态配置，合理地提升压缩命中率，精进特征数据的筛选，将运算量降到最低标准、保证运算效率最高；在经济上实现了资源可控性，根据需求自由配置，将资源使用尽可能降低的同时，兼顾数据的合理性和完整性；在性能上实现了动态适配，通过分布式架构，实现水平扩展，根据不同的数据规模进行动态适配，大大提升采集存储性能。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定，本发明不受上述实施例的限制，在不脱离本发明精神和范围的前提下会有各种改进和变化，因此，这意味着在所附权利要求中包括属于本发明范围内的所有变化和修改。
Claims (4)
1.一种服务于工业互联数据采集存储的压缩方法，其特征在于，包括以下步骤：
S1：在平台定义范围值、范围百分比、最长间隔及最短间隔；
S2：根据判断最长间隔——范围计算——判断最短间隔的流程进行分析处理，具体处理流程如下：
A：第一、二条数据进入到处理流中，分别记为起始点和中间点，此时流中数据并未大于2条，不进行计算处理；
起始点为数据处理流里的第一个点，即为point1，点值为起始値，即value1，时间为起始时间戳，即time1；中间点为数据处理流里的第二个点，即为point2，点值为中间値，即value2，时间为中间时间戳，即time2；
B：第三条数据进入到处理流中，记为当前点，此时流中数据大于2条，进行计算处理；
当前点为数据处理流里的第三个点，即为point3，点值为当前値，即value3，时间为当前时间戳，即time3；
C：首先，判断time3与time1相差是否大于最长间隔；
是:直接存储point1,并将其从处理流中清除，point2变为起始点，point3变为中间点，结束；
否:继续执行下面程序；
D：根据偏差值划定范围，判断中间值是否在上下限内；
计算直接偏差值:在上下限内，记为false,不在上下限内，记为true；
计算变化率偏差值:在上下限内，记为false；不在上下限内，记为true；
E：判断两种上下限计算结果；
均为false:将point2从处理流中清除，point1仍为起始点，point3变为中间点，结束；
其中有一个为true:判断time3与time1相差是否大于最短间隔；
是:存储point1,并将其从处理流中清除，point2变为起始点，point3变为中间点，结束；否:将point2从处理流中清除，point1仍为起始点，
point3变为中间点，结束；循环执行步骤A到步骤E；
S3：将上述经过处理流程的数据进行储存。
2.根据权利要求1所述的一种服务于工业互联数据采集存储的压缩方法，其特征在于：在S1中，采用范围值、范围百分比两种压缩方式，以自由选取两种方式，改进压缩命中率低的问题；通过自由配置并组合，亦可提高对特征点的动态命中，实现运算量的动态压缩。
3.根据权利要求2所述的一种服务于工业互联数据采集存储的压缩方法，其特征在于：采用最长间隔与最短间隔，实现针对于某些特定的数据压缩。
4.根据权利要求3所述的一种服务于工业互联数据采集存储的压缩方法，其特征在于：采用分布式架构进行开发，压缩算法实例可以方便的进行水平扩展，形成压缩算法集群，可以根据数据的规模进行压缩。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010091060.4A CN111294054B (zh) | 2020-02-13 | 2020-02-13 | 一种服务于工业互联数据采集存储的压缩方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010091060.4A CN111294054B (zh) | 2020-02-13 | 2020-02-13 | 一种服务于工业互联数据采集存储的压缩方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111294054A CN111294054A (zh) | 2020-06-16 |
| CN111294054B true CN111294054B (zh) | 2023-05-23 |
Family
ID=71028482
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010091060.4A Active CN111294054B (zh) | 2020-02-13 | 2020-02-13 | 一种服务于工业互联数据采集存储的压缩方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111294054B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112600944B (zh) * | 2021-03-02 | 2021-05-25 | 杭州字节信息技术有限公司 | 一种适用于物联网时序数据的差分云存储方法和系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10021283A1 (de) * | 2000-05-02 | 2001-11-08 | Mekiska Frank | Verfahren und Vorrichtung zur Kompression und/oder Dekompression von Daten |
| CN101000605A (zh) * | 2006-01-09 | 2007-07-18 | 中国科学院自动化研究所 | 一种过程工业历史数据智能两级压缩方法 |
| CN101069353A (zh) * | 2004-09-28 | 2007-11-07 | 通用电气公司 | 工业数据压缩系统和方法 |
| CN102437856A (zh) * | 2011-11-04 | 2012-05-02 | 国电南京自动化股份有限公司 | 基于特征点提取的地铁综合监控系统三级数据压缩方法 |
| CN102510287A (zh) * | 2011-11-03 | 2012-06-20 | 电子科技大学 | 一种工业实时数据的快速压缩方法 |
| JP2017022522A (ja) * | 2015-07-09 | 2017-01-26 | 富士通株式会社 | データ圧縮プログラム、データ圧縮装置、データ圧縮方法、及びデータ復元プログラム |
| CN106372181A (zh) * | 2016-08-31 | 2017-02-01 | 东北大学 | 一种基于工业过程的大数据压缩方法 |
| CN110277998A (zh) * | 2019-06-27 | 2019-09-24 | 中国电力科学研究院有限公司 | 电网数据无损压缩方法和装置 |
| CN110620586A (zh) * | 2019-09-17 | 2019-12-27 | 河北省科学院应用数学研究所 | 数据压缩方法、装置和终端设备 |
-
2020
- 2020-02-13 CN CN202010091060.4A patent/CN111294054B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10021283A1 (de) * | 2000-05-02 | 2001-11-08 | Mekiska Frank | Verfahren und Vorrichtung zur Kompression und/oder Dekompression von Daten |
| CN101069353A (zh) * | 2004-09-28 | 2007-11-07 | 通用电气公司 | 工业数据压缩系统和方法 |
| CN101000605A (zh) * | 2006-01-09 | 2007-07-18 | 中国科学院自动化研究所 | 一种过程工业历史数据智能两级压缩方法 |
| CN102510287A (zh) * | 2011-11-03 | 2012-06-20 | 电子科技大学 | 一种工业实时数据的快速压缩方法 |
| CN102437856A (zh) * | 2011-11-04 | 2012-05-02 | 国电南京自动化股份有限公司 | 基于特征点提取的地铁综合监控系统三级数据压缩方法 |
| JP2017022522A (ja) * | 2015-07-09 | 2017-01-26 | 富士通株式会社 | データ圧縮プログラム、データ圧縮装置、データ圧縮方法、及びデータ復元プログラム |
| CN106372181A (zh) * | 2016-08-31 | 2017-02-01 | 东北大学 | 一种基于工业过程的大数据压缩方法 |
| CN110277998A (zh) * | 2019-06-27 | 2019-09-24 | 中国电力科学研究院有限公司 | 电网数据无损压缩方法和装置 |
| CN110620586A (zh) * | 2019-09-17 | 2019-12-27 | 河北省科学院应用数学研究所 | 数据压缩方法、装置和终端设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111294054A (zh) | 2020-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110703057B (zh) | 基于数据增强和神经网络的电力设备局部放电诊断方法 | |
| CN113836756B (zh) | 一种立体卷铁心变压器的退火工艺智能监测方法及系统 | |
| CN111294054B (zh) | 一种服务于工业互联数据采集存储的压缩方法 | |
| CN110532946A (zh) | 一种基于卷积神经网络识别绿通车车辆轴型的方法 | |
| CN111950423A (zh) | 一种基于深度学习的实时多尺度密集目标检测方法 | |
| CN116416497B (zh) | 一种轴承故障诊断系统及方法 | |
| CN102176750A (zh) | 高性能自适应二进制算术编码器 | |
| CN115984564A (zh) | 一种基于体素聚类和稀疏卷积的点云语义分割方法和系统 | |
| CN116307195A (zh) | 一种基于深度学习的带钢精轧宽展预测方法和系统 | |
| CN106372181A (zh) | 一种基于工业过程的大数据压缩方法 | |
| CN117253188A (zh) | 基于改进的YOLOv5的变电站接地线状态目标检测方法 | |
| CN115309753A (zh) | 一种高效环保智能样本研发系统的数据快速读取方法 | |
| CN116582133A (zh) | 一种变压器生产过程数据智能管理系统 | |
| CN117735481B (zh) | 电子级三氟化氯纯化方法 | |
| CN111510109B (zh) | 一种信号滤波的方法、装置、设备和介质 | |
| CN110658433A (zh) | 一种用于局放prps图谱样本增强的方法 | |
| CN115833843A (zh) | 一种车辆运行监控数据存储优化方法及管理平台 | |
| CN116011403A (zh) | 一种用于计算机数据存储的重复数据识别方法 | |
| CN105373583A (zh) | 基于数据压缩的支撑向量机建模方法 | |
| CN115982436A (zh) | 一种流数据的高效检索、压缩系统及压缩方法 | |
| CN112017273B (zh) | 基于模式密度函数模拟算法的多分辨率岩心孔隙融合方法 | |
| CN112241472B (zh) | 一种用于大数据状态监控系统 | |
| CN112528685A (zh) | 基于动态附加布隆过滤器的rfid数据冗余处理方法 | |
| CN108428018B (zh) | 一种短路电流峰值的变维递进灰色预测方法 | |
| KR100993297B1 (ko) | Ｃａｔｉａ를 이용한 패널 코드 전처리 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |