CN110727648B - 一种工业设备的高效数据压缩方法及数据服务器 - Google Patents

一种工业设备的高效数据压缩方法及数据服务器 Download PDF

Info

Publication number
CN110727648B
CN110727648B CN201910962195.0A CN201910962195A CN110727648B CN 110727648 B CN110727648 B CN 110727648B CN 201910962195 A CN201910962195 A CN 201910962195A CN 110727648 B CN110727648 B CN 110727648B
Authority
CN
China
Prior art keywords
data
absolute value
moment
preset resolution
current moment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910962195.0A
Other languages
English (en)
Other versions
CN110727648A (zh
Inventor
师超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University
Original Assignee
Xian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University filed Critical Xian University
Priority to CN201910962195.0A priority Critical patent/CN110727648B/zh
Publication of CN110727648A publication Critical patent/CN110727648A/zh
Application granted granted Critical
Publication of CN110727648B publication Critical patent/CN110727648B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/174—Redundancy elimination performed by the file system
    • G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明公开了一种工业设备的高效数据压缩方法及数据服务器，该方法包括：实时获取数据采集器采集到的数据；计算当前时刻的数据相对于基准数据的变化幅度的第一绝对值，并与预设分辨精度进行比较，其中，基准数据在初始状态下为前一时刻的数据；当第一绝对值大于预设分辨精度时，保留当前时刻的数据，并将当前时刻的数据作为基准数据；否则计算下一时刻的数据相对于基准数据的变化幅度的第二绝对值，并与预设分辨精度进行比较；当第二绝对值大于预设分辨精度时，保留当前时刻的数据和下一时刻的数据，并将下一时刻的数据作为基准数据，否则丢弃当前时刻的数据。本发明能够在不影响状态监测的前提下，节约存储空间，减小网络资源的占用。

Description

一种工业设备的高效数据压缩方法及数据服务器
技术领域
本发明涉及数据存储技术领域，特别是涉及一种工业设备的高效数据压缩方法及数据服务器。
背景技术
工业设备通常都很昂贵，为了对工业设备进行更好的维护保养，都为其配备了大量传感器或其他的数据监测设备来监测工业设备的状态，我们将这些传感器或设备称为数据采集器。
由于数据采集器是24小时不间断工作的，因此会产生大量的数据，这些大量的数据一方面需要很大的存储空间，另一方面又需要占用很多的网络资源进行远程数据备份。
发明内容
本发明主要解决的技术问题是提供一种工业设备的高效数据压缩方法及数据服务器，能够在不影响状态监测的前提下，节约存储空间，减小网络资源的占用。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种工业设备的高效数据压缩方法，包括以下步骤：实时获取数据采集器采集到的数据；计算当前时刻的数据相对于基准数据的变化幅度的第一绝对值，并将第一绝对值与预设分辨精度进行比较，其中，所述基准数据在初始状态下为前一时刻的数据；当第一绝对值大于预设分辨精度时，保留当前时刻的数据，并将当前时刻的数据作为基准数据；当第一绝对值小于预设分辨精度时，计算下一时刻的数据相对于基准数据的变化幅度的第二绝对值，并将第二绝对值与预设分辨精度进行比较；当第二绝对值大于预设分辨精度时，保留当前时刻的数据和下一时刻的数据，并将下一时刻的数据作为基准数据。
优选的，所述高效数据压缩方法还包括：将初始状态下的基准数据以及保留的所有数据进行存储。
优选的，所述高效数据压缩方法还包括：记录所丢弃的数据对应的时间信息。
为解决上述技术问题，本发明采用的另一个技术方案是：提供一种工业设备的数据服务器，所述数据服务器包括数据获取模块、数据比较模块和数据处理模块；所述数据获取模块用于实时获取数据采集器采集到的数据；所述数据比较模块用于计算当前时刻的数据相对于基准数据的变化幅度的第一绝对值，并将第一绝对值与预设分辨精度进行比较，以及在第一绝对值小于预设分辨精度时，计算下一时刻的数据相对于基准数据的变化幅度的第二绝对值，并将第二绝对值与预设分辨精度进行比较，其中，所述基准数据在初始状态下为前一时刻的数据；所述数据处理模块用于在第一绝对值大于预设分辨精度时，保留当前时刻的数据，并将当前时刻的数据作为基准数据，以及在第二绝对值大于预设分辨精度时，保留当前时刻的数据和下一时刻的数据，并将下一时刻的数据作为基准数据。
优选的，所述数据处理模块还用于将初始状态下的基准数据以及保留的所有数据进行存储。
优选的，所述数据处理模块还用于记录所丢弃的数据对应的时间信息。
区别于现有技术的情况，本发明的有益效果是：对于数据采集器采集到的数据，除了保留起始时刻的数据之外，只保留变动较大的数据，对于变动不大的数据则丢弃，从而能够在不影响状态监测的前提下，节约存储空间，减小网络资源的占用。
附图说明
图1是本发明实施例的工业设备的高效数据压缩方法的流程示意图。
图2是某段时间经本实施例的高效数据压缩方法得到的数据与未经过数据压缩得到的数据的对比示意图。
图3是本发明实施例的工业设备的数据服务器的应用场景示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参阅图1，是本发明实施例的工业设备的高效数据压缩方法的流程示意图。本实施例的工业设备的高效数据压缩方法包括：
实时获取数据采集器采集到的数据；
计算当前时刻的数据相对于基准数据的变化幅度的第一绝对值，并将第一绝对值与预设分辨精度进行比较，其中，基准数据在初始状态下为前一时刻的数据；
当第一绝对值大于预设分辨精度时，保留当前时刻的数据，并将当前时刻的数据作为基准数据；
当第一绝对值小于预设分辨精度时，计算下一时刻的数据相对于基准数据的变化幅度的第二绝对值，并将第二绝对值与预设分辨精度进行比较；
当第二绝对值大于预设分辨精度时，保留当前时刻的数据和下一时刻的数据，并将下一时刻的数据作为基准数据，否则丢弃当前时刻的数据。
其中，如果当前时刻的为起始时刻的下一时刻，那么基准数据则为起始时刻的数据。在进行数据比较时，假设基准数据表示为x(n)，n表示采集时刻，那么当前时刻的数据为x(n+1)，当前时刻的数据相对于基准数据的变化幅度为第一绝对值大于预设分辨精度表示为/>α表示预设分辨精度。同样的，下一时刻的数据为x(n+2)，下一时刻的数据相对于基准数据的变化幅度为/>第二绝对值小于预设分辨精度表示为
对于之后的每一时刻的数据，均按照本实施例的高效数据压缩方法进行处理，最终得到所保留的数据。
在本实施例中，高效数据压缩方法还包括：将初始状态下的基准数据以及保留的所有数据进行存储。其中。存储的方式可以是本地存储或云端存储。
为了便于数据溯源，在本实施例中，高效数据压缩方法还包括：记录所丢弃的数据对应的时间信息。
下面通过具体实例对本实施例的高效数据压缩方法进行说明。
在一个具体实例中，数据采集器的采集时间以秒为单位，数据采集器实时采集的前6秒的数据依次为89、61、60、58、76、52，预设分辨精度α＝0.1,则最终保留的数据如下表所示。
从上表可知，本实施例的高效数据压缩方法可以丢弃大部分数据而不影响工业设备的状态检测。
再如图2所示，截取某段时间经本实施例的高效数据压缩方法得到的数据与未经过数据压缩得到的数据进行对比，图2(a)为未经过数据压缩得到的数据的连线轨迹，图2(b)为经本实施例的高效数据压缩方法得到的数据的连线轨迹，可知经本实施例的高效数据压缩方法得到的数据在连线轨迹上与未经过数据压缩得到的数据的连线轨迹基本上保持一致，但是所保留的数据更少。
参阅图3，是本发明实施例的工业设备的数据服务器的应用场景示意图。本实施例的数据服务器30包括数据获取模块31、数据比较模块32和数据处理模块33。
数据获取模块31用于实时获取数据采集器100采集到的数据。
数据比较模块32用于计算当前时刻的数据相对于基准数据的变化幅度的第一绝对值，并将第一绝对值与预设分辨精度进行比较，以及在第一绝对值小于预设分辨精度时，计算下一时刻的数据相对于基准数据的变化幅度的第二绝对值，并将第二绝对值与预设分辨精度进行比较，其中，基准数据在初始状态下为前一时刻的数据。
数据处理模块33用于在第一绝对值大于预设分辨精度时，保留当前时刻的数据，并将当前时刻的数据作为基准数据，以及在第二绝对值大于预设分辨精度时，保留当前时刻的数据和下一时刻的数据，并将下一时刻的数据作为基准数据。
本实施例的数据服务器30具有与前述实施例的高效数据压缩方法相同的技术特征，具体不再赘述。
在本实施例中，数据处理模块33还用于将初始状态下的基准数据以及保留的所有数据进行存储。其中。存储的方式可以是本地存储或云端存储，例如将保留的数据存储到远端的监控中心200。
为了便于数据溯源，在本实施例中，数据处理模块33还用于记录所丢弃的数据对应的时间信息。
通过上述方式，本发明实施例的工业设备的高效数据压缩方法及数据服务器具有以下优点：
1)可以减少存储数据所需的空间，释放硬盘中的宝贵空间；
2)通过网络发送数据所花费的时间取决于传输数据的大小，降低了设备、带宽以及运行网络的财务成本；
3)存储数据的减少可以使其他进程更快，更有效率。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种工业设备的高效数据压缩方法，其特征在于，包括以下步骤：
实时获取数据采集器采集到的数据；
计算当前时刻的数据相对于基准数据的变化幅度的第一绝对值，并将第一绝对值与预设分辨精度进行比较，其中，所述基准数据在初始状态下为前一时刻的数据；
当第一绝对值大于预设分辨精度时，保留当前时刻的数据，并将当前时刻的数据作为基准数据；
当第一绝对值小于预设分辨精度时，计算下一时刻的数据相对于基准数据的变化幅度的第二绝对值，并将第二绝对值与预设分辨精度进行比较；
当第二绝对值大于预设分辨精度时，保留当前时刻的数据和下一时刻的数据，并将下一时刻的数据作为基准数据，否则丢弃当前时刻的数据；
对于之后的每一时刻的数据，按上述流程进行处理，最终得到所保留的数据。
2.根据权利要求1所述的工业设备的高效数据压缩方法，其特征在于，所述高效数据压缩方法还包括：
将初始状态下的基准数据以及保留的所有数据进行存储。
3.根据权利要求1所述的工业设备的高效数据压缩方法，其特征在于，所述高效数据压缩方法还包括：
记录所丢弃的数据对应的时间信息。
4.一种工业设备的数据服务器，其特征在于，所述数据服务器包括数据获取模块、数据比较模块和数据处理模块；
所述数据获取模块用于实时获取数据采集器采集到的数据；所述数据比较模块用于计算当前时刻的数据相对于基准数据的变化幅度的第一绝对值，并将第一绝对值与预设分辨精度进行比较，以及在第一绝对值小于预设分辨精度时，计算下一时刻的数据相对于基准数据的变化幅度的第二绝对值，并将第二绝对值与预设分辨精度进行比较，其中，所述基准数据在初始状态下为前一时刻的数据；
所述数据处理模块用于在第一绝对值大于预设分辨精度时，保留当前时刻的数据，并将当前时刻的数据作为基准数据，以及在第二绝对值大于预设分辨精度时，保留当前时刻的数据和下一时刻的数据，并将下一时刻的数据作为基准数据，否则丢弃当前时刻的数据；
所述数据服务器对于之后的每一时刻的数据，均利用所述数据获取模块、数据比较模块和数据处理模块进行处理，最终得到所保留的数据。
5.根据权利要求4所述的工业设备的数据服务器，其特征在于，所述数据处理模块还用于将初始状态下的基准数据以及保留的所有数据进行存储。
6.根据权利要求4所述的工业设备的数据服务器，其特征在于，所述数据处理模块还用于记录所丢弃的数据对应的时间信息。
CN201910962195.0A 2019-10-11 2019-10-11 一种工业设备的高效数据压缩方法及数据服务器 Active CN110727648B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910962195.0A CN110727648B (zh) 2019-10-11 2019-10-11 一种工业设备的高效数据压缩方法及数据服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910962195.0A CN110727648B (zh) 2019-10-11 2019-10-11 一种工业设备的高效数据压缩方法及数据服务器

Publications (2)

Publication Number Publication Date
CN110727648A CN110727648A (zh) 2020-01-24
CN110727648B true CN110727648B (zh) 2023-08-15

Family

ID=69220902

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910962195.0A Active CN110727648B (zh) 2019-10-11 2019-10-11 一种工业设备的高效数据压缩方法及数据服务器

Country Status (1)

Country Link
CN (1) CN110727648B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103414476A (zh) * 2013-08-09 2013-11-27 北华大学 一种生产能耗实时数据压缩方法
CN106055275A (zh) * 2016-05-24 2016-10-26 深圳市敢为软件技术有限公司 数据压缩记录方法及装置
CN106372181A (zh) * 2016-08-31 2017-02-01 东北大学 一种基于工业过程的大数据压缩方法
CN109799449A (zh) * 2018-12-20 2019-05-24 深圳科安达电子科技股份有限公司 一种基于参数识别的轨道电路监测数据解压缩方法和处理系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI241502B (en) * 2002-12-26 2005-10-11 Ind Tech Res Inst Real time data compression apparatus for a data recorder
US10972569B2 (en) * 2017-04-24 2021-04-06 International Business Machines Corporation Apparatus, method, and computer program product for heterogenous compression of data streams

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103414476A (zh) * 2013-08-09 2013-11-27 北华大学 一种生产能耗实时数据压缩方法
CN106055275A (zh) * 2016-05-24 2016-10-26 深圳市敢为软件技术有限公司 数据压缩记录方法及装置
CN106372181A (zh) * 2016-08-31 2017-02-01 东北大学 一种基于工业过程的大数据压缩方法
CN109799449A (zh) * 2018-12-20 2019-05-24 深圳科安达电子科技股份有限公司 一种基于参数识别的轨道电路监测数据解压缩方法和处理系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Industrial high-speed wireless synchronous data acquisition system with real-time data compression;Yuan, YZ et al.;《MEASUREMENT》;20131130;第3482-3487页 *

Also Published As

Publication number Publication date
CN110727648A (zh) 2020-01-24

Similar Documents

Publication Publication Date Title
US20180189333A1 (en) Limiting blockchain size to optimize performance
KR20220108186A (ko) 시계열 데이터 저장 및 쿼리 방법 및 장치, 및 그 서버 및 저장 매체
US20120239627A1 (en) Data storage apparatus and data storage method
CN102164231A (zh) 基于敏感信息的分辨率可动态调节的监控装置及方法
CN106033324B (zh) 一种数据存储的方法和装置
CN103631873B (zh) 一种数据压缩方法及存储系统
CN101929859B (zh) 一种基于图像全帧扫描的空间碎片检测方法
CN106569936A (zh) 一种实时采集滚动日志的方法及系统
CN110399224A (zh) 信息处理方法和电子设备
CN109241187A (zh) 基于Kafka消息队列的MongoDB日志采集和分析系统
CN110187838A (zh) 数据io信息处理方法、分析方法、装置和相关设备
CN115380267A (zh) 数据压缩方法及装置、数据压缩设备和可读存储介质
CN110727648B (zh) 一种工业设备的高效数据压缩方法及数据服务器
CN105022833A (zh) 一种数据处理的方法、节点及监控系统
CN111208953A (zh) 一种分布式存储方法及其装置
CN111427920B (zh) 数据采集方法、装置、系统、计算机设备及存储介质
CN108469934B (zh) 一种翻页方法及设备
CN112347059B (zh) 存储系统数据缩减业务日志管理方法及相关组件
CN106998436B (zh) 录像备份方法及装置
CN104135666A (zh) 一种屏幕图像的插值存储方法、系统及回放方法
CN114710674A (zh) 一种建筑施工监控数据存储方法
CN107943656A (zh) 一种系统内存资源使用情况的统计方法
CN113051415B (zh) 图像存储方法、装置、设备和存储介质
CN108462848B (zh) 低功耗执法记录仪
CN107979650B (zh) 血浆数据的传输方法、装置和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant