CN114090654A - 工业时序数据的近似查询处理方法、系统、介质及设备 - Google Patents

工业时序数据的近似查询处理方法、系统、介质及设备 Download PDF

Info

Publication number
CN114090654A
CN114090654A CN202111373215.4A CN202111373215A CN114090654A CN 114090654 A CN114090654 A CN 114090654A CN 202111373215 A CN202111373215 A CN 202111373215A CN 114090654 A CN114090654 A CN 114090654A
Authority
CN
China
Prior art keywords
compression
precision
data
compressed data
compression precision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111373215.4A
Other languages
English (en)
Inventor
王儒博
黄民
邢继
徐钊
孙巍伟
李一鸣
赵晓永
崔国玺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Information Science and Technology University
Original Assignee
Beijing Information Science and Technology University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Information Science and Technology University filed Critical Beijing Information Science and Technology University
Priority to CN202111373215.4A priority Critical patent/CN114090654A/zh
Publication of CN114090654A publication Critical patent/CN114090654A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种工业时序数据的近似查询处理方法、系统、介质及设备，其包括：将时序数据进行初次压缩，得到满足初始压缩精度的压缩数据；计算所述压缩数据的标准差，根据所述标准差得到压缩精度浮动；根据所述压缩精度浮动调整压缩精度，利用调整好的所述压缩精度重新进行数据压缩，直到压缩精度浮动满足预先设定条件，输出压缩后的数据；将所述压缩后的数据进行近似查询，若查询的压缩点位处于压缩点损失区间内，则对损失点位的数值进行近似估计后再进行近似查询；反之，则直接对压缩后剩余的点位进行存在性查询，得到精确的点位数值。本发明能够在海量的工业时序数据的持续产出的情况下，高效压缩时序数据并且保留数据趋势进行存储的情况。

Description

工业时序数据的近似查询处理方法、系统、介质及设备
技术领域
本发明涉及一种数据查询技术领域，特别是关于一种工业时序数据的近似查询处理方法、系统、介质及设备。
背景技术
随着计算机科学技术的发展，伴随着各行各业的信息化，各种各样的数据也不断地从GB到TB再到PB级进行扩大，很多数据增长的部分原因是由于这些数据从越来越多的设备中源源不断地进行采集完成。在此之中工业大数据的数据量增长的速度十分恐怖，因为工业领域当中数据的来源十分广泛比如PLM(product lifecycle emanagement)系统、ERP(enterprise resource planning)系统，SCM(supplychain management)系统、MES(manufacturing execution system)系统等等。其中产生得数据符合大数据的4V特征，即大规模(volume)、速度快(velocity)、类型杂(variety)、低质量(veracity)。并且相比于其他数据工业大数据还有多模态、强关联、高通量的特征，那么工业大数据领域这么多的数据源和特征必须要有高效的办法处理这些数据。因为在这些数据当中存在许多冗余数据，所以想要利用这些数据进行相应的数据挖掘、关联分析预测、异常检测、辅助决策等就比较困难。以往的压缩处理大量的工业时序数据的方法，分有损压缩和无损压缩。
无损压缩技术是可以使数据完全还原的技术，而且压缩与解压时一个可逆的过程。无损压缩技术是通用于各个领域的基础算法，事实上，任何无损压缩技术的算法在实际应用中都无法真正地将数据压缩到理论上的熵值极限。由于压缩后的数据量不可能是低于熵值的数值的，所以，在无损压缩的技术开发和利用方面，无损压缩技术总是处在一个追求压缩性能理想极限的一个过程，而且在特定的应用领域中，单纯地使用无损压缩技术的压缩比总是只可以维持在一个可以接收的水平上。
有损压缩技术则是在压缩过程中去除一定的冗余数据，而这些冗余数据一般都具有数量多，价值密度低的特征，这些冗余数据的压缩过程就是以损失一定的信息以获得较高的压缩比，压缩过程不可逆，数据不能完全恢复到原始数据，因此要求损失的数据对于理解原始数据信息的影响和走势的影响不能过大，而且许多的有损压缩技术是根据很多特定的应用领域发展起来的，如应用于图像、视频以及声音等许多多媒体领域的压缩技术，而且有损压缩技术可以根据先验知识提升相关有损压缩算法的压缩效果，有损压缩方法一般分为分段线性方法、矢量量化方法以及信号变换法而这些方法在实际的工业场景对于大量的工业时序数据进行处理时表现得并不是特别良好。
发明内容
针对上述海量的工业时序数据的压缩存放问题，本发明的目的是提供一种工业时序数据的近似查询处理方法、系统、介质及设备，能够在海量的工业时序数据的持续产出的情况下，高效压缩时序数据并且保留数据趋势进行存储的情况。
为实现上述目的，本发明采取以下技术方案：一种工业时序数据的近似查询处理方法，其包括：将时序数据进行初次压缩，得到满足初始压缩精度的压缩数据；计算所述压缩数据的标准差，根据所述标准差得到压缩精度浮动；根据所述压缩精度浮动调整压缩精度，利用调整好的所述压缩精度重新进行数据压缩，直到压缩精度浮动满足预先设定条件，输出压缩后的数据；将所述压缩后的数据进行近似查询，若查询的压缩点位处于压缩点损失区间内，则对损失点位的数值进行近似估计后再进行近似查询；反之，则直接对压缩后剩余的点位进行存在性查询，得到精确的点位数值。
进一步，所述将时序数据进行初次压缩，得到满足初始压缩精度的压缩数据，包括：
将所述时序数据转换成数值，并根据预先设定的压缩精度区间确定所述初始压缩精度；
将所述数值根据所述初始压缩精度进行数据压缩；
压缩完成后，将压缩后的数据进行数据可视化处理，得到压缩后的数据趋势，并与初始时序数据的趋势图进行对比，判别压缩后数据损失是否满足设定要求，满足则计算所述压缩数据的标准差，反之则重新设定压缩精度区间以确定新的压缩精度。
进一步，所述根据所述标准差得到压缩精度浮动，包括：将上一次压缩数据的标准差与相邻下一次压缩数据的标准差的比值作为压缩精度浮动。
进一步，所述根据所述压缩精度浮动调整压缩精度，包括：当所述压缩精度浮动为0时，则无需对压缩精度进行调整；当所述压缩精度浮动大于等于预先设定值时或小于预先设定值时，则调整当前压缩精度：将当前压缩精度与所述压缩精度浮动的比值作为调整后的压缩精度。
进一步，所述对损失点位的数值近似估计，采用线段拟合，包括：通过线段拟合公式对压缩点位进行线段拟合，由拟合出的线端方程对压缩损失点位进行准确估计后，直接存储压缩后数据。
进一步，所述近似查询包括：
若压缩点位为压缩损失点位，则查询压缩点位周边的点位数值，得到代替周边被压缩点位的代表值；
将损失点位的横轴数值代入到所述线端方程中，得到损失点位的估计值，将所述估计值与所述代表值进行比对，确定所述估计值的准确性，将所述估计值近似作为准确数值进行查询。
进一步，所述将所述估计值与所述代表值进行比对，包括：若两者的差距比例在10％以内，则所述估计值在预先设定的准确范围内，具有准确性。
一种工业时序数据的近似查询处理系统，其包括：初级压缩模块，将时序数据进行初次压缩，得到满足初始压缩精度的压缩数据；压缩精度浮动获取模块，计算所述压缩数据的标准差，根据所述标准差得到压缩精度浮动；调整输出模块，根据所述压缩精度浮动调整压缩精度，利用调整好的所述压缩精度重新进行数据压缩，直到压缩精度浮动满足预先设定条件，输出压缩后的数据；查询模块，将所述压缩后的数据进行近似查询，若查询的压缩点位处于压缩点损失区间内，则对损失点位的数值进行近似估计后再进行近似查询；反之，则直接对压缩后剩余的点位进行存在性查询，得到精确的点位数值。
一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行上述方法中的任一方法。
一种计算设备，其包括：一个或多个处理器、存储器及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行，所述一个或多个程序包括用于执行上述方法中的任一方法的指令。
本发明由于采取以上技术方案，其具有以下优点：
本发明针对制造企业内部海量的时序数据，通过对经典的SWING DOOR TRENDING算法进行改进，提出了更加高效的压缩办法，并且利用了曲线拟合的方法对于压缩后的数据进行估值处理。能够在海量的工业时序数据的持续产出的情况下，高效压缩时序数据并且保留数据趋势进行存储的情况，有效的解决了海量的工业时序数据的压缩存放问题。
附图说明
图1是本发明一实施例中的近似查询处理方法整体流程示意图；
图2是本发明一实施例中的近似查询处理方法详细流程示意图；
图3是本发明一实施例中的计算设备结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
以往用于近似查询的方法例如：在线聚合以及生成离线概要等手段都是针对商业数据做一些聚合查询而进行的数据预处理方法，但是这些商业数据往往缺少了工业数据最重要的特征—时序特征，所以之前的近似查询处理手段无法满足近似查询处理海量工业时序数据的需求，因为传感器时序数据的量值很大(通常每秒都会采集一个数值)，数值较稳(数值通常会平稳浮动)，所以本发明提供一种工业时序数据的近似查询处理方法、系统、介质及设备，利用压缩代替近似查询的思想对时序数据进行可控精度的有损压缩。可以在压缩后的数据直接存储到存储介质中，在数据查询时无需进行解压缩，为存储介质节省了大量的存储空间，并且进一步提高了SDT算法的压缩率以及降低了SDT算法的压缩误差，能够更好地保存数据浮动趋势，并且在查询时可以通过拟合回归直线对缺失点位进行估计，从而达到近似查询的效果，采取以压缩代替近似的思想对大量沉积在工业系统中的冗余数据去粗存精，并且取得了较好的效果。
因为SDT旋转门算法的核心思想是对于离散的点位进行直线化的拟合，而且是可控精度的有损压缩方法，所以在进行存在性查询时可以对原数据进行直线拟合得出直线拟合公式，之后对数据进行存在性查询时只需要先判断被查询的数据是否为损失点即可，如果查询的数据点位是旋转门算法压缩损失点，那么就可以根据曲线拟合得到的公式对被压缩点位进行数值上的估计，利用这种方法就可以得到被压缩点位的估计值。
对时序数据压缩后通过可视化数据的压缩态势观察数据的压缩情况，以及通过存在性查询得出某个时序数据可以来验证此方法得可行性。
在本发明的一个实施例中，如图1所示，提供一种工业时序数据的近似查询处理方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
1)将时序数据进行初次压缩，得到满足初始压缩精度的压缩数据；
2)计算压缩数据的标准差，根据标准差得到压缩精度浮动；
3)根据压缩精度浮动调整压缩精度，利用调整好的压缩精度重新进行数据压缩，直到压缩精度浮动满足预先设定条件，输出压缩后的数据；
4)将压缩后的数据进行近似查询，若查询的压缩点位处于压缩点损失区间内，则对损失点位的数值进行近似估计后再进行近似查询；反之，则直接对压缩后剩余的点位进行存在性查询，得到精确的点位数值。
上述步骤1)中，如图2所示，将时序数据进行初次压缩，得到满足初始压缩精度的压缩数据，包括以下步骤：
1.1)将时序数据转换成数值，并根据预先设定的压缩精度区间确定初始压缩精度；
在本实施例中，首先对时序数据进行处理，将时序数据导入postgresql或者其它类型的数据库中，并且将时序数据转换成数值，比如将如下类型的数据进行转换：
(Timestamp，value)→(X，Y)
第一次进行数据压缩时需要对压缩精度σE初始化，第一次初始化的压缩精度σE为：
σE＝(σmin+σmax)/2，
式中，σmin、σmax分别为压缩精度区间的最小值和最大值。
1.2)将数值根据初始压缩精度进行数据压缩；
1.3)压缩完成后，将压缩后的数据进行数据可视化处理，得到压缩后的数据趋势，并与初始时序数据的趋势图进行对比，判别压缩后数据损失是否满足设定要求，满足则计算压缩数据的标准差，反之则重新设定压缩精度区间以确定新的压缩精度。
上述步骤2)中，根据标准差得到压缩精度浮动：将上一次压缩数据的标准差与相邻下一次压缩数据的标准差的比值作为压缩精度浮动。
在本实施例中，首先计算标准差，标准差σS为：
Figure BDA0003363038810000051
式中：yi为数据值；μ为yi的平均值；n为数据总数。
根据标准差计算相邻两次压缩之间的压缩精度浮动
Figure BDA0003363038810000067
(即波动变化值)：
Figure BDA0003363038810000061
式中：σSi为第i次压缩数据的标准差；σSi-1为第i-1次压缩的数据标准差。
上述步骤3)中，根据压缩精度浮动调整压缩精度，包括以下调整：
当压缩精度浮动为0时，则无需对压缩精度进行调整；
当压缩精度浮动大于等于预先设定值时或小于预先设定值时，则调整当前压缩精度：将当前压缩精度与压缩精度浮动的比值作为调整后的压缩精度。
在本实施例中，通过当前的压缩精度σN及压缩精度波动
Figure BDA0003363038810000062
调整压缩精度。
通过公式
Figure BDA0003363038810000066
可以对压缩精度进行调整。
通过分析可知，通过比较相邻两次压缩精度区间的标准差σSi/σSi-1，可以对于σE进行动态调整，当
Figure BDA0003363038810000063
时，表示这两次压缩精度区间没有波动，所以无需对σE进行相应的调整，但是当σSi/σSi-1≥1时表明数据开始的波动就比较大了，那么就需要调整σE＝σE/(σSi/σSi-1)；同时如果σSi/σSi-1＜1那么表明数据的波动比较小，所以就需要调整σE＝σE/(σSi/σSi-1)。
根据调整过的压缩精度进行下一次的压缩循环，进行新一轮的压缩，直到压缩精度的波动范围符合调整要求为止。
上述步骤4)中，对损失点位的数值近似估计，采用线段拟合。具体为：通过线段拟合公式对压缩点位进行线段拟合，由拟合出的线端方程对压缩损失点位进行准确估计后，直接存储压缩后数据。
具体为：首先判断想要查询的压缩点位是否处于压缩点损失区间内，如果处于压缩点损失区间内，则进行线段拟合；若并未处于压缩损失点区间内，则不需要进行线段拟合。
对于需要进行线段拟合的压缩点位，通过如下的公式进行线段拟合：
L(t)＝λ+γt
Figure BDA0003363038810000064
Figure BDA0003363038810000065
式中：L(t)为拟合回归线性方程，λ为拟合回归方程的常数项，γ为拟合回归方程的系数，ti为压缩精度区间的时间变量，yi为时间变量ti对应的数据数值，n为当前压缩精度区间的数据量。
通过上述公式，可以计算出拟合回归方程的常数项，拟合回归方程的系数，压缩精度区间的时间变量，时间变量ti对应的数据数值，以及当前压缩精度区间的数据量。
利用上述拟合出的线段方程，对于压缩损失点可以进行准确估计，省去了在压缩数据后进行解压缩的过程，可以直接存储压缩后数据。
其中，近似查询包括以下步骤：
4.1)若压缩点位为压缩损失点位，则查询压缩点位周边的点位数值，得到代替周边被压缩点位的代表值；
在本实施例中，如果点位为压缩损失点位，则可以用如下示例查询进行查询压缩点位周边的点位数值：
Example query：Select“timestamp”From Table
4.2)将损失点位的横轴数值代入到线端方程中，得到损失点位的估计值，将估计值与代表值进行比对，确定估计值的准确性，将估计值近似作为准确数值进行查询。
步骤4.2)中，将估计值与代表值进行比对，具体为：若两者的差距比例在10％以内，则估计值在预先设定的准确范围内，具有准确性。
在本发明的一个实施例中，提供一种工业时序数据的近似查询处理系统，其包括：
初级压缩模块，将时序数据进行初次压缩，得到满足初始压缩精度的压缩数据；
压缩精度浮动获取模块，计算压缩数据的标准差，根据标准差得到压缩精度浮动；
调整输出模块，根据压缩精度浮动调整压缩精度，利用调整好的压缩精度重新进行数据压缩，直到压缩精度浮动满足预先设定条件，输出压缩后的数据；
查询模块，将压缩后的数据进行近似查询，若查询的压缩点位处于压缩点损失区间内，则对损失点位的数值进行近似估计后再进行近似查询；反之，则直接对压缩后剩余的点位进行存在性查询，得到精确的点位数值。
本实施例提供的系统是用于执行上述各方法实施例的，具体流程和详细内容请参照上述实施例，此处不再赘述。
如图3所示，为本发明一实施例中提供的计算设备结构示意图，该计算设备可以是终端，其可以包括：处理器(processor)、通信接口(Communications Interface)、存储器(memory)、显示屏和输入装置。其中，处理器、通信接口、存储器通过通信总线完成相互间的通信。该处理器用于提供计算和控制能力。该存储器包括非易失性存储介质、内存储器，该非易失性存储介质存储有操作系统和计算机程序，该计算机程序被处理器执行时以实现一种近似查询处理方法；该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、管理商网络、NFC(近场通信)或其他技术实现。该显示屏可以是液晶显示屏或者电子墨水显示屏，该输入装置可以是显示屏上覆盖的触摸层，也可以是计算设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。处理器可以调用存储器中的逻辑指令，以执行如下方法：
将时序数据进行初次压缩，得到满足初始压缩精度的压缩数据；计算压缩数据的标准差，根据标准差得到压缩精度浮动；根据压缩精度浮动调整压缩精度，利用调整好的压缩精度重新进行数据压缩，直到压缩精度浮动满足预先设定条件，输出压缩后的数据；将压缩后的数据进行近似查询，若查询的压缩点位处于压缩点损失区间内，则对损失点位的数值进行近似估计后再进行近似查询；反之，则直接对压缩后剩余的点位进行存在性查询，得到精确的点位数值。
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算设备的限定，具体的计算设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在本发明的一个实施例中，提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：将时序数据进行初次压缩，得到满足初始压缩精度的压缩数据；计算压缩数据的标准差，根据标准差得到压缩精度浮动；根据压缩精度浮动调整压缩精度，利用调整好的压缩精度重新进行数据压缩，直到压缩精度浮动满足预先设定条件，输出压缩后的数据；将压缩后的数据进行近似查询，若查询的压缩点位处于压缩点损失区间内，则对损失点位的数值进行近似估计后再进行近似查询；反之，则直接对压缩后剩余的点位进行存在性查询，得到精确的点位数值。
在本发明的一个实施例中，提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储服务器指令，该计算机指令使计算机执行上述各实施例提供的方法，例如包括：将时序数据进行初次压缩，得到满足初始压缩精度的压缩数据；计算压缩数据的标准差，根据标准差得到压缩精度浮动；根据压缩精度浮动调整压缩精度，利用调整好的压缩精度重新进行数据压缩，直到压缩精度浮动满足预先设定条件，输出压缩后的数据；将压缩后的数据进行近似查询，若查询的压缩点位处于压缩点损失区间内，则对损失点位的数值进行近似估计后再进行近似查询；反之，则直接对压缩后剩余的点位进行存在性查询，得到精确的点位数值。
上述实施例提供的一种计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种工业时序数据的近似查询处理方法，其特征在于，包括：
将时序数据进行初次压缩，得到满足初始压缩精度的压缩数据；
计算所述压缩数据的标准差，根据所述标准差得到压缩精度浮动；
根据所述压缩精度浮动调整压缩精度，利用调整好的所述压缩精度重新进行数据压缩，直到压缩精度浮动满足预先设定条件，输出压缩后的数据；
将所述压缩后的数据进行近似查询，若查询的压缩点位处于压缩点损失区间内，则对损失点位的数值进行近似估计后再进行近似查询；反之，则直接对压缩后剩余的点位进行存在性查询，得到精确的点位数值。
2.如权利要求1所述工业时序数据的近似查询处理方法，其特征在于，所述将时序数据进行初次压缩，得到满足初始压缩精度的压缩数据，包括：
将所述时序数据转换成数值，并根据预先设定的压缩精度区间确定所述初始压缩精度；
将所述数值根据所述初始压缩精度进行数据压缩；
压缩完成后，将压缩后的数据进行数据可视化处理，得到压缩后的数据趋势，并与初始时序数据的趋势图进行对比，判别压缩后数据损失是否满足设定要求，满足则计算所述压缩数据的标准差，反之则重新设定压缩精度区间以确定新的压缩精度。
3.如权利要求1所述工业时序数据的近似查询处理方法，其特征在于，所述根据所述标准差得到压缩精度浮动，包括：
将上一次压缩数据的标准差与相邻下一次压缩数据的标准差的比值作为压缩精度浮动。
4.如权利要求1所述工业时序数据的近似查询处理方法，其特征在于，所述根据所述压缩精度浮动调整压缩精度，包括：
当所述压缩精度浮动为0时，则无需对压缩精度进行调整；
当所述压缩精度浮动大于等于预先设定值时或小于预先设定值时，则调整当前压缩精度：将当前压缩精度与所述压缩精度浮动的比值作为调整后的压缩精度。
5.如权利要求1所述工业时序数据的近似查询处理方法，其特征在于，所述对损失点位的数值近似估计，采用线段拟合，包括：
通过线段拟合公式对压缩点位进行线段拟合，由拟合出的线端方程对压缩损失点位进行准确估计后，直接存储压缩后数据。
6.如权利要求5所述工业时序数据的近似查询处理方法，其特征在于，所述近似查询包括：
若压缩点位为压缩损失点位，则查询压缩点位周边的点位数值，得到代替周边被压缩点位的代表值；
将损失点位的横轴数值代入到所述线端方程中，得到损失点位的估计值，将所述估计值与所述代表值进行比对，确定所述估计值的准确性，将所述估计值近似作为准确数值进行查询。
7.如权利要求6所述工业时序数据的近似查询处理方法，其特征在于，所述将所述估计值与所述代表值进行比对，包括：若两者的差距比例在10％以内，则所述估计值在预先设定的准确范围内，具有准确性。
8.一种工业时序数据的近似查询处理系统，其特征在于，包括：
初级压缩模块，将时序数据进行初次压缩，得到满足初始压缩精度的压缩数据；
压缩精度浮动获取模块，计算所述压缩数据的标准差，根据所述标准差得到压缩精度浮动；
调整输出模块，根据所述压缩精度浮动调整压缩精度，利用调整好的所述压缩精度重新进行数据压缩，直到压缩精度浮动满足预先设定条件，输出压缩后的数据；
查询模块，将所述压缩后的数据进行近似查询，若查询的压缩点位处于压缩点损失区间内，则对损失点位的数值进行近似估计后再进行近似查询；反之，则直接对压缩后剩余的点位进行存在性查询，得到精确的点位数值。
9.一种存储一个或多个程序的计算机可读存储介质，其特征在于，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行如权利要求1至7所述方法中的任一方法。
10.一种计算设备，其特征在于，包括：一个或多个处理器、存储器及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行，所述一个或多个程序包括用于执行如权利要求1至7所述方法中的任一方法的指令。
CN202111373215.4A 2021-11-19 2021-11-19 工业时序数据的近似查询处理方法、系统、介质及设备 Pending CN114090654A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111373215.4A CN114090654A (zh) 2021-11-19 2021-11-19 工业时序数据的近似查询处理方法、系统、介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111373215.4A CN114090654A (zh) 2021-11-19 2021-11-19 工业时序数据的近似查询处理方法、系统、介质及设备

Publications (1)

Publication Number Publication Date
CN114090654A true CN114090654A (zh) 2022-02-25

Family

ID=80302016

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111373215.4A Pending CN114090654A (zh) 2021-11-19 2021-11-19 工业时序数据的近似查询处理方法、系统、介质及设备

Country Status (1)

Country Link
CN (1) CN114090654A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114640355A (zh) * 2022-03-30 2022-06-17 北京诺司时空科技有限公司 时序数据库的有损压缩及解压缩方法、系统、存储介质、设备
CN116095182A (zh) * 2023-01-10 2023-05-09 广东电网有限责任公司江门供电局 一种用于gil管廊分布式传感器的数据传输方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114640355A (zh) * 2022-03-30 2022-06-17 北京诺司时空科技有限公司 时序数据库的有损压缩及解压缩方法、系统、存储介质、设备
CN114640355B (zh) * 2022-03-30 2023-04-18 北京诺司时空科技有限公司 时序数据库的有损压缩及解压缩方法、系统、存储介质、设备
CN116095182A (zh) * 2023-01-10 2023-05-09 广东电网有限责任公司江门供电局 一种用于gil管廊分布式传感器的数据传输方法

Similar Documents

Publication Publication Date Title
CN114090654A (zh) 工业时序数据的近似查询处理方法、系统、介质及设备
Hu et al. Fast and accurate streaming CNN inference via communication compression on the edge
CN112424797A (zh) 神经网络的分布式学习和/或其参数化更新的传输的概念
CN105205297B (zh) 一种基于时间序列的业务预测方法及系统
WO2023134086A1 (zh) 卷积神经网络模型剪枝方法和装置、电子设备、存储介质
CN113111589B (zh) 预测模型的训练方法、预测供热温度的方法、装置和设备
CN113132723B (zh) 一种图像压缩方法及装置
US20200380356A1 (en) Information processing apparatus, information processing method, and program
CN110992432B (zh) 基于深度神经网络最小方差梯度量化压缩及图像处理方法
US10536696B2 (en) Image encoding device and image encoding method
CN114500339B (zh) 一种节点带宽监测方法、装置、电子设备及存储介质
Warin Variations on branching methods for non linear PDEs
CN113326132A (zh) 一种信息调节方法、设备及存储介质
CN117096875A (zh) 一种基于ST-Transformer模型的短期负荷预测方法及系统
TW202001701A (zh) 影像的量化方法及神經網路的訓練方法
CN113807330B (zh) 面向资源受限场景的三维视线估计方法及装置
CN113642710B (zh) 一种网络模型的量化方法、装置、设备和存储介质
CN110913221A (zh) 一种视频码率预测方法及装置
CN116776155B (zh) 一种基于联邦学习的模型训练方法、装置、设备和介质
CN108537322A (zh) 神经网络层间激活值量化方法及装置
CN112399177A (zh) 一种视频编码方法、装置、计算机设备及存储介质
CN114830137A (zh) 用于生成预测模型的方法和系统
US20210397962A1 (en) Effective network compression using simulation-guided iterative pruning
EP3690670B1 (en) Data processing system
CN112667394A (zh) 一种计算机资源利用率优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination