CN116781792A - 一种工业数据存贮的高性能压缩方法 - Google Patents

Abstract

本发明公开了一种工业数据存贮的高性能压缩方法，本发明涉及数据存贮技术领域，解决了在实际压缩过程中，压缩速率并不高，会拖延对应的压缩进度，同时，在后期存储过程中，未设置对应的加密方式，会导致所存储的工业数据被外部人员窃取的问题，本发明对原始的工业数据进行初步缩减，再将处理后的数据整理为若干个节点数据集合，后续再根据节点数据集合内部的数据属性，确认母包集合以及子包集合，并分开压缩，得到后续的整合压缩包，采用此种方式，便可提升数据压缩过程中的压缩速率，减少数据压缩时间，从而在整体上提升数据压缩的整体效果，并删除原始的改变密钥，提升整个压缩数据包的加密存储效果，提升数据的安全存储效果。

Description

一种工业数据存贮的高性能压缩方法

技术领域

本发明涉及数据存贮技术领域，具体为一种工业数据存贮的高性能压缩方法。

背景技术

工业数据是指由工业设备高速产生的大量数据，对应不同时间下的设备状态，是物联网中的讯息；

专利公开号为CN112181920A的发明属于车联网技术领域,涉及一种车联网大数据高性能压缩存储方法及系统，通过把车联网终端上报的数据经过多次不同格式转存后，最终进行结构化的压缩存储，极大化的减少了存储资源的开销，并且半结构化的存储使得后期的数据导出、监控和计算都变得简单起来，解决了在线车辆数量随时间为线性增长，而随着时间的推移，现有硬件已经无法满足存储的数据量迅速增长以及灵活快速检索的需求的问题。

工业数据在存贮过程中，原始的压缩方式只是将重复数据采用对应的标记进行替换，以缩减对应重复数据的容量值，但此种压缩方式，在实际压缩过程中，压缩速率并不高，会拖延对应的压缩进度，同时，在后期存储过程中，未设置对应的加密方式，会导致所存储的工业数据被外部人员窃取。

发明内容

针对现有技术的不足，本发明提供了一种工业数据存贮的高性能压缩方法，解决了在实际压缩过程中，压缩速率并不高，会拖延对应的压缩进度，同时，在后期存储过程中，未设置对应的加密方式，会导致所存储的工业数据被外部人员窃取的问题。

为实现以上目的，本发明通过以下技术方案予以实现：一种工业数据存贮的高性能压缩方法，包括以下步骤：

S1、对需要参与存贮的工业数据进行确认，并对所确认的工业数据进行预压缩处理，将整个工业数据的整体容量进行初步压缩，得到初步缩减数据，具体方式为：

S11、对工业数据进行接收确认，将工业数据内所存在的重复数据进行识别确认，并将同一重复数据采用同一标记对重复数据进行标记；

S12、采用重复标记CF_i对不同的重复数据进行替换，其中i＝1、2、……、n，n代表重复标记的个数，不同的重复数据替换完毕后，将重复标记CF_i与对应的重复数据进行捆绑，生成数据匹配表；

S13、将采用重复标记CF_i替换后的工业数据拟定为初步缩减数据，并同时对数据匹配表进行存储，便于后续将重复数据补齐至初步缩减数据内得到原始的工业数据；

S2、对处理所得的初步缩减数据进行再处理，根据数据之间的分隔符，将数据划分为若干个节点数据，再将节点数据进行处理，得到节点数据集合，再从节点数据集合内所存在的母包数据以及子包数据进行确认，并生成母包集合以及子包集合，具体方式为：

S21、根据初步缩减数据内部所存在的分隔符，从初步缩减数据内确认若干个节点数据，按照排列顺序将k组节点数据合并为一个节点数据集合，且k为预设值，依次进行合并，得到若干组节点数据集合，并采用数字标记S对不同的节点数据集合进行标记，且S＝1、2、……、m，m代表节点数据集合的个数；

S22、根据数字标记S，将节点数据集合进行排序，从对应的节点数据集合内，将容量值最大的一组数据以及容量值最小的一组数据进行提取，并采用数字“0”对容量值最大的一组数据进行替换，采用数字“1”对容量值最小的一组数据进行替换，将对应的两组数据提取出，并进行合并，得到子包序列，并采用对应节点数据集合的数字标记S对子包序列进行相应标记；

S23、依次完成相应标记后，按照数字标记S，将节点数据集合进行排序整合，并进行组合，得到母包集合，再根据数字标记S，将子包序列进行排序整合，得到子包集合，将母包集合以及子包集合进行分开压缩，得到整合压缩包，并将整合压缩包传输至对应存储单元内进行存储；

S3、对整合压缩包进行存储，在存储过程中，设置对应的加密密钥，后续再根据整合压缩包的具体参数，对加密密钥进行修整，得到改变密钥，并将改变密钥传输至对应终端内，供外部人员查看，并删除系统内部所存在的改变密钥，具体方式为：

S31、在存储过程中，对所输入的四字加密密钥进行确认，将所确认的四字加密密钥设定为待修整密钥；

S32、再从整合压缩包内，将母包集合以及子包集合的容量参数进行确认，并将母包集合的容量参数标记为RL1，再将子包集合的容量参数标记为RL2，采用RL1-RL2＝CZ得到容量差值，再将容量差值CZ进行绝对值处理，得到待处理差值；

S33、分析确认待处理差值内部所存在的数字是否大于一组，若大于一组，直接提取待处理差值后两位的参数，作为待合并参数，若数字不大于一组，则直接提取对应的数字，并将数字0填补至对应数字之后，使对应的数字组合成两位数的参数，并作为待合并参数；

S34、将待修整密钥与待合并参数进行整合，将待合并参数填补至待修整密钥后端处，参数填补完毕后，得到对应的改变密钥，并将处理所得的改变密钥传输至外部终端内，供外部人员进行查看，并删除系统内所存在的改变密钥；

S4、外部人员需要提取对应的工业数据时，预先输入对应的密钥，提取对应的整合压缩包，再对整合压缩包进行解压处理，得到对应的工业数据。

有益效果

本发明提供了一种工业数据存贮的高性能压缩方法；与现有技术相比具备以下有益效果：

本发明预先通过将重复数据进行替换，对原始的工业数据进行初步缩减，再将处理后的数据整理为若干个节点数据集合，后续再根据节点数据集合内部的数据属性，确认母包集合以及子包集合，并分开压缩，得到后续的整合压缩包，采用此种方式，便可提升数据压缩过程中的压缩速率，减少数据压缩时间，从而在整体上提升数据压缩的整体效果；

根据所输入的密钥，并确认对应的整合压缩包，通过整合压缩包内部数据的具体属性，改变原始的待修整密钥，后续再通过具体属性确认对应的待修整密钥，并对待修整密钥进行改变，得到改变密钥，并删除原始的改变密钥，提升整个压缩数据包的加密存储效果，避免在加密存储过程中，被外部人员窃取，提升数据的安全存储效果。

附图说明

图1为本发明方法流程示意图；

图2为本发明改变密钥确定流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

请参阅图1，本申请提供了一种工业数据存贮的高性能压缩方法，包括以下步骤：

S1、对需要参与存贮的工业数据进行确认，并对所确认的工业数据进行预压缩处理，将整个工业数据的整体容量进行初步压缩，得到初步缩减数据，其中，进行预压缩处理的具体方式为：

S11、对工业数据进行接收确认，将工业数据内所存在的重复数据进行识别确认，并将同一重复数据采用同一标记对重复数据进行标记；

S12、采用重复标记CF_i对不同的重复数据进行替换，其中i＝1、2、……、n，n代表重复标记的个数，不同的重复数据替换完毕后，将重复标记CF_i与对应的重复数据进行捆绑，生成数据匹配表；

S13、将采用重复标记CF_i替换后的工业数据拟定为初步缩减数据，并同时对数据匹配表进行存储，便于后续将重复数据补齐至初步缩减数据内得到原始的工业数据；

S2、对处理所得的初步缩减数据进行再处理，根据数据之间的分隔符，将数据划分为若干个节点数据，再将节点数据进行处理，得到节点数据集合，再从节点数据集合内所存在的母包数据以及子包数据进行确认，并生成母包集合以及子包集合，其中，进行确认的具体方式为：

S21、根据初步缩减数据内部所存在的分隔符，从初步缩减数据内确认若干个节点数据，按照排列顺序将k组节点数据合并为一个节点数据集合，且k为预设值，其具体取值由操作人员根据经验拟定，且k一般取值7，依次进行合并，得到若干组节点数据集合，并采用数字标记S对不同的节点数据集合进行标记，且S＝1、2、……、m，m代表节点数据集合的个数，且S＝1时，代表为第一组节点数据集合，S＝m时，代表为最后一组节点数据集合；

S22、根据数字标记S，将节点数据集合进行排序，从对应的节点数据集合内，将容量值最大的一组数据以及容量值最小的一组数据进行提取，并采用数字“0”对容量值最大的一组数据进行替换，采用数字“1”对容量值最小的一组数据进行替换，将对应的两组数据提取出，并进行合并，得到子包序列，并采用对应节点数据集合的数字标记S对子包序列进行相应标记；

S23、依次完成相应标记后，按照数字标记S，将节点数据集合进行排序整合，并进行组合，得到母包集合，再根据数字标记S，将子包序列进行排序整合，得到子包集合，将母包集合以及子包集合进行分开压缩，得到整合压缩包，并将整合压缩包传输至对应存储单元内进行存储，具体的，其中一组节点数据集合为ABCDEFG，假设数据C为容量值最大的一组数据，数据F为容量值最小的一组数据，则，采用数字0对数据C进行替换，采用数字1对数据F进行替换，替换后的节点数据集合则转换为AB0DE1 G，再将数据C以及数据F进行合并，得到子包序列，子包序列整合时便得到子包集合，将处理后的节点数据集合进行整合，得到母包集合，再将母包集合以及子包集合进行分开压缩，得到整合压缩包，采用此种方式，便可提升数据压缩过程中的压缩速率，减少数据压缩时间，从而在整体上提升数据压缩的整体效果；

S3、对整合压缩包进行存储，在存储过程中，设置对应的加密密钥，后续再根据整合压缩包的具体参数，对加密密钥进行修整，得到改变密钥，并将改变密钥传输至对应终端内，供外部人员查看，并删除系统内部所存在的改变密钥，其中，对加密密钥进行修整的具体方式为：

S31、在存储过程中，对所输入的四字加密密钥进行确认，将所确认的四字加密密钥设定为待修整密钥；

S32、再从整合压缩包内，将母包集合以及子包集合的容量参数进行确认，并将母包集合的容量参数标记为RL1，再将子包集合的容量参数标记为RL2，采用RL1-RL2＝CZ得到容量差值，再将容量差值CZ进行绝对值处理，得到待处理差值；

S33、分析确认待处理差值内部所存在的数字是否大于一组，若大于一组，直接提取待处理差值后两位的参数，作为待合并参数，若数字不大于一组，则直接提取对应的数字，并将数字0填补至对应数字之后，使对应的数字组合成两位数的参数，并作为待合并参数，具体的，假设对应的待处理差值为35.1，则直接提取对应的52作为待合并参数，假设对应的待处理差值为7，则直接提取对应的70作为待合并参数；

S34、将待修整密钥与待合并参数进行整合，将待合并参数填补至待修整密钥后端处，参数填补完毕后，得到对应的改变密钥，并将处理所得的改变密钥传输至外部终端内，供外部人员进行查看，并删除系统内所存在的改变密钥，具体的，原始输入的待修整密钥为1234，处理后的待合并参数为52，那么处理后的改变密钥则变为123452，将改变密钥传输至外部终端内，供对应的操作人员记忆，再删除内部所存在的改变密钥，便是为了避免外部人员对改变密钥进行窃取，假设外部人员窃取到对应的待修整密钥1234，也无法通过待修整密钥1234对整体压缩包进行解密；

实施例二

还包括步骤：

S4、外部人员需要提取对应的工业数据时，预先输入对应的密钥，提取对应的整合压缩包，再对整合压缩包进行解压处理，得到对应的工业数据，其中进行解压处理的具体方式为：

S41、根据所确认的整合压缩包，将内部的母包集合与子包集合进行差值处理，并将差值进行绝对值处理得到对应的待合并参数，再根据内部所存在的待修整密钥与待合并参数进行整合，得到改变密钥，将改变密钥与所输入的密钥进行比对，比对无误后，提取对应的整合压缩包，比对有误时，不进行任何处理；

S42、从整合压缩包内，通过数字标记S，将母包集合与子包集合内部的节点数据集合与子包序列进行比对，比对结果确认后，将子包序列内部的数据填补至节点数据集合内；

S43、再将节点数据集合进行合并处理，得到原始的初步缩减数据，再通过数据匹配表，将重复数据填补至初步缩减数据内，从而得到原始的工业数据，并进行展示，供外部人员进行查看。

实施例三

本实施例在具体实施过程中，包含上述两组实施例的全部实施过程。

上述公式中的部分数据均是去其纲量进行数值计算，同时本说明书中未作详细描述的内容均属于本领域技术人员公知的现有技术。

以上实施例仅用以说明本发明的技术方法而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方法进行修改或等同替换，而不脱离本发明技术方法的精神和范围。

Claims (6)

1.一种工业数据存贮的高性能压缩方法，其特征在于，包括以下步骤：

S1、对需要参与存贮的工业数据进行确认，并对所确认的工业数据进行预压缩处理，将整个工业数据的整体容量进行初步压缩，得到初步缩减数据；

S2、对处理所得的初步缩减数据进行再处理，根据数据之间的分隔符，将数据划分为若干个节点数据，再将节点数据进行处理，得到节点数据集合，再从节点数据集合内所存在的母包数据以及子包数据进行确认，并生成母包集合以及子包集合；

S3、对整合压缩包进行存储，在存储过程中，设置对应的加密密钥，后续再根据整合压缩包的具体参数，对加密密钥进行修整，得到改变密钥，并将改变密钥传输至对应终端内，供外部人员查看，并删除系统内部所存在的改变密钥；

S4、外部人员需要提取对应的工业数据时，预先输入对应的密钥，提取对应的整合压缩包，再对整合压缩包进行解压处理，得到对应的工业数据。

2.根据权利要求1所述的一种工业数据存贮的高性能压缩方法，其特征在于，所述步骤S1中，对所确认的工业数据进行预压缩处理的具体方式为：

S11、对工业数据进行接收确认，将工业数据内所存在的重复数据进行识别确认，并将同一重复数据采用同一标记对重复数据进行标记；

S12、采用重复标记CF_i对不同的重复数据进行替换，其中i＝1、2、……、n，n代表重复标记的个数，不同的重复数据替换完毕后，将重复标记CF_i与对应的重复数据进行捆绑，生成数据匹配表；

S13、将采用重复标记CF_i替换后的工业数据拟定为初步缩减数据，并同时对数据匹配表进行存储，便于后续将重复数据补齐至初步缩减数据内得到原始的工业数据。

3.根据权利要求2所述的一种工业数据存贮的高性能压缩方法，其特征在于，所述步骤S2中，从节点数据集合内所存在的母包数据以及子包数据进行确认的具体方式为：

S21、根据初步缩减数据内部所存在的分隔符，从初步缩减数据内确认若干个节点数据，按照排列顺序将k组节点数据合并为一个节点数据集合，且k为预设值，依次进行合并，得到若干组节点数据集合，并采用数字标记S对不同的节点数据集合进行标记，且S＝1、2、……、m，m代表节点数据集合的个数；

S22、根据数字标记S，将节点数据集合进行排序，从对应的节点数据集合内，将容量值最大的一组数据以及容量值最小的一组数据进行提取，并采用数字“0”对容量值最大的一组数据进行替换，采用数字“1”对容量值最小的一组数据进行替换，将对应的两组数据提取出，并进行合并，得到子包序列，并采用对应节点数据集合的数字标记S对子包序列进行相应标记；

S23、依次完成相应标记后，按照数字标记S，将节点数据集合进行排序整合，并进行组合，得到母包集合，再根据数字标记S，将子包序列进行排序整合，得到子包集合，将母包集合以及子包集合进行分开压缩，得到整合压缩包，并将整合压缩包传输至对应存储单元内进行存储。

4.根据权利要求3所述的一种工业数据存贮的高性能压缩方法，其特征在于，所述步骤S3中，对加密密钥进行修整的具体方式为：

S31、在存储过程中，对所输入的四字加密密钥进行确认，将所确认的四字加密密钥设定为待修整密钥；

S32、再从整合压缩包内，将母包集合以及子包集合的容量参数进行确认，并将母包集合的容量参数标记为RL1，再将子包集合的容量参数标记为RL2，采用RL1-RL2＝CZ得到容量差值，再将容量差值CZ进行绝对值处理，得到待处理差值；

S33、分析确认待处理差值内部所存在的数字是否大于一组，若大于一组，直接提取待处理差值后两位的参数，作为待合并参数，若数字不大于一组，则直接提取对应的数字，并将数字0填补至对应数字之后，使对应的数字组合成两位数的参数，并作为待合并参数；

S34、将待修整密钥与待合并参数进行整合，将待合并参数填补至待修整密钥后端处，参数填补完毕后，得到对应的改变密钥，并将处理所得的改变密钥传输至外部终端内，供外部人员进行查看，并删除系统内所存在的改变密钥。

5.根据权利要求4所述的一种工业数据存贮的高性能压缩方法，其特征在于，所述步骤S4中，对整合压缩包进行解压处理的具体方式为：

S41、根据所确认的整合压缩包，将内部的母包集合与子包集合进行差值处理，并将差值进行绝对值处理得到对应的待合并参数，再根据内部所存在的待修整密钥与待合并参数进行整合，得到改变密钥，将改变密钥与所输入的密钥进行比对，比对无误后，提取对应的整合压缩包；

S42、从整合压缩包内，通过数字标记S，将母包集合与子包集合内部的节点数据集合与子包序列进行比对，比对结果确认后，将子包序列内部的数据填补至节点数据集合内；

S43、再将节点数据集合进行合并处理，得到原始的初步缩减数据，再通过数据匹配表，将重复数据填补至初步缩减数据内，从而得到原始的工业数据，并进行展示，供外部人员进行查看。

6.根据权利要求5所述的一种工业数据存贮的高性能压缩方法，其特征在于，所述步骤S41中，比对有误时，不进行任何处理。