CN115347902B - 存储系统镜像数据传输过程中自适应压缩方法及系统 - Google Patents

Abstract

本发明提出一种存储系统镜像数据传输过程中自适应压缩方法及系统，自适应压缩方法基于字典查询的思想，设置常规比较字典、高效比较字典和标准比较字典，借助MD5算法、SHA1算法和CRC32算法提取数据的特征，将数据的特征作为查询的索引，从常规比较字典、高效比较字典和标准比较字典中查询适合的压缩算法，能够减少算法选择过程中压缩算法的调用次数，提升压缩效率，并且，随着常规比较字典、高效比较字典和标准比较字典的不断完善，算法选择过程中压缩算法的调用次数会越来越少，压缩效率会进一步得到提升。

Description

存储系统镜像数据传输过程中自适应压缩方法及系统

技术领域

本发明涉及数据存储技术领域，特别是存储系统镜像数据传输过程中自适应压缩方法及系统。

背景技术

存储系统在业务运行过程中，为了确保业务运行的可靠性，在各个存储节点中进行大量数据镜像传输，如何保证数据传输的效率就变成一个关键问题。在原有的系统架构设计中，在数据镜像前并不会进行数据压缩，导致很多重复数据传输、占用了额外的镜像带宽。

后期也有系统进行过改进，通过依次尝试不同的压缩算法，然后从各种压缩算法结果中取最优的算法对应的压缩数据进行传输，这种架构实现面临的一个问题是无论数据的类型如何、无论数据适合哪种压缩算法，都需要对所有算法执行一遍，这样对系统CPU、内存资源的消耗会影响整体性能。

发明内容

为了解决现有技术中压缩算法的选择会影响存储系统的整体性能的技术问题，本发明提出的镜像数据传输过程中的自适应压缩方法包括如下步骤：

S1、存储系统初始化，具体包括设置常规压缩算法集合和高效压缩算法集合，初始化常规比较字典、高效比较字典和当前比较字典，将历史测速时间戳设置为none，加载标准训练数据和标准比较字典，常规比较字典中的压缩算法来源于常规压缩算法集合，高效比较字典中的压缩算法来源于高效压缩算法集合；

S2、判断存储系统当前是否处于数据传输状态，如果处于数据传输状态，进入S3，否则，进入S12；

S3、判断是否达到数据采样周期，如果达到采样周期，进行数据采样，进入S4，否则，进入S11；

S4、获取采样数据的特征数据，基于特征数据从标准比较字典中寻找是否存在相似记录，如果存在，则进入S5，否则，进入S6；

S5、根据相似记录更新当前AI确定的压缩算法，进入S11；

S6、根据当前时间戳和历史测速时间戳判断是否进行镜像带宽速率检测，如果进行速率检测，进入S7，否则，进入S8；

S7、根据镜像带宽速率设置当前比较字典；

S8、基于特征数据从当前比较字典中寻找是否存在相似记录，如果存在，则进入S9，否则，进入S10；

S9、根据相似记录更新当前AI确定的压缩算法，进入S11；

S10、调用当前比较字典对应的压缩算法集合，选择压缩算法，增加当前比较字典的记录；

S11、基于当前AI确定的压缩算法对数据进行压缩后传输，进入S2；

S12、判断当前存储系统的CPU和内存资源的消耗是否低于性能阈值，如果CPU和内存资源的消耗均低于性能阈值，则进入S13，否则，进入S2；

S13、基于标准训练数据扩充标准比较字典，进入S2。

优选的，在所述步骤S4中，分别采用MD5算法、SHA1算法和CRC32算法对采样数据进行运算获得三种不同的特征参数，组成采样数据特征向量，将采样数据特征向量与标准比较字典中的数据特征向量进行比较，判断是否存在相似的记录。

优选的，在所述步骤S4中，判断是否存在相似的记录的方法为采用二进制表示特征向量中的特征参数，若进行比较的两个特征参数中对应位置二进制数值相同的比例占到80%以上，则认为特征参数相似，在特征向量中存在两个以上的相似特征参数的情况下认定存在相似的记录。

优选的，在所述步骤S5中，如果相似的记录只有一条，则利用其对应的压缩算法更新当前AI确定的压缩算法，进入S11；如果相似的记录存在多条，则将多条记录对应的压缩算法进行去重处理，组成测试集合，采用测试集合中的压缩算法对采样数据进行压缩，比较压缩结果，选出最好的压缩算法更新当前AI确定的压缩算法，进入S11。

优选的，在所述步骤S6中，获取当前时间戳，在历史测速时间戳为none或者当前时间戳与历史测速时间戳之间的时间差大于时间阈值的情况下，将历史测速时间戳更新为当前时间戳，进入S7，否则，进入S8。

优选的，在所述步骤S7中，判断当前的镜像带宽速率，若镜像带宽速率大于速率阈值，则将当前比较字典设置为常规比较字典，否则，将当前比较字典设置为高效比较字典。

优选的，在所述步骤S10中，获取当前比较字典对应的压缩算法集合，利用压缩算法集合中的所有算法针对采样数据进行压缩，比较压缩结果，选出最好的压缩算法更新当前AI确定的压缩算法，并且，将采样数据特征向量和确定的压缩算法作为一条记录存入当前比较字典。

优选的，在所述步骤S13中，根据标准比较字典中记录的训练进度从标准训练数据中获取相应的标准采样样本，将常规压缩算法中的所有算法依次运用于标准采样样本，比较压缩效果，选出最适于当前标准采样样本的压缩算法，分别采用MD5算法、SHA1算法和CRC32算法对标准采样样本进行运算获得三种不同的特征参数，组成标准采样数据特征向量，将标准采样数据特征向量和对应的压缩算法存入标准比较字典，并且，更新训练进度。

优选的，在所述步骤S13中，在添加记录时，将标准采样数据特征向量与标准比较字典中的已有数据特征向量进行比对，在不存在相似记录或者存在相似记录，但采用的压缩算法不同的情况下，才将标准采样数据特征向量和对应的压缩算法存入标准比较字典。

本发明提出的镜像数据传输过程中的自适应压缩系统包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过运行所述计算机程序能够实现上述镜像数据传输过程中的自适应压缩方法。

相对于现有技术，本发明具有如下有益效果：

本发明基于字典查询的思想，设置常规比较字典、高效比较字典和标准比较字典，提取数据的特征，将数据的特征作为查询的索引，从常规比较字典、高效比较字典和标准比较字典中查询适合的压缩算法，能够减少算法选择过程中压缩算法的调用次数，提升压缩效率。

附图说明

图1是本发明自适应压缩方法的流程图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图说明本发明的具体实施方式。

如图1所示，镜像数据传输过程中的自适应压缩方法具体包括如下步骤：

S1、存储系统初始化，初始化具体涉及：1）设置常规压缩算法集合和高效压缩算法集合，常规压缩算法集合具体包括RLE、DELTA、BITPACK/BYTEPACK、LZ4、ZLIB、LOCALDICTIONARY，高效压缩算法集合来自于常规压缩算法集合，具体生成过程为基于公式

计算常规压缩算法集合中各个压缩算法的压缩效率P，公式中V_p代表压缩速度，R代表压缩比例，选择压缩效率大于效率阈值的压缩算法组成高效压缩算法集合，效率阈值为0.4；2）初始化常规比较字典、高效比较字典和当前比较字典，常规比较字典和高效比较字典中每一条记录包括数据特征向量和对应的压缩算法，数据特征向量包括分别采用MD5算法、SHA1算法和CRC32算法对采样数据进行运算获得的三种不同的特征参数，常规比较字典中的压缩算法来源于常规压缩算法集合，高效比较字典中的压缩算法来源于高效压缩算法集合，当前比较字典为当前操作使用的比较字典，初始化就是将常规比较字典和高效比较字典清空，将当前比较字典设置为常规比较字典；3）将历史测速时间戳设置为none；4）加载标准训练数据和标准比较字典，基于现有的图像识别训练样本集和语音识别训练样本集，基于随机算法从图像文件或语音文件中进行采样，获取标准采样样本，所有的标准采样样本组成标准训练数据，图像识别训练样本具体选用ImageNet，语音识别训练样本集具体选用SLR33 Aishell，由于图像识别训练样本集和语音识别训练样本集的数据量比较庞大，需要提前构建标准训练数据，在系统启动时加载相关数据，标准比较字典中每一条记录包括数据特征向量和对应的压缩算法，数据特征向量包括分别采用MD5算法、SHA1算法和CRC32算法对标准采样样本进行运算获得的三种不同的特征参数，在标准比较字典的构建过程中，依据标准训练数据中标准采样样本的存储顺序逐个进行训练，在训练过程中将常规压缩算法中的所有算法依次运用于标准采样样本，比较压缩效果，选出最适于当前标准采样样本的压缩算法，利用存储系统的空闲时间进行训练，将训练结果以离线文件的形式进行存储，并记录训练的进度，在存储系统启动时加载离线文件；5)将当前AI确定的压缩算法设定为默认值。

S2、判断存储系统当前是否处于数据传输状态，如果处于数据传输状态，进入步骤S3，否则，进入步骤S12。

S3、判断是否达到数据采样周期，如果达到采样周期，进行数据采样，进入步骤S4，否则，进入步骤S11。

S4、获取采样数据的特征数据，基于特征数据从标准比较字典中寻找是否存在相似记录，如果存在，则进入步骤S5，否则，进入步骤S6，具体地，分别采用MD5算法、SHA1算法和CRC32算法对采样数据进行运算获得三种不同的特征参数，组成采样数据特征向量，将采样数据特征向量与标准比较字典中的数据特征向量进行比较，判断是否存在相似的记录，如果存在，则进入步骤S5，否则，进入步骤S6。判断是否存在相似的记录的方法为采用二进制表示特征向量中的特征参数，若进行比较的两个特征参数中对应位置二进制数值相同的比例占到80%以上，则认为特征参数相似，在特征向量中存在两个以上的相似特征参数的情况下认定存在相似的记录。

S5、根据相似记录更新当前AI确定的压缩算法，进入步骤S11，具体地，如果相似的记录只有一条，则利用其对应的压缩算法更新当前AI确定的压缩算法，进入步骤S11；如果相似的记录存在多条，则将多条记录对应的压缩算法进行去重处理，组成测试集合，采用测试集合中的压缩算法对采样数据进行压缩，比较压缩结果，选出最好的压缩算法更新当前AI确定的压缩算法，进入步骤S11。

S6、根据当前时间戳和历史测速时间戳判断是否进行镜像带宽速率检测，如果进行速率检测，进入步骤S7，否则，进入步骤S8，具体地，获取当前时间戳，在历史测速时间戳为none或者当前时间戳与历史测速时间戳之间的时间差大于时间阈值（例如30min）的情况下，将历史测速时间戳更新为当前时间戳，进入步骤S7，否则，进入步骤S8。

S7、根据镜像带宽速率设置当前比较字典，具体地，判断当前的镜像带宽速率，若镜像带宽速率大于速率阈值，则将当前比较字典设置为常规比较字典，否则，将当前比较字典设置为高效比较字典。

S8、基于特征数据从当前比较字典中寻找是否存在相似记录，如果存在，则进入步骤S9，否则，进入步骤S10，具体地，将采样数据特征向量与当前比较字典中的数据特征向量进行比较，判断是否存在相似的记录，如果存在，则进入步骤S9，否则，进入步骤S10。

S9、根据相似记录更新当前AI确定的压缩算法，进入步骤S11，具体地，如果相似的记录只有一条，则利用其对应的压缩算法更新当前AI确定的压缩算法，进入步骤S11；如果相似的记录存在多条，则将多条记录对应的压缩算法进行去重处理，组成测试集合，采用测试集合中的压缩算法对采样数据进行压缩，比较压缩结果，选出最好的压缩算法更新当前AI确定的压缩算法，进入步骤S11。

S10、调用当前比较字典对应的压缩算法集合，选择压缩算法，增加当前比较字典的记录，具体地，获取当前比较字典对应的压缩算法集合，利用压缩算法集合中的所有算法针对采样数据进行压缩，比较压缩结果，选出最好的压缩算法更新当前AI确定的压缩算法，并且，将采样数据特征向量和确定的压缩算法作为一条记录存入当前比较字典。

S11、基于当前AI确定的压缩算法对数据进行压缩后传输，进入步骤S2。

S12、判断当前存储系统的CPU和内存资源的消耗是否低于性能阈值（例如为20%），如果CPU和内存资源的消耗均低于性能阈值，则进入步骤S13，否则，进入步骤S2。

S13、基于标准训练数据扩充标准比较字典，根据标准比较字典中记录的训练进度从标准训练数据中获取相应的标准采样样本，将常规压缩算法中的所有算法依次运用于标准采样样本，比较压缩效果，选出最适于当前标准采样样本的压缩算法，分别采用MD5算法、SHA1算法和CRC32算法对标准采样样本进行运算获得三种不同的特征参数，组成标准采样数据特征向量，将标准采样数据特征向量和对应的压缩算法存入标准比较字典，并且，更新训练进度，进入步骤S2。进一步地，为了避免标准比较字典中的数据量过大，出现过多的冗余数据，在添加记录时，将标准采样数据特征向量与标准比较字典中的已有数据特征向量进行比对，在不存在相似记录或者存在相似记录，但采用的压缩算法不同的情况下，才将标准采样数据特征向量和对应的压缩算法存入标准比较字典。

镜像数据传输过程中的自适应压缩系统包括处理器和存储器，存储器中存储有计算机程序，处理器通过运行计算机程序能够实现上述自适应压缩方法。

与现有技术相比，本发明具有如下有益效果：

基于字典查询的思想，设置常规比较字典、高效比较字典和标准比较字典，借助MD5算法、SHA1算法和CRC32算法提取数据的特征，将数据的特征作为查询的索引，从常规比较字典、高效比较字典和标准比较字典中查询适合的压缩算法，能够减少算法选择过程中压缩算法的调用次数，提升压缩效率，并且，随着常规比较字典、高效比较字典和标准比较字典的不断完善，算法选择过程中压缩算法的调用次数会越来越少，压缩效率会进一步得到提升。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围。应当指出，对于本技术领域的技术人员，在不脱离本发明设计结构及原理的前提下对本发明方案所作的等同变化都视作本发明的保护范围。

Claims (10)

1.一种存储系统镜像数据传输过程中自适应压缩方法，其特征在于,自适应压缩方法包括如下步骤：

S1、存储系统初始化，具体包括设置常规压缩算法集合和高效压缩算法集合，常规压缩算法集合具体包括RLE、DELTA、BITPACK/BYTEPACK、LZ4、ZLIB和LOCAL DICTIONARY，高效压缩算法集合来自于常规压缩算法集合，基于公式

计算常规压缩算法集合中各个压缩算法的压缩效率P，公式中V_p代表压缩速度，R代表压缩比例，选择压缩效率大于效率阈值的压缩算法组成高效压缩算法集合，初始化常规比较字典、高效比较字典和当前比较字典，将历史测速时间戳设置为none，加载标准训练数据和标准比较字典，常规比较字典中的压缩算法来源于常规压缩算法集合，高效比较字典中的压缩算法来源于高效压缩算法集合；

S2、判断存储系统当前是否处于数据传输状态，如果处于数据传输状态，进入S3，否则，进入S12；

S3、判断是否达到数据采样周期，如果达到采样周期，进行数据采样，进入S4，否则，进入S11；

S4、获取采样数据的特征数据，基于特征数据从标准比较字典中寻找是否存在相似记录，如果存在，则进入S5，否则，进入S6；

S5、根据相似记录更新当前AI确定的压缩算法，进入S11；

S6、根据当前时间戳和历史测速时间戳判断是否进行镜像带宽速率检测，如果进行速率检测，进入S7，否则，进入S8；

S7、根据镜像带宽速率设置当前比较字典；

S8、基于特征数据从当前比较字典中寻找是否存在相似记录，如果存在，则进入S9，否则，进入S10；

S9、根据相似记录更新当前AI确定的压缩算法，进入S11；

S10、调用当前比较字典对应的压缩算法集合，选择压缩算法，增加当前比较字典的记录；

S11、基于当前AI确定的压缩算法对数据进行压缩后传输，进入S2；

S12、判断当前存储系统的CPU和内存资源的消耗是否低于性能阈值，如果CPU和内存资源的消耗均低于性能阈值，则进入S13，否则，进入S2；

S13、基于标准训练数据扩充标准比较字典，进入S2。

2.根据权利要求1所述的存储系统镜像数据传输过程中自适应压缩方法，其特征在于，在所述S4中，分别采用MD5算法、SHA1算法和CRC32算法对采样数据进行运算获得三种不同的特征参数，组成采样数据特征向量，将采样数据特征向量与标准比较字典中的数据特征向量进行比较，判断是否存在相似的记录。

3.根据权利要求2所述的存储系统镜像数据传输过程中自适应压缩方法，其特征在于，在所述S4中，判断是否存在相似的记录的方法为采用二进制表示特征向量中的特征参数，若进行比较的两个特征参数中对应位置二进制数值相同的比例占到80%以上，则认为特征参数相似，在特征向量中存在两个以上的相似特征参数的情况下认定存在相似的记录。

4.根据权利要求1所述的存储系统镜像数据传输过程中自适应压缩方法，其特征在于，在所述S5中，如果相似的记录只有一条，则利用其对应的压缩算法更新当前AI确定的压缩算法，进入S11；如果相似的记录存在多条，则将多条记录对应的压缩算法进行去重处理，组成测试集合，采用测试集合中的压缩算法对采样数据进行压缩，比较压缩结果，选出最好的压缩算法更新当前AI确定的压缩算法，进入S11。

5.根据权利要求1所述的存储系统镜像数据传输过程中自适应压缩方法，其特征在于，在所述S6中，获取当前时间戳，在历史测速时间戳为none或者当前时间戳与历史测速时间戳之间的时间差大于时间阈值的情况下，将历史测速时间戳更新为当前时间戳，进入S7，否则，进入S8。

6.根据权利要求1所述的存储系统镜像数据传输过程中自适应压缩方法，其特征在于，在所述S7中，判断当前的镜像带宽速率，若镜像带宽速率大于速率阈值，则将当前比较字典设置为常规比较字典，否则，将当前比较字典设置为高效比较字典。

7.根据权利要求2所述的存储系统镜像数据传输过程中自适应压缩方法，其特征在于，在所述S10中，获取当前比较字典对应的压缩算法集合，利用压缩算法集合中的所有算法针对采样数据进行压缩，比较压缩结果，选出最好的压缩算法更新当前AI确定的压缩算法，并且，将采样数据特征向量和确定的压缩算法作为一条记录存入当前比较字典。

8.根据权利要求1所述的存储系统镜像数据传输过程中自适应压缩方法，其特征在于，在所述S13中，根据标准比较字典中记录的训练进度从标准训练数据中获取相应的标准采样样本，将常规压缩算法中的所有算法依次运用于标准采样样本，比较压缩效果，选出最适于当前标准采样样本的压缩算法，分别采用MD5算法、SHA1算法和CRC32算法对标准采样样本进行运算获得三种不同的特征参数，组成标准采样数据特征向量，将标准采样数据特征向量和对应的压缩算法存入标准比较字典，并且，更新训练进度。

9.根据权利要求8所述的存储系统镜像数据传输过程中自适应压缩方法，其特征在于，在所述S13中，在添加记录时，将标准采样数据特征向量与标准比较字典中的已有数据特征向量进行比对，在不存在相似记录或者存在相似记录，但采用的压缩算法不同的情况下，才将标准采样数据特征向量和对应的压缩算法存入标准比较字典。

10.一种存储系统镜像数据传输过程中自适应压缩系统，其特征在于,自适应压缩系统包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过运行所述计算机程序能够实现权利要求1-9中任一项所述的存储系统镜像数据传输过程中自适应压缩方法。

Images