CN109739444A - 存储系统压缩数据的方法、装置、设备及可读存储介质 - Google Patents
存储系统压缩数据的方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN109739444A CN109739444A CN201910016897.XA CN201910016897A CN109739444A CN 109739444 A CN109739444 A CN 109739444A CN 201910016897 A CN201910016897 A CN 201910016897A CN 109739444 A CN109739444 A CN 109739444A
- Authority
- CN
- China
- Prior art keywords
- compression
- data block
- compressed
- compression algorithm
- storage system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000007906 compression Methods 0.000 claims abstract description 243
- 230000006835 compression Effects 0.000 claims abstract description 243
- 238000005070 sampling Methods 0.000 claims abstract description 26
- 238000004590 computer program Methods 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 abstract description 4
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000013144 data compression Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Abstract
本发明公开了一种存储系统压缩数据的方法，包括接收待压缩的数据块；将各个数据块按照预定压缩算法进行压缩，且并行获得采样数据块；采用多种不同的压缩算法对采样数据块进行压缩获得对应的压缩率；采用对应的压缩率最小的压缩算法为新的预定压缩算法，并为后续接收到的数据块进行压缩，以便对压缩完成的数据块进行存储写盘。本发明提供的方法，在对数据块进行压缩的同时，还对数据块进行采样分析，选出压缩率最小的压缩算法为后续数据块进行压缩，在最大程度上减小压缩后的数据块的占用空间，提高存储系统的压缩性能。本发明还提供了一种存储系统压缩数据的装置、设备以及计算机可读存储系统，具有上述有益效果。
Description
技术领域
本发明涉及计算机技术领域，特别是涉及一种存储系统压缩数据的方法、装置、设备及计算机可读存储介质。
背景技术
压缩是存储系统中的一个基本功能，是当前主流存储中设备中必备的一个功能点。压缩功能开启的优点，可以使主机端下发的数据在进行实际存盘时，变得更小，从而可以有效减少对磁盘空间的占用量；相对应的开启压缩的缺点是由于压缩本身需要占用系统资源，且需要耗费一定的时间，因此进行数据压缩会降低存储系统的写性能。
另一方面，不同的数据类型，由于数据结构的差异，其压缩率也会有很大的差异，因此大小相同但类型不同的数据，在经过压缩后，往往获得的压缩后的数据大小会有很大差别，例如普通的文本类型的数据，往往经过压缩后，大小可减少60％，甚至更多；而一些视频类型的数据，在经过压缩后，大小几乎不变。因此如果上层下发的数据压缩率很低，即使经过压缩也无法节省空间，反而会因为压缩造成系统资源无意义的损耗。
发明内容
本发明的目的是提供一种存储系统压缩数据的方法、装置、设备及计算机可读存储介质，解决了采用压缩功能而无法节省压缩空间的问题。
为解决上述技术问题，本发明提供一种存储系统压缩数据的方法，包括：
接收待压缩的数据块；
将各个所述数据块按照预定压缩算法进行压缩，且并行进行对接收到的数据块采样的操作，获得采样数据块；
采用多种不同的压缩算法对所述采样数据块进行压缩，获得每种压缩算法压缩所述采样数据块对应的压缩率；
采用对应的压缩率最小的压缩算法更新为新的所述预定压缩算法，并为后续接收到的数据块进行压缩，以便对压缩完成的数据块进行存储写盘。
其中，所述进行对接收到的数据块采样的操作包括：
周期性的对各个卷中接收的数据块进行采样操作，以便按照预设周期对所述预定压缩算法进行更新调整。
其中，在获得每种压缩算法对应的压缩率之后，还包括：
每个卷中，若每种压缩算法对相同的采样数据的压缩率均大于预设压缩率阈值，则不对所述卷中后续接收到的数据块进行压缩，并对所述数据块进行存储写盘。
其中，在获得每种压缩算法对应的压缩率之后，还包括：
每个卷中，对于相同的采样数据块，当存在两种的压缩算法的压缩率比其他压缩算法的压缩率都小，且两个所述压缩率的差值在预设差值范围内，则选取占用存储系统资源最少的压缩算法作为新的预定压缩算法。
其中，所述采用多种不同的压缩算法对所述数据块进行压缩包括：
采用至少包括GZIP压缩、LZO压缩、ZIPPY压缩的多种压缩算法对所述采样数据块进行压缩。
本发明还提供了一种存储系统压缩数据的装置，包括：
数据块接收模块，用于接收待压缩的数据块；
数据块压缩模块，用于将各个所述数据块按照预定压缩算法进行压缩，且并行进行对接收到的数据块采样的操作，获得采样数据块；采用多种不同的压缩算法对所述采样数据块进行压缩，获得每种压缩算法压缩所述采样数据块对应的压缩率；
压缩算法更新模块，采用对应的压缩率最小的压缩算法更新为新的所述预定压缩算法，并为后续接收到的数据块进行压缩，以便对压缩完成的数据块进行存储写盘。
其中，包括所述数据块压缩模块具体包括采样单元；
所述采样单元具体用于周期性的对各个卷中接收的数据块进行采样操作，以便按照预设周期对所述预定压缩算法进行更新调整。
其中，所述压缩算法更新模块具体还用于，每个卷中，当每种压缩算法对相同的采样数据的压缩率均大于预设压缩率阈值，则不对后续接收到的数据块进行压缩，并对所述数据块进行存储写盘。
本发明还提供了一种存储系统压缩数据的设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如上任一项所述的存储系统压缩数据的方法的操作。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述存储系统压缩数据的方法的步骤。
本发明所提供的存储系统压缩数据的方法，包括实时接收待压缩的数据块；将各个所述数据块按照预定压缩算法进行压缩，且并行进行对接收到的数据块采样的操作，获得采样数据块；采用多种不同的压缩算法对所述采样数据块进行压缩，获得每种压缩算法压缩所述采样数据块对应的压缩率；采用对应的压缩率最小的压缩算法更新为新的所述预定压缩算法，并为后续接收到的数据块进行压缩，以便对压缩完成的数据块进行存储写盘。本发明提供的方法，在对数据块进行压缩的同时，还对数据块进行采样分析，采用不用的压缩算法对数据块进行压缩，选出压缩率最小的压缩算法为后续数据块进行压缩，以便在最大程度上减小压缩后的数据块的占用空间，从而提高存储系统的压缩性能。
本发明还提供了一种存储系统压缩数据的装置、设备以及计算机可读存储系统，具有上述有益效果。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的存储系统压缩数据的方法的流程示意图；
图2为本发明另一实施例所提供的存储系统压缩数据的方法的流程示意图；
图3为本发明实施例提供的存储系统压缩数据的装置的结构框图。
具体实施方式
本发明的核心是提供一种存储系统压缩数据的方法、装置、设备及计算机可读存储介质，在存储系统中处理需要存储之前，选择合适的压缩方式，在最大程度上节省存储空间，提高存储空间的利用率。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，图1为本发明实施例提供的存储系统压缩数据的方法的流程示意图。该方法可以包括：
步骤S11：接收待压缩的数据块。
具体地，在实际存储数据过程中，首先，由最底层的磁盘组成存储池，由存储池负责整个数据空间的管理和写盘操作；存储池上划分出若干个卷，每个卷又可映射到主机端，供用户使用；此外，在卷与池之间增加压缩模块，经主机下发的IO数据，在到达存储池并进行写盘前，先通过压缩模块并数据进行压缩处理，在进行压缩处理前，需要将IO数据拆分为多个数据块，再分配到各个不同的卷进行压缩处理。
步骤S12：将各个数据块按照预定压缩算法进行压缩，进入步骤S16。
步骤S13：对接收到的数据块采样的操作，获得采样数据块。
步骤S14：采用多种不同的压缩算法对采样数据块进行压缩，获得每种压缩算法压缩采样数据块对应的压缩率。
对数据块进行采样，并采用多种不同的压缩算法对所述数据块进行压缩，获得每种压缩算法对应的压缩率。
压缩率(Compression ratio)，是指文件数据压缩后的大小与压缩前的大小之比率。例如，把100M大小的文件数据进行压缩后获得90M大小的压缩数据，那么，压缩率为(90M/100M)*100％＝90％；压缩率越小，压缩后的数据占用的空间也就越小，但是压缩率越小，解压耗费时间越长。
具体地，可以采用GZIP压缩、LZO压缩、ZIPPY压缩的多种压缩算法对同一种数据块进行压缩处理。最终获得每种压缩算法对应的压缩率，压缩率越小，说明对应的压缩方法压缩完成的数据块占磁盘空间越小。
可选地，按照预设周期对待压缩的数据块进行采样，以便按照预设周期对压缩数据块的压缩算法进行调整。
因为在持续的数据存储过程中，需要存储压缩的数据类型是变化的，如果对每个数据块进行存储前都进行压缩率的比较，会导致整个压缩程序耗时较长，影响压缩效率和存储系统的性能。
而考虑到在一定时长范围内，一般需要存储压缩的数据块均是属于同一类型的数据块，可以采用同一种压缩算法进行压缩。因此，可对待存储的数据块进行周期性的采样。而数据块的压缩和数据块的采样是并行进行的，在未判断出哪一种压缩算法压缩率更小时，先采用上一次选定的压缩算法进行压缩，当并行的采样并选取压缩率最小的压缩算法的步骤选出合适的压缩算法时，则更新数据块的压缩算法，以为后续同一类型的数据块的压缩节省空间。
步骤S15：采用对应的压缩率最小的压缩算法更新为新的预定压缩算法，进入步骤S12。
步骤S16：将压缩后的数据块进行写盘操作。
对于采用各种不同的压缩算法对数据块进行压缩后，获得的压缩率可能存在多种情况，比较常见的一种情况是存在一个压缩算法对应的压缩率最高，那么该压缩算法即为最适合采用的压缩率。但是也可能存在其他情况。
例如，每个所述卷中，若每种压缩算法对相同的采样数据的压缩率均大于预设压缩率阈值，则不对所述卷中后续接收到的数据块进行压缩，并对所述数据块进行存储写盘。
当各种压缩算法压缩数据块的压缩率均较大，而开启压缩功能本身还需要需要占用存储系统的资源，且需要耗费一定的时间，反而降低了存储系统的写性能。因此，在这种情况下可以直接放弃压缩数据块，而将数据块进行存盘操作，以达到最好的写性能。
每个所述卷中，对于相同的采样数据块，当存在两种压缩算法的压缩率比其他压缩算法的压缩率都小，且两个所述压缩率的差值在预设差值范围内，则选取占用存储系统资源最少的压缩算法作为新的预定压缩算法。
具体地，如果存在多种压缩算法对应的压缩率均较小，而各个压缩算法对应的压缩率之间相差不大甚至完全相同，那么，即可对比采用各个压缩算法所需要耗费的存储系统的资源，耗费资源越少，则说明采用该压缩算法性能最优。
总而言之，无论采用多种压缩算法对采样数据块压缩后，获得说明样的压缩结果，都应当根据具体地进行分析，在空间占用率和资源占用率之间进行协调平衡，在最大程度上达到二者的最优状态。
本发明中根据具体地数据类型进行采样分析，最终选取最优的压缩算法对待存储写入的数据块进行压缩，相对于传统的仅采用固定的压缩算法机械性的对接收的的数据进行压缩，在很大程度上节省了压缩后的数据块占用的存储空间。并进一步地针对采用不同压缩算法的各种结果进行具体情况具体分析，以达到数据存储时空间占用率和资源占用率最优化的状态，提高存储系统存储数据的性能和存数空间的存储能力，进而提高存储系统的写性能。
基于上述任意实施例，本发明还提供了另一中存储系统压缩数据的方法的实施例，具体地，可以参考图2，图2为本发明另一实施例所提供的存储系统压缩数据的方法的流程示意图，该方法可以包括：
步骤S21：各个卷中分别实时接收待压缩的数据块。
步骤S22：每个卷中分别按照预定压缩算法对数据块进行压缩，再进入步骤步骤S26。
步骤S23：按预设周期对卷中接收到的数据块进行采样，获得采样数据块。
步骤S24：对采样数据块采用多种压缩算法进行压缩，获得各种压缩算法对应的压缩率。
步骤S251：当存在对应压缩率最小的压缩算法，则该压缩算法为新的预定压缩算法，再进入步骤S22。
步骤S252：当每种压缩率均大于预设压缩率阈值，则进入步骤S26。
步骤S253：当存在两种的压缩算法的压缩率比其他压缩算法的压缩率都小，且两个压缩率的差值在预设差值范围内，则选取占用存储系统资源最少的压缩算法作为新的预定压缩算法，再进入步骤S22。
步骤S26：对数据块进行存盘。
需要说明的是，步骤S22和步骤S23至步骤S25不存在先后顺序，是并行处理的。且步骤S26中存盘的数据块，如果已经进行了压缩，则对压缩后的数据块进行压缩，如果未进行压缩，则直接将未压缩的数据块进行存盘。
下面对本发明实施例提供的存储系统压缩数据的装置进行介绍，下文描述的存储系统压缩数据的装置与上文描述的存储系统压缩数据的方法可相互对应参照。
图3为本发明实施例提供的存储系统压缩数据的装置的结构框图，参照图3中存储系统压缩数据的装置可以包括：
数据块接收模块100，用于接收待压缩的数据块；
数据块压缩模块200，用于将各个所述数据块按照预定压缩算法进行压缩，且并行进行对接收到的数据块采样的操作，获得采样数据块；采用多种不同的压缩算法对所述采样数据块进行压缩，获得每种压缩算法压缩所述采样数据块对应的压缩率。
具体地，可以分别采用包括GZIP压缩、LZO压缩、ZIPPY压缩的多种压缩算法对所述采样数据块进行压缩，获得对应的压缩率。
压缩算法更新模块300，采用对应的压缩率最小的压缩算法更新为新的所述预定压缩算法，并为后续接收到的数据块进行压缩，以便对压缩完成的数据块进行存储写盘。
可选地，在本发明的另一具体实施例中，所述数据块压缩模块200具体包括采样单元；
所述采样单元具体用于周期性的对各个卷中接收的数据块进行采样操作，以便按照预设周期对所述预定压缩算法进行更新调整。
可选地，在本发明的另一具体实施例中，所述压缩算法更新模块具体还用于，每个所述卷中，当每种压缩算法对相同的采样数据的压缩率均大于预设压缩率阈值，则不对后续接收到的数据块进行压缩，并对所述数据块进行存储写盘。
可选地，在本发明的另一具体实施例中，所述压缩算法更新模块具体还用于，每个所述卷中，对于相同的采样数据块，当存在两种的压缩算法的压缩率比其他压缩算法的压缩率都小，且两个所述压缩率的差值在预设差值范围内，则选取占用存储系统资源最少的压缩算法作为新的预定压缩算法。
本实施例的存储系统压缩数据的装置用于实现前述的存储系统压缩数据的方法，因此存储系统压缩数据的装置中的具体实施方式可见前文中的存储系统压缩数据的方法的实施例部分，例如，数据块接收模块100用于实现上述存储系统压缩数据的方法中步骤S11，数据块压缩模块200用于实现上述存储系统压缩数据的方法中步骤S11至S14，压缩算法更新模块300，用于实现上述存储系统压缩数据的方法中步骤S15和S16，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。
本发明中还提供了一种存储系统压缩数据的设备的实施例，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如上任意实施例所述的存储系统压缩数据的方法的操作。
本发明中还提供了一种计算机可读存储介质的实施例，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任意实施例所述存储系统压缩数据的方法的步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的存储系统压缩数据的方法以及装置、设备以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (10)
1.一种存储系统压缩数据的方法，其特征在于，包括：
接收待压缩的数据块；
将各个所述数据块按照预定压缩算法进行压缩，且并行进行对接收到的数据块采样的操作，获得采样数据块；
采用多种不同的压缩算法对所述采样数据块进行压缩，获得每种压缩算法压缩所述采样数据块对应的压缩率；
采用对应的压缩率最小的压缩算法更新为新的所述预定压缩算法，并为后续接收到的数据块进行压缩，以便对压缩完成的数据块进行存储写盘。
2.如权利要求1所述的方法，其特征在于，所述进行对接收到的数据块采样的操作包括：
周期性的对各个卷中接收的数据块进行采样操作，以便按照预设周期对所述预定压缩算法进行更新调整。
3.如权利要求1所述的方法，其特征在于，在获得每种压缩算法对应的压缩率之后，还包括：
每个卷中，若每种压缩算法对相同的采样数据的压缩率均大于预设压缩率阈值，则不对所述卷中后续接收到的数据块进行压缩，并对所述数据块进行存储写盘。
4.如权利要求1至3任一项所述的方法，其特征在于，在获得每种压缩算法对应的压缩率之后，还包括：
每个卷中，对于相同的采样数据块，当存在两种的压缩算法的压缩率比其他压缩算法的压缩率都小，且两个所述压缩率的差值在预设差值范围内，则选取占用存储系统资源最少的压缩算法作为新的预定压缩算法。
5.如权利要求4所述的方法，其特征在于，所述采用多种不同的压缩算法对所述数据块进行压缩包括：
采用至少包括GZIP压缩、LZO压缩、ZIPPY压缩的多种压缩算法对所述采样数据块进行压缩。
6.一种存储系统压缩数据的装置，其特征在于，包括：
数据块接收模块，用于接收待压缩的数据块；
数据块压缩模块，用于将各个所述数据块按照预定压缩算法进行压缩，且并行进行对接收到的数据块采样的操作，获得采样数据块；采用多种不同的压缩算法对所述采样数据块进行压缩，获得每种压缩算法压缩所述采样数据块对应的压缩率；
压缩算法更新模块，采用对应的压缩率最小的压缩算法更新为新的所述预定压缩算法，并为后续接收到的数据块进行压缩，以便对压缩完成的数据块进行存储写盘。
7.如权利要求6所述的装置，其特征在于，包括所述数据块压缩模块具体包括采样单元；
所述采样单元具体用于周期性的对各个卷中接收的数据块进行采样操作，以便按照预设周期对所述预定压缩算法进行更新调整。
8.如权利要求6所述的装置，其特征在于，所述压缩算法更新模块具体还用于，每个卷中，当每种压缩算法对相同的采样数据的压缩率均大于预设压缩率阈值，则不对后续接收到的数据块进行压缩，并对所述数据块进行存储写盘。
9.一种存储系统压缩数据的设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如权利要求1至5任一项所述的存储系统压缩数据的方法的操作。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述存储系统压缩数据的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910016897.XA CN109739444A (zh) | 2019-01-08 | 2019-01-08 | 存储系统压缩数据的方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910016897.XA CN109739444A (zh) | 2019-01-08 | 2019-01-08 | 存储系统压缩数据的方法、装置、设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109739444A true CN109739444A (zh) | 2019-05-10 |
Family
ID=66363931
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910016897.XA Withdrawn CN109739444A (zh) | 2019-01-08 | 2019-01-08 | 存储系统压缩数据的方法、装置、设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109739444A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110311687A (zh) * | 2019-07-09 | 2019-10-08 | 南京天数智芯科技有限公司 | 一种基于集成算法的时序数据无损压缩方法 |
| CN111431539A (zh) * | 2020-03-04 | 2020-07-17 | 杭州嘉楠耘智信息科技有限公司 | 一种神经网络数据的压缩方法、装置及计算机可读存储介质 |
| CN111552669A (zh) * | 2020-04-26 | 2020-08-18 | 北京达佳互联信息技术有限公司 | 数据处理方法、装置、计算设备和存储介质 |
| CN112905551A (zh) * | 2019-12-04 | 2021-06-04 | 阿里巴巴集团控股有限公司 | 数据压缩方法、装置、电子设备及计算机可读存储介质 |
| CN113590021A (zh) * | 2020-04-30 | 2021-11-02 | 株式会社日立制作所 | 存储系统 |
| WO2023279964A1 (zh) * | 2021-07-08 | 2023-01-12 | 华为技术有限公司 | 数据压缩方法、装置、计算设备及存储系统 |
-
2019
- 2019-01-08 CN CN201910016897.XA patent/CN109739444A/zh not_active Withdrawn
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110311687A (zh) * | 2019-07-09 | 2019-10-08 | 南京天数智芯科技有限公司 | 一种基于集成算法的时序数据无损压缩方法 |
| CN110311687B (zh) * | 2019-07-09 | 2022-10-04 | 上海天数智芯半导体有限公司 | 一种基于集成算法的时序数据无损压缩方法 |
| CN112905551A (zh) * | 2019-12-04 | 2021-06-04 | 阿里巴巴集团控股有限公司 | 数据压缩方法、装置、电子设备及计算机可读存储介质 |
| CN112905551B (zh) * | 2019-12-04 | 2022-04-29 | 阿里巴巴集团控股有限公司 | 数据压缩方法、装置、电子设备及计算机可读存储介质 |
| CN111431539A (zh) * | 2020-03-04 | 2020-07-17 | 杭州嘉楠耘智信息科技有限公司 | 一种神经网络数据的压缩方法、装置及计算机可读存储介质 |
| CN111431539B (zh) * | 2020-03-04 | 2023-12-08 | 嘉楠明芯(北京)科技有限公司 | 一种神经网络数据的压缩方法、装置及计算机可读存储介质 |
| CN111552669A (zh) * | 2020-04-26 | 2020-08-18 | 北京达佳互联信息技术有限公司 | 数据处理方法、装置、计算设备和存储介质 |
| CN113590021A (zh) * | 2020-04-30 | 2021-11-02 | 株式会社日立制作所 | 存储系统 |
| WO2023279964A1 (zh) * | 2021-07-08 | 2023-01-12 | 华为技术有限公司 | 数据压缩方法、装置、计算设备及存储系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109739444A (zh) | 存储系统压缩数据的方法、装置、设备及可读存储介质 | |
| US10511325B2 (en) | Dynamic data compression selection | |
| CN106484331B (zh) | 一种数据处理方法、装置及闪存设备 | |
| US9477682B1 (en) | Parallel compression of data chunks of a shared data object using a log-structured file system | |
| CN105245912B (zh) | 一种缓存视频数据及读取视频数据的方法及装置 | |
| Hauglid et al. | DYFRAM: dynamic fragmentation and replica management in distributed database systems | |
| US20140215170A1 (en) | Block Compression in a Key/Value Store | |
| CN104516824B (zh) | 数据存储系统中的存储管理方法和系统 | |
| CN103744627A (zh) | 对实时采集的数据压缩存储的方法及系统 | |
| EP1580672A3 (en) | Business application entity subscriptions synch operation management | |
| US20160246512A1 (en) | Data Compression Method and Storage System | |
| CN102385554A (zh) | 重复数据删除系统的优化方法 | |
| CN106055271B (zh) | 一种基于云计算的重复数据去重选择方法及装置 | |
| CN110457235A (zh) | 内存压缩方法、装置、终端及存储介质 | |
| CN102497450B (zh) | 一种基于两级体系的分布式数据压缩处理方法 | |
| CN111694518A (zh) | 一种集群扩容或缩容后数据自动迁移的方法、装置、设备 | |
| CN107273182A (zh) | 一种虚拟机资源动态扩充方法及系统 | |
| CN109450452A (zh) | 一种针对基因数据的取样字典树索引的压缩方法和系统 | |
| CN109445719B (zh) | 一种数据存储方法及装置 | |
| CN108139972A (zh) | 硬件辅助数据压缩中的存储器碎片管理 | |
| CN110601872A (zh) | 一种传输方法及装置、存储介质 | |
| CN110109865A (zh) | 一种数据存储方法、装置、设备及可读存储介质 | |
| CN110413206A (zh) | 存储系统中的操作控制方法、设备和计算机程序产品 | |
| CN105630999A (zh) | 服务器压缩数据的方法和装置 | |
| CN102143513B (zh) | 全球移动通信系统无线网络利用率的获取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20190510 |