CN109756230A - 数据压缩存储方法、数据压缩方法、装置、设备及介质 - Google Patents
数据压缩存储方法、数据压缩方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN109756230A CN109756230A CN201910005680.9A CN201910005680A CN109756230A CN 109756230 A CN109756230 A CN 109756230A CN 201910005680 A CN201910005680 A CN 201910005680A CN 109756230 A CN109756230 A CN 109756230A
- Authority
- CN
- China
- Prior art keywords
- pending data
- compression
- data
- compression algorithm
- memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 106
- 238000003860 storage Methods 0.000 title claims abstract description 51
- 238000013144 data compression Methods 0.000 title claims abstract description 42
- 238000007906 compression Methods 0.000 claims abstract description 233
- 230000006835 compression Effects 0.000 claims abstract description 233
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 158
- 230000015654 memory Effects 0.000 claims abstract description 130
- 238000012545 processing Methods 0.000 claims abstract description 44
- 230000008569 process Effects 0.000 claims description 32
- 230000004044 response Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 3
- 230000006837 decompression Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 230000005291 magnetic effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 210000000352 storage cell Anatomy 0.000 description 1
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开提供了一种数据压缩存储方法及装置、数据压缩方法及装置、电子设备、计算机可读存储介质,属于计算机技术领域。该数据压缩存储方法包括:获取需要写入存储器的待处理数据;确定待处理数据的访问特征信息;如果待处理数据的访问特征信息满足第一预设条件,则通过第一压缩算法压缩待处理数据,并将压缩后的待处理数据存储至存储器;如果待处理数据的访问特征信息不满足第一预设条件,则通过第二压缩算法压缩待处理数据,并将压缩后的待处理数据存储至存储器;其中,第一压缩算法的压缩比高于第二压缩算法,第一压缩算法的处理速率低于第二压缩算法。本公开可以提高数据压缩的灵活性,以满足不同场景的需求,并提高存储器的使用效率。
Description
技术领域
本公开涉及计算机技术领域,特别涉及一种数据压缩存储方法、数据压缩方法、数据压缩存储装置、数据压缩装置、电子设备及计算机可读存储介质。
背景技术
随着信息时代的来临,数据出现爆发性的增长趋势,需要对数据采取高效的方法进行存储。现有技术中,为了节约存储成本,尽可能在有限的存储空间内存放较多的数据,通常会将数据压缩后进行存储,以减小数据占用的空间,因此采取合适的压缩方法对于提高存储效率具有重要的意义。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开提供了一种数据压缩存储方法、数据压缩方法、数据压缩存储装置、数据压缩装置、电子设备及计算机可读存储介质,进而至少在一定程度上克服现有技术中未能采取合适的压缩方法的问题。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
根据本公开的一个方面,提供一种数据压缩存储方法,包括:获取需要写入存储器的待处理数据;确定所述待处理数据的访问特征信息;如果所述待处理数据的访问特征信息满足第一预设条件,则通过第一压缩算法压缩所述待处理数据,并将压缩后的所述待处理数据存储至所述存储器;如果所述待处理数据的访问特征信息不满足所述第一预设条件,则通过第二压缩算法压缩所述待处理数据,并将压缩后的所述待处理数据存储至所述存储器;其中,所述第一压缩算法的压缩比高于所述第二压缩算法,所述第一压缩算法的处理速率低于所述第二压缩算法。
在本公开的一种示例性实施例中,所述确定所述待处理数据的访问特征信息包括:获取所述待处理数据所属的对象,所述对象包括文件、进程或程序;根据所述对象的访问特征信息确定所述待处理数据的访问特征信息。
在本公开的一种示例性实施例中,所述访问特征信息包括访问频度,所述第一预设条件包括为所述访问频度设置的第一阈值;所述方法还包括:获取多个历史周期内多个对象的访问频度,并基于所述多个历史周期中各历史周期的权重,确定所述多个对象中各对象的访问频度。
在本公开的一种示例性实施例中,所述访问特征信息包括当前访问状态,所述当前访问状态包括前台访问状态或后台访问状态;所述如果所述待处理数据的访问特征信息满足第一预设条件,包括:如果所述待处理数据处于后台访问状态。
在本公开的一种示例性实施例中,所述第一压缩算法包括Zstandard压缩算法(一种无损数据压缩算法,缩写为Zstd),所述第二压缩算法包括LZ4压缩算法(另一种无损数据压缩算法)。
在本公开的一种示例性实施例中,所述存储器包括第一存储器与第二存储器;所述如果所述待处理数据的访问特征信息满足第一预设条件,则通过第一压缩算法压缩所述待处理数据,并将压缩后的所述待处理数据存储至所述存储器,包括:如果所述待处理数据的访问特征信息满足第一预设条件,则通过第一压缩算法压缩所述待处理数据,并将压缩后的所述待处理数据存储至所述第一存储器;所述如果所述待处理数据的访问特征信息不满足所述第一预设条件,则通过第二压缩算法压缩所述待处理数据,并将压缩后的所述待处理数据存储至所述存储器,包括:如果所述待处理数据的访问特征信息不满足所述第一预设条件,则通过第二压缩算法压缩所述待处理数据,并将压缩后的所述待处理数据存储至所述第二存储器。
在本公开的一种示例性实施例中,所述第一存储器包括随机存取存储器(RandomAccess Memory,RAM),所述第二存储器包括只读存储器(Read-Only Memory,ROM)。
根据本公开的一个方面,提供一种数据压缩方法,包括:获取待处理数据;确定所述待处理数据的访问特征信息;如果所述待处理数据的访问特征信息满足第二预设条件,则通过第二压缩算法压缩所述待处理数据;如果所述待处理数据的访问特征信息不满足所述第二预设条件,则通过第一压缩算法压缩所述待处理数据;其中,所述第一压缩算法的压缩比高于所述第二压缩算法,所述第一压缩算法的处理速率低于所述第二压缩算法。
在本公开的一种示例性实施例中,所述访问特征信息包括访问频度,所述第二预设条件包括为所述访问频度设置的第二阈值。
在本公开的一种示例性实施例中,所述获取待处理数据包括:响应于存储器的占用情况达到第三预设条件,将所述存储器中的数据确定为待处理数据。
根据本公开的一个方面,提供一种数据压缩存储装置,包括:数据获取模块,用于获取需要写入存储器的待处理数据;特征确定模块,用于确定所述待处理数据的访问特征信息;第一压缩模块,用于如果所述待处理数据的访问特征信息满足第一预设条件,则通过第一压缩算法压缩所述待处理数据,并将压缩后的所述待处理数据存储至所述存储器;第二压缩模块,用于如果所述待处理数据的访问特征信息不满足所述第一预设条件,则通过第二压缩算法压缩所述待处理数据,并将压缩后的所述待处理数据存储至所述存储器;其中,所述第一压缩算法的压缩比高于所述第二压缩算法,所述第一压缩算法的处理速率低于所述第二压缩算法。
根据本公开的一个方面,提供一种数据压缩装置,包括:数据获取模块,用于获取待处理数据;特征确定模块,用于确定所述待处理数据的访问特征信息;第一压缩模块,用于如果所述待处理数据的访问特征信息满足第二预设条件,则通过第二压缩算法压缩所述待处理数据;第二压缩模块,用于如果所述待处理数据的访问特征信息不满足所述第二预设条件,则通过第一压缩算法压缩所述待处理数据;其中,所述第一压缩算法的压缩比高于所述第二压缩算法,所述第一压缩算法的处理速率低于所述第二压缩算法。
根据本公开的一个方面,提供一种电子设备,包括:处理器;以及存储器,用于存储所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的数据压缩存储方法或上述任意一项所述的数据压缩方法。
根据本公开的一个方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任意一项所述的数据压缩存储方法或上述任意一项所述的数据压缩方法。
本公开的示例性实施例具有以下有益效果:
在需要存储待处理数据时,根据其访问特征信息确定采用压缩比较高的第一压缩算法或处理速率较快的第二压缩算法。该方法可以根据数据存储的具体场合采取合适的压缩算法,可以提高数据压缩的灵活性,以更好的满足实际需求,提高用户体验。进一步的,本示例性实施例对待处理数据进行压缩后存储,所采用压缩算法的压缩比或处理速率与待处理数据的特征是相适应的,可以有效地兼顾存储器的空间利用率与读写效率,从而提高存储器的使用效率。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出本示例性实施例中一种数据压缩存储方法的流程图;
图2示出本示例性实施例中另一种数据压缩存储方法的流程图;
图3示出本示例性实施例中一种数据压缩方法的流程图;
图4示出本示例性实施例中一种数据压缩存储装置的结构框图;
图5示出本示例性实施例中一种数据压缩装置的结构框图;
图6示出本示例性实施例中一种用于实现上述方法的电子设备;
图7示出本示例性实施例中另一种用于实现上述方法的电子设备;
图8示出本示例性实施例中一种用于实现上述方法的计算机可读存储介质。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的步骤。例如,有的步骤还可以分解,而有的步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
需要说明的是,本公开中,用语“第一”、“第二”、“第三”等仅作为标记使用,不是对其对象数量或次序的限制。
本公开的示例性实施例首先提供了一种数据压缩存储方法,可以应用于手机、计算机或其他具有存储器的电子设备上,参考图1所示,该方法可以包括以下步骤:
步骤S110,获取需要写入存储器的待处理数据。
其中,当电子设备具有多个存储器时,上述存储器可以是其中的任意一个,例如RAM、ROM或外接存储等。待处理数据为需要写入存储器的数据,可以是处理器在执行程序时所产生的数据,也可以是与其他设备或进程等进行交互所接收的数据,还可以是多个存储器之间交互的数据等。
在一示例性实施例中,步骤S110中的存储器可以是RAM,当系统运行程序时,RAM可以从ROM中获取程序运行所需的数据,即待处理数据,待处理数据可以通过本示例性实施例的方法进行压缩后存储至RAM中,以便于系统调用。
步骤S120,确定待处理数据的访问特征信息。
其中,访问特征信息是反映待处理数据被访问的方式、状态、访问需求等特征性的信息,且在一定程度上可以表征待处理数据在写入存储器后将被访问的情况。访问特征信息可以表现为待处理数据的访问频度、访问时间、访问方式、访问状态等多种具体形式,本公开对此不做特别限定。待处理数据可以具有在存储器中的索引信息,或者与旧版本数据之间的关联关系等,可用于确定待处理数据的访问特征信息,例如统计其索引位置被访问的频度,作为待处理数据的访问特征信息,或者确定其旧版本数据的访问方式(如只读的次数或修改的次数等),作为待处理数据的访问特征信息。
通常待处理数据并不是孤立的数据,其隶属于特定的对象,例如处理器在运行进程或程序时产生的待处理数据,属于该进程或程序,对文件进行修改所产生的待处理数据,属于该文件等。在一示例性实施例中,步骤S120可以通过以下步骤实现:
获取待处理数据所属的对象,该对象可以是文件、进程或程序;
根据该对象的访问特征信息确定待处理数据的访问特征信息。
其中,对象的访问特征信息可以是文件的读写次数、读写频度、读写时间、读写状态等,也可以是进程或程序的运行次数、运行频度、运行时间、运行状态等。系统可以记录并统计上述信息,例如手机系统可以统计手机上安装的每个App(Application,应用程序)的使用情况,计算机系统可以统计每个文件的读写情况等,得到相应对象的访问特征信息,作为待处理数据的访问特征信息。
在一示例性实施例中,步骤S120也可以通过以下步骤实现:
根据待处理数据的来源信息确定待处理数据的访问特征信息。
其中,来源信息是标识待处理数据发送方身份的信息,通过来源信息识别出发送方的身份后,可以根据本设备与发送方之间发生数据交互的频繁程度确定待处理数据的访问特征信息。举例说明,待处理数据来源于一远程服务器,则来源信息可以是该远程服务器的名称、IP地址(Internet Protocol,网络协议地址)、MAC地址(Media Access Control,物理地址)等,系统可以获取本设备与该远程服务器的历史访问记录,统计访问频度、访问时间等,并将其作为待处理数据的访问特征信息。
步骤S130,如果待处理数据的访问特征信息满足第一预设条件,则通过第一压缩算法压缩待处理数据,并将压缩后的待处理数据存储至存储器;
步骤S140,如果待处理数据的访问特征信息不满足第一预设条件,则通过第二压缩算法压缩待处理数据,并将压缩后的待处理数据存储至存储器;
其中,第一压缩算法的压缩比高于第二压缩算法,第一压缩算法的处理速率低于第二压缩算法。
表1示出了几种常用压缩算法的性能参数,其中压缩比是指压缩前的文件大小与压缩后的文件大小之比,其值大于1,越高表示压缩的程度越高;在另一些场合中压缩比也可以表示为压缩后的文件大小与压缩前的文件大小之比,其值小于1,越低表示压缩的程度越高;本公开采取前一种表示方法。另外,压缩速率与解压速率可以概括表述为压缩算法的处理速率。由表1中的数据可知,通常压缩比越高的压缩算法,其处理速率越低,例如zstdv1.3.4(指版本1.3.4的Zstandard压缩算法)与zlib v1.2.11的压缩比较高,但处理速率普遍低于压缩比较低的lz4v1.8.1与snappy v1.1.4。因此,压缩算法是在压缩比与处理速率两方面之间进行了取舍与平衡,一般更加注重于其中的一个方面,本示例性实施例中,第一压缩算法是指注重于压缩比的压缩算法,第二压缩算法是指注重于处理速率的算法。
表1
在不同情况下,根据实际需求,可以选择第一压缩算法或第二压缩算法。本示例性实施例中,通过待处理数据的访问特征信息以及第一预设条件来衡量在存储待处理数据时,需要更多的考虑压缩比还是处理速率。第一预设条件可视作关于待处理数据访问需求的衡量标准,如果达到第一预设条件,说明待处理数据的访问需求较高。例如:访问特征信息可以是访问频度,第一预设条件可以是为访问频度设置的第一阈值,如果待处理数据的访问频度达到第一阈值,说明待处理数据为高频访问的数据,期望其可以被长期且大量地存储于存储器中,以实现存储器的高效利用,采用压缩比较高的第一压缩算法可以满足该需求;如果待处理数据的访问频度未达到第一阈值,说明待处理数据为非高频访问的数据,无需大量地存储于存储器中,可以采用第二压缩算法,以满足该需求。
需要说明的是,本示例性实施例中,处理速率可以是压缩速率与解压速率中的任一个,也可以体现为二者的综合速率。通常一个压缩算法的压缩速率与解压速率是高度相关的,压缩速率快则解压速率快,例如压缩算法A的压缩速率与解压速率会同时高于或低于压缩算法B,此时处理速率可以笼统的指代其中的任一个;但是也存在压缩算法A的压缩速率高于压缩算法B、解压速率低于压缩算法B的情况(例如表1中lzolx与snappy的情况),根据实际应用的情况,可以将处理速率确定为压缩速率或解压速率,例如待处理数据在被存储至服务器后,将被以只读的形式访问的情况较多,则更加注重于对该数据的解压速率,此时处理速率可以指解压速率;或者也可以将压缩速率与解压速率综合计算出一个速率指标,例如二者的和、平均值,可以将其作为处理速率等等,本公开对此不做特别限定。
此外,在实际应用中,待处理数据的访问特征信息可以包括多个具体形式的信息,则第一预设条件也可以相应的包括多个具体的条件。例如访问特征信息可以包括待处理数据的访问频度与平均访问时长,第一预设条件可以是访问频度>p且平均访问时长>q,同时满足这两个条件的待处理数据为访问需求较高的待处理数据,对其进行步骤S130中的处理,只要不满足其中任一个条件,即认为不满足第一预设条件,对其进行步骤S140中的处理。
在一示例性实施例中,第一压缩算法可以是Zstandard压缩算法,第二压缩算法可以是LZ4压缩算法。由表1可知,Zstandard与LZ4压缩算法都具有较优的综合性能,其中Zstandard是现有的压缩算法中压缩比最高的算法之一,LZ4是现有的压缩算法中处理速率最快的算法之一,两者分别是需要高压缩比的场景中与需要快速处理的场景中的代表性压缩算法,在待处理数据的访问特征信息满足或不满足第一预设条件时,采取Zstandard或LZ4压缩算法,可以实现效率最大化。
基于上述说明,本示例性实施例中,在需要存储待处理数据时,根据其访问特征信息确定采用压缩比较高的第一压缩算法或处理速率较快的第二压缩算法。该方法可以根据数据存储的具体场合采取合适的压缩算法,可以提高数据压缩的灵活性,以更好的满足实际需求,提高用户体验。进一步的,本示例性实施例对待处理数据进行压缩后存储,所采用压缩算法的压缩比或处理速率与待处理数据的特征是相适应的,可以有效地兼顾存储器的空间利用率与读写效率,从而提高存储器的使用效率。
在一示例性实施例中,访问特征信息可以是访问频度,第一预设条件可以是为访问频度设置的第一阈值,待处理数据的访问频度可以是其所属的对象的访问频度,数据压缩存储方法还可以通过以下步骤确定该对象的访问频度:
获取多个历史周期内多个对象的访问频度,并基于多个历史周期中各历史周期的权重,确定多个对象中各对象的访问频度。
其中,上述多个对象可以是系统所能统计到的全部对象,通常是具有历史访问记录的文件、进程或程序等。一般在统计对象的访问频度时,统计其在一定的时间范围内的访问次数,例如最近一个月被访问5次或最近三个月被访问24次,其访问频度可以是5次/月或8次/月(最近三个月的平均),可见,该方法计算在统计的时间范围内的平均访问频度。本示例性实施例对该方法进行改进,按照预先确定的周期统计每个对象在每个历史周期内的访问频度,例如以距离当前时间最近的月为第一个月,第一个月的前一个月为第二个月并以此类推,统计对象A在第一个月的访问频度是8次,第二个月的访问频度是10次,第三个月的访问频度是6次,对三个月的访问频度进行加权计算,其中越靠近当前时间的周期,其权重越大,例如第一个月的权重为0.5,第二个月0.3,第三个月0.2,则最终计算的访问频度为8*0.5+10*0.3+6*0.3=8.8。通过该方法可以更准确的表征各对象当前的访问频度状态。
在一示例性实施例中,访问特征信息也可以是当前访问状态,当前访问状态是指待处理数据处于前台访问状态或后台访问状态;相应的,步骤S130与S140可以分别通过以下步骤实现:
如果待处理数据处于后台访问状态,则通过第一压缩算法压缩待处理数据,并将压缩后的待处理数据存储至存储器;
如果待处理数据处于前台访问状态,则通过第二压缩算法压缩待处理数据,并将压缩后的待处理数据存储至存储器。
其中,待处理数据处于前台访问状态是指,待处理数据属于前台运行的进程或程序,或待处理数据所属的文件被前台进程所读写等,在前台进程中,数据的读写频率较高,对响应时间的要求较高,通过第二压缩算法对数据进行压缩,可以满足对于高处理速率的需求。前台进程可以是当前运行于界面顶端的程序进程,也可以是任务栈中位于栈顶的任务进程等,例如手机中当前打开的程序进程是前台进程,如果关闭该进程,则任务栈中第二位的进程顺次成为前台进程。相反的,前台进程以外的运行中的进程为后台进程,如果待处理数据属于后台进程,或待处理数据所属的文件被后台进程所读写等,则待处理数据处于后台访问状态,通常后台进程的数据读写频率较低,对响应时间的要求较低,例如Linux系统中的kswapd进程定期在后台进行内存压缩,为后台进程,其数据读写的速率对用户的使用感受影响较小,因此可以通过第一压缩算法压缩该进程相关的待处理数据,以减小对存储空间的占用。
在一示例性实施例中,数据压缩存储方法的流程可以如图2所示,包括以下步骤:
步骤S210,获取待处理数据;
步骤S220,识别出待处理数据的访问特征信息,访问特征信息中包括待处理数据的当前访问状态与访问频度;
步骤S230,根据待处理数据的当前访问状态判断其是否处于前台访问的状态;
步骤S240,若处于前台访问的状态,则通过第二压缩算法将待处理数据进行压缩;
步骤S250,若处于后台访问的状态,则继续根据待处理数据的访问频度判断其是否为高频访问的数据;
步骤S260,若是高频访问的数据,则通过第二压缩算法将待处理数据进行压缩;
步骤S270,若是低频访问的数据,则通过第一压缩算法将待处理数据进行压缩;
步骤S280,将压缩后的待处理数据存储至存储器。
通过上述方法流程,可以通过双层级的判断机制对待处理数据进行区分性的压缩处理,以进一步提高存储器中数据存储与管理的效率。
在一示例性实施例中,步骤S110中的存储器可以包括第一存储器与第二存储器,相应的,步骤S130可以包括以下步骤:
如果待处理数据的访问特征信息满足第一预设条件,则通过第一压缩算法压缩待处理数据,并将压缩后的待处理数据存储至第一存储器;
步骤S140可以包括以下步骤:
如果待处理数据的访问特征信息不满足第一预设条件,则通过第二压缩算法压缩待处理数据,并将压缩后的待处理数据存储至第二存储器。
其中,第一存储器与第二存储器为电子设备中不同级别的存储单元,本示例性实施例中,第一存储器的读写速率更快、读写级别更高,即处理器更倾向于与第一存储器进行数据交互,对于只有第二存储器上才有的数据,可以将其先写入第一存储器,由处理器读取,或处理器直接从第二存储器上读取。例如在计算机的双硬盘结构中,第一存储器可以是计算机上的SSD(Solid State Disk,固态硬盘),第二存储器可以是计算机上的HDD(HardDisk Drive,机械硬盘)。
在一示例性实施例中,第一存储器是与处理器直接进行数据交互的存储器,可以是RAM,例如手机的运行内存、计算机的内存或缓存等,第二存储器是不与处理器直接进行数据交互的存储器,可以是ROM,例如手机的闪存、计算机的硬盘等。
通常第一存储器的存储空间较小,为了实现较高的利用率,可以仅存放访问需求较高的数据,即满足第一预设条件的待处理数据,并通过第一压缩算法将其压缩至较小的数据量,以便于更多的存储数据。另一方面,第二存储器的存储空间较大,但读写速率较慢,通过第二压缩算法压缩压缩访问需求相对较低的数据,即不满足第一预设条件的待处理数据,并将其存储于第二存储器,以减少读取这部分数据时的响应时间。通过上述方法,可以在多层级的存储结构中,根据数据的访问需求对其进行分层级的压缩与存储管理,形成多层级的数据结构,以进一步提高存储器的使用效率以及数据的读写效率。
本公开的示例性实施例还提供了一种数据压缩方法,参考图3所示,该方法可以包括以下步骤:
步骤S310,获取待处理数据;
步骤S320,确定待处理数据的访问特征信息;
步骤S330,如果待处理数据的访问特征信息满足第二预设条件,则通过第二压缩算法压缩待处理数据;
步骤S340,如果待处理数据的访问特征信息不满足第二预设条件,则通过第一压缩算法压缩待处理数据;
其中,第一压缩算法的压缩比高于第二压缩算法,第一压缩算法的处理速率低于第二压缩算法。待处理数据可以是需要写入存储器的待存储数据,也可以是存储器中需要进行压缩整理的数据等。第二预设条件是衡量待处理数据的访问需求是否较高的标准,如果待处理数据的访问特征信息满足第二预设条件,可以认为其访问需求较高,对处理速率的要求较高,通过第二压缩算法将其进行压缩,以提高后续访问该数据时的效率;如果待处理数据的访问特征信息满足第二预设条件,可以认为其访问需求较低,对处理速率的要求较低,通过第一压缩算法将其进行压缩,以减小数据占用的空间。
基于上述说明,根据第二预设条件判断待处理数据为访问需求较高或较低的数据,并采取第二压缩算法或第一压缩算法对其进行压缩,可以在节约存储空间的基础上,对访问需求较高的数据采用处理速率较快的算法进行压缩,以降低频繁访问该数据所导致的压缩与解压缩过程中的等待时间,对访问需求较低的数据采用压缩比较高的算法进行压缩,以降低该数据对存储空间的占用,从而实现了高效的数据压缩处理。
需要说明的是,图3所示的方法与图1所示的方法为针对不同场景所采用的不同方法,两种方法的出发点不同,所实现的技术效果也有差异。第一预设条件与第二预设条件为针对不同场景所设定的关于数据访问特征信息的条件,二者之间并无关联。
在一示例性实施例中,访问特征信息可以是访问频度,第二预设条件可以是为访问频度设置的第二阈值。如果待处理数据的访问频度达到第二阈值,可以认为其访问需求较高,如果待处理数据的访问频度未达到第二阈值,可以认为其访问需求较低,可以更加直观量化的对待处理数据进行分类,以针对性地采用不同的压缩算法。由上可知,第二预设条件与第一预设条件之间无关联,因此第二阈值与第一阈值之间也无关联,二者可以相同,也可以不同。
在一示例性实施例中,步骤S310可以包括以下步骤:
响应于存储器的占用情况达到第三预设条件,将存储器中的数据确定为待处理数据。
其中,第三预设条件可以是为存储器的占用率设定的第三阈值,当存储器的占用率达到第三阈值时,将其中的数据作为待处理数据,进行本示例性实施例的数据压缩,以减小存储器的占用率,留出更多的可用空间。第三预设条件也可以是为存储器中特定区域的占用率设定的阈值,例如系统分区的占用率达到阈值时,对其中的数据进行压缩处理,还可以是对存储器的占用变化情况设定的条件,例如占用率在短时间内升高达到一定的程度,对其中的数据进行压缩处理,本公开对于第三预设条件的具体内容不做限定。
应当理解,在上述步骤中,可以将存储器中的全部数据确定为待处理数据,也可以将其中的一部分确定为待处理数据,例如为了使存储器的占用率恢复到第三阈值以下,可以计算出需要进行压缩的数据量,按照该数据量确定相应的数据为待处理数据;进一步的,当选择性地将存储器中的一部分数据确定为待处理数据时,可以优先将其中访问需求较低的数据作为待处理数据,也可以将数据量较大的文件或程序中的数据作为待处理数据等,本公开对此不做特别限定。
在一示例性实施例中,待处理数据可以是位于RAM中的数据,则通过上述方法进行压缩处理,可以减小待处理数据占用RAM的空间大小,使得RAM可以容纳更多的数据,提高RAM的使用效率。
本公开的示例性实施例还提供了一种数据压缩存储装置,参考图4所示,该装置400可以包括:数据获取模块410,用于获取需要写入存储器的待处理数据;特征确定模块420,用于确定待处理数据的访问特征信息;第一压缩模块430,用于如果待处理数据的访问特征信息满足第一预设条件,则通过第一压缩算法压缩待处理数据,并将压缩后的待处理数据存储至存储器;第二压缩模块440,用于如果待处理数据的访问特征信息不满足第一预设条件,则通过第二压缩算法压缩待处理数据,并将压缩后的待处理数据存储至存储器;其中,第一压缩算法的压缩比高于第二压缩算法,第一压缩算法的处理速率低于第二压缩算法。
在一示例性实施例中,特征确定模块420可以用于获取待处理数据所属的对象,该对象可以是文件、进程或程序,并根据该对象的访问特征信息确定待处理数据的访问特征信息。
在一示例性实施例中,访问特征信息可以是访问频度,第一预设条件可以是为访问频度设置的第一阈值;特征确定模块420还可以用于获取多个历史周期内多个对象的访问频度,并基于多个历史周期中各历史周期的权重,确定多个对象中各对象的访问频度。
在一示例性实施例中,访问特征信息可以是当前访问状态,当前访问状态包括前台访问状态或后台访问状态;第一压缩模块430可以用于如果待处理数据处于后台访问状态,则通过第一压缩算法压缩待处理数据,并将压缩后的待处理数据存储至存储器;第二压缩模块440可以用于如果待处理数据处于前台访问状态,则通过第二压缩算法压缩待处理数据,并将压缩后的待处理数据存储至存储器。
在一示例性实施例中,第一压缩算法可以是Zstandard压缩算法,第二压缩算法可以是LZ4压缩算法。
在一示例性实施例中,存储器可以包括第一存储器与第二存储器;第一压缩模块430可以用于如果待处理数据的访问特征信息满足第一预设条件,则通过第一压缩算法压缩待处理数据,并将压缩后的待处理数据存储至第一存储器;第二压缩模块440可以用于如果待处理数据的访问特征信息不满足第一预设条件,则通过第二压缩算法压缩待处理数据,并将压缩后的待处理数据存储至第二存储器。
在一示例性实施例中,第一存储器可以是随机存取存储器,第二存储器可以是只读存储器。
本公开的示例性实施例还提供了一种数据压缩装置,参考图5所示,该装置500可以包括:数据获取模块510,用于获取待处理数据;特征确定模块520,用于确定待处理数据的访问特征信息;第一压缩模块530,用于如果待处理数据的访问特征信息满足第二预设条件,则通过第二压缩算法压缩待处理数据;第二压缩模块540,用于如果待处理数据的访问特征信息不满足第二预设条件,则通过第一压缩算法压缩待处理数据;其中,第一压缩算法的压缩比高于第二压缩算法,第一压缩算法的处理速率低于第二压缩算法。
在一示例性实施例中,访问特征信息可以是访问频度,第二预设条件可以是为访问频度设置的第二阈值。
在一示例性实施例中,数据获取模块510可以用于响应于存储器的占用情况达到第三预设条件,将存储器中的数据确定为待处理数据。
上述各模块的具体细节已经在对应的方法部分实施例中进行了详细的说明,因此不再赘述。
本公开的示例性实施例还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解,本公开的各个方面可以实现为系统、方法或程序产品。因此,本公开的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
下面参照图6来描述根据本公开的这种示例性实施例的电子设备600。图6显示的电子设备600仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示,电子设备600可以包括处理器610与存储器620,存储器620用于存储处理器610的可执行指令,处理器610配置为经由执行该可执行指令来执行本公开各种示例性实施例的方法。可执行指令通常为程序代码,程序代码可被处理器610执行,例如处理器610通过执行程序代码而执行图1、图2或图3所示的方法步骤。
在一示例性实施例中,如图7所示,电子设备700可以以通用计算设备的形式表现。其中,处理器表现为至少一个处理单元710,存储器表现为至少一个存储单元720,此外,电子设备700的组件还可以包括但不限于:连接不同系统组件(包括存储单元720和处理单元710)的总线730、显示单元740等。
存储单元720可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)721和/或高速缓存存储单元722,还可以进一步包括只读存储单元(ROM)723。
存储单元720还可以包括具有一组(至少一个)程序模块725的程序/实用工具724,这样的程序模块725包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线730可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备700也可以与一个或多个外部设备900(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备700交互的设备通信,和/或与使得该电子设备700能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口750进行。并且,电子设备700还可以通过网络适配器760与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器760通过总线730与电子设备700的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备700使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开示例性实施例的方法。
本公开的示例性实施例还提供了一种计算机可读存储介质,其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中,本公开的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在终端设备上运行时,程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。
参考图8所示,描述了根据本公开的示例性实施例的用于实现上述方法的程序产品800,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本公开的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码,程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外,上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的示例性实施例,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。
Claims (14)
1.一种数据压缩存储方法,其特征在于,包括:
获取需要写入存储器的待处理数据;
确定所述待处理数据的访问特征信息;
如果所述待处理数据的访问特征信息满足第一预设条件,则通过第一压缩算法压缩所述待处理数据,并将压缩后的所述待处理数据存储至所述存储器;
如果所述待处理数据的访问特征信息不满足所述第一预设条件,则通过第二压缩算法压缩所述待处理数据,并将压缩后的所述待处理数据存储至所述存储器;
其中,所述第一压缩算法的压缩比高于所述第二压缩算法,所述第一压缩算法的处理速率低于所述第二压缩算法。
2.根据权利要求1所述的方法,其特征在于,所述确定所述待处理数据的访问特征信息包括:
获取所述待处理数据所属的对象,所述对象包括文件、进程或程序;
根据所述对象的访问特征信息确定所述待处理数据的访问特征信息。
3.根据权利要求2所述的方法,其特征在于,所述访问特征信息包括访问频度,所述第一预设条件包括为所述访问频度设置的第一阈值;
所述方法还包括:
获取多个历史周期内多个对象的访问频度,并基于所述多个历史周期中各历史周期的权重,确定所述多个对象中各对象的访问频度。
4.根据权利要求2所述的方法,其特征在于,所述访问特征信息包括当前访问状态,所述当前访问状态包括前台访问状态或后台访问状态;
所述如果所述待处理数据的访问特征信息满足第一预设条件,包括:
如果所述待处理数据处于后台访问状态。
5.根据权利要求1所述的方法,其特征在于,所述第一压缩算法包括Zstandard压缩算法,所述第二压缩算法包括LZ4压缩算法。
6.根据权利要求1所述的方法,其特征在于,所述存储器包括第一存储器与第二存储器;
所述如果所述待处理数据的访问特征信息满足第一预设条件,则通过第一压缩算法压缩所述待处理数据,并将压缩后的所述待处理数据存储至所述存储器,包括:
如果所述待处理数据的访问特征信息满足第一预设条件,则通过第一压缩算法压缩所述待处理数据,并将压缩后的所述待处理数据存储至所述第一存储器;
所述如果所述待处理数据的访问特征信息不满足所述第一预设条件,则通过第二压缩算法压缩所述待处理数据,并将压缩后的所述待处理数据存储至所述存储器,包括:
如果所述待处理数据的访问特征信息不满足所述第一预设条件,则通过第二压缩算法压缩所述待处理数据,并将压缩后的所述待处理数据存储至所述第二存储器。
7.根据权利要求6所述的方法,其特征在于,所述第一存储器包括随机存取存储器,所述第二存储器包括只读存储器。
8.一种数据压缩方法,其特征在于,包括:
获取待处理数据;
确定所述待处理数据的访问特征信息;
如果所述待处理数据的访问特征信息满足第二预设条件,则通过第二压缩算法压缩所述待处理数据;
如果所述待处理数据的访问特征信息不满足所述第二预设条件,则通过第一压缩算法压缩所述待处理数据;
其中,所述第一压缩算法的压缩比高于所述第二压缩算法,所述第一压缩算法的处理速率低于所述第二压缩算法。
9.根据权利要求8所述的方法,其特征在于,所述访问特征信息包括访问频度,所述第二预设条件包括为所述访问频度设置的第二阈值。
10.根据权利要求8所述的方法,其特征在于,所述获取待处理数据包括:
响应于存储器的占用情况达到第三预设条件,将所述存储器中的数据确定为待处理数据。
11.一种数据压缩存储装置,其特征在于,包括:
数据获取模块,用于获取需要写入存储器的待处理数据;
特征确定模块,用于确定所述待处理数据的访问特征信息;
第一压缩模块,用于如果所述待处理数据的访问特征信息满足第一预设条件,则通过第一压缩算法压缩所述待处理数据,并将压缩后的所述待处理数据存储至所述存储器;
第二压缩模块,用于如果所述待处理数据的访问特征信息不满足所述第一预设条件,则通过第二压缩算法压缩所述待处理数据,并将压缩后的所述待处理数据存储至所述存储器;
其中,所述第一压缩算法的压缩比高于所述第二压缩算法,所述第一压缩算法的处理速率低于所述第二压缩算法。
12.一种数据压缩装置,其特征在于,包括:
数据获取模块,用于获取待处理数据;
特征确定模块,用于确定所述待处理数据的访问特征信息;
第一压缩模块,用于如果所述待处理数据的访问特征信息满足第二预设条件,则通过第二压缩算法压缩所述待处理数据;
第二压缩模块,用于如果所述待处理数据的访问特征信息不满足所述第二预设条件,则通过第一压缩算法压缩所述待处理数据;
其中,所述第一压缩算法的压缩比高于所述第二压缩算法,所述第一压缩算法的处理速率低于所述第二压缩算法。
13.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1-7任一项所述的数据压缩存储方法或权利要求8-10任一项所述的数据压缩方法。
14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-7任一项所述的数据压缩存储方法或权利要求8-10任一项所述的数据压缩方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910005680.9A CN109756230B (zh) | 2019-01-03 | 2019-01-03 | 数据压缩存储方法、数据压缩方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910005680.9A CN109756230B (zh) | 2019-01-03 | 2019-01-03 | 数据压缩存储方法、数据压缩方法、装置、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109756230A true CN109756230A (zh) | 2019-05-14 |
CN109756230B CN109756230B (zh) | 2024-02-27 |
Family
ID=66405157
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910005680.9A Active CN109756230B (zh) | 2019-01-03 | 2019-01-03 | 数据压缩存储方法、数据压缩方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109756230B (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111427872A (zh) * | 2020-02-28 | 2020-07-17 | 联想(北京)有限公司 | 一种数据写入方法、装置及计算机可读存储介质 |
CN111552669A (zh) * | 2020-04-26 | 2020-08-18 | 北京达佳互联信息技术有限公司 | 数据处理方法、装置、计算设备和存储介质 |
CN111683046A (zh) * | 2020-04-29 | 2020-09-18 | 平安国际智慧城市科技股份有限公司 | 文件压缩以及获取的方法、装置、设备及存储介质 |
CN111817722A (zh) * | 2020-07-09 | 2020-10-23 | 北京奥星贝斯科技有限公司 | 数据压缩方法、装置及计算机设备 |
CN112527752A (zh) * | 2020-12-08 | 2021-03-19 | 北京地平线信息技术有限公司 | 数据压缩方法、装置、计算机可读存储介质及电子设备 |
CN112540984A (zh) * | 2020-11-23 | 2021-03-23 | 成都佳华物链云科技有限公司 | 数据存储方法、查询方法、装置、电子设备及存储介质 |
CN112583415A (zh) * | 2020-12-17 | 2021-03-30 | 上海坚芯电子科技有限公司 | 墨盒芯片的数据压缩存储方法和系统 |
CN112671693A (zh) * | 2019-10-16 | 2021-04-16 | 中国移动通信集团山东有限公司 | 一种视频数据压缩方法、装置、存储介质和基站 |
CN112883124A (zh) * | 2021-03-17 | 2021-06-01 | 重庆紫光华山智安科技有限公司 | 数据处理方法、装置、计算机设备及存储介质 |
CN112965664A (zh) * | 2021-03-08 | 2021-06-15 | 北京金山云网络技术有限公司 | 一种数据压缩的方法和相关装置 |
CN113542225A (zh) * | 2021-06-17 | 2021-10-22 | 深圳市合广测控技术有限公司 | 一种数据的压缩方法、装置、终端设备及存储介质 |
CN113886346A (zh) * | 2021-08-31 | 2022-01-04 | 联想(北京)有限公司 | 一种数据处理方法及电子设备 |
WO2022217517A1 (zh) * | 2021-04-14 | 2022-10-20 | 华为技术有限公司 | 一种存储控制装置和在存储控制装置中执行的方法 |
CN115905168A (zh) * | 2022-11-15 | 2023-04-04 | 本原数据(北京)信息技术有限公司 | 自适应压缩方法和压缩装置、计算机设备、存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101526923A (zh) * | 2009-04-02 | 2009-09-09 | 成都市华为赛门铁克科技有限公司 | 一种数据处理方法、装置和闪存存储系统 |
CN106066770A (zh) * | 2016-05-25 | 2016-11-02 | 北京小米移动软件有限公司 | 存储空间管理方法及装置 |
CN107506284A (zh) * | 2017-08-31 | 2017-12-22 | 北京麒麟合盛网络技术有限公司 | 日志处理方法及装置 |
CN108234552A (zh) * | 2016-12-15 | 2018-06-29 | 腾讯科技(深圳)有限公司 | 一种数据存储方法及装置 |
-
2019
- 2019-01-03 CN CN201910005680.9A patent/CN109756230B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101526923A (zh) * | 2009-04-02 | 2009-09-09 | 成都市华为赛门铁克科技有限公司 | 一种数据处理方法、装置和闪存存储系统 |
CN106066770A (zh) * | 2016-05-25 | 2016-11-02 | 北京小米移动软件有限公司 | 存储空间管理方法及装置 |
CN108234552A (zh) * | 2016-12-15 | 2018-06-29 | 腾讯科技(深圳)有限公司 | 一种数据存储方法及装置 |
CN107506284A (zh) * | 2017-08-31 | 2017-12-22 | 北京麒麟合盛网络技术有限公司 | 日志处理方法及装置 |
Non-Patent Citations (1)
Title |
---|
杨雷: "MapReduce作业执行性能优化若干关键技术研究", 东北大学出版社 * |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112671693A (zh) * | 2019-10-16 | 2021-04-16 | 中国移动通信集团山东有限公司 | 一种视频数据压缩方法、装置、存储介质和基站 |
CN112671693B (zh) * | 2019-10-16 | 2022-06-14 | 中国移动通信集团山东有限公司 | 一种视频数据压缩方法、装置、存储介质和基站 |
CN111427872A (zh) * | 2020-02-28 | 2020-07-17 | 联想(北京)有限公司 | 一种数据写入方法、装置及计算机可读存储介质 |
CN111552669A (zh) * | 2020-04-26 | 2020-08-18 | 北京达佳互联信息技术有限公司 | 数据处理方法、装置、计算设备和存储介质 |
CN111683046A (zh) * | 2020-04-29 | 2020-09-18 | 平安国际智慧城市科技股份有限公司 | 文件压缩以及获取的方法、装置、设备及存储介质 |
CN111683046B (zh) * | 2020-04-29 | 2022-11-08 | 深圳赛安特技术服务有限公司 | 文件压缩以及获取的方法、装置、设备及存储介质 |
CN111817722A (zh) * | 2020-07-09 | 2020-10-23 | 北京奥星贝斯科技有限公司 | 数据压缩方法、装置及计算机设备 |
CN112540984B (zh) * | 2020-11-23 | 2023-10-03 | 成都佳华物链云科技有限公司 | 数据存储方法、查询方法、装置、电子设备及存储介质 |
CN112540984A (zh) * | 2020-11-23 | 2021-03-23 | 成都佳华物链云科技有限公司 | 数据存储方法、查询方法、装置、电子设备及存储介质 |
CN112527752A (zh) * | 2020-12-08 | 2021-03-19 | 北京地平线信息技术有限公司 | 数据压缩方法、装置、计算机可读存储介质及电子设备 |
CN112527752B (zh) * | 2020-12-08 | 2024-04-05 | 北京地平线信息技术有限公司 | 数据压缩方法、装置、计算机可读存储介质及电子设备 |
CN112583415A (zh) * | 2020-12-17 | 2021-03-30 | 上海坚芯电子科技有限公司 | 墨盒芯片的数据压缩存储方法和系统 |
CN112583415B (zh) * | 2020-12-17 | 2023-06-23 | 上海坚芯电子科技有限公司 | 墨盒芯片的数据压缩存储方法和系统 |
CN112965664A (zh) * | 2021-03-08 | 2021-06-15 | 北京金山云网络技术有限公司 | 一种数据压缩的方法和相关装置 |
CN112883124A (zh) * | 2021-03-17 | 2021-06-01 | 重庆紫光华山智安科技有限公司 | 数据处理方法、装置、计算机设备及存储介质 |
WO2022217517A1 (zh) * | 2021-04-14 | 2022-10-20 | 华为技术有限公司 | 一种存储控制装置和在存储控制装置中执行的方法 |
CN113542225A (zh) * | 2021-06-17 | 2021-10-22 | 深圳市合广测控技术有限公司 | 一种数据的压缩方法、装置、终端设备及存储介质 |
CN113542225B (zh) * | 2021-06-17 | 2023-08-22 | 深圳市合广测控技术有限公司 | 一种数据的压缩方法、装置、终端设备及存储介质 |
CN113886346A (zh) * | 2021-08-31 | 2022-01-04 | 联想(北京)有限公司 | 一种数据处理方法及电子设备 |
CN115905168A (zh) * | 2022-11-15 | 2023-04-04 | 本原数据(北京)信息技术有限公司 | 自适应压缩方法和压缩装置、计算机设备、存储介质 |
CN115905168B (zh) * | 2022-11-15 | 2023-11-07 | 本原数据(北京)信息技术有限公司 | 基于数据库的自适应压缩方法和装置、设备、存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109756230B (zh) | 2024-02-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109756230A (zh) | 数据压缩存储方法、数据压缩方法、装置、设备及介质 | |
WO2022062537A1 (zh) | 数据压缩方法、装置及计算机可读存储介质 | |
CN105205014B (zh) | 一种数据存储方法和装置 | |
US8521986B2 (en) | Allocating storage memory based on future file size or use estimates | |
CN109194647A (zh) | 数据传输方法、装置、电子设备及存储介质 | |
US20170214773A1 (en) | Adaptive compression and transmission for big data migration | |
US8856483B1 (en) | Virtual data storage service with sparse provisioning | |
US20120284239A1 (en) | Method and apparatus for optimizing data storage | |
CN112445725A (zh) | 预读取文件页的方法、装置和终端设备 | |
CN107341033A (zh) | 一种数据统计方法、装置、电子设备和存储介质 | |
US20150081912A1 (en) | Computer-based, balanced provisioning and optimization of data transfer resources for products and services | |
US8438275B1 (en) | Formatting data for efficient communication over a network | |
CN102158349A (zh) | 一种日志管理装置及方法 | |
CN111338745B (zh) | 一种虚拟机的部署方法、装置及智能设备 | |
US20220179585A1 (en) | Management of Idle Time Compute Tasks in Storage Systems | |
CN108089822A (zh) | 存储芯片的管理方法、系统、设备及存储介质 | |
CN110191045A (zh) | 一种信息分享方法、装置、终端及可读存储介质 | |
CN109656885A (zh) | 存储空间监控方法及装置、电子终端、存储介质 | |
CN116529695A (zh) | 使用存储系统优化的增强的应用性能 | |
WO2023179742A1 (zh) | 数据访问方法及系统、硬件卸载设备、电子设备及介质 | |
CN109783321A (zh) | 监控数据管理方法、装置、终端设备 | |
CN106095417A (zh) | 一种前景应用程序界面刷新同步方法及系统 | |
CN109669922A (zh) | 分布式存储系统中压缩的协调 | |
CN115934002B (zh) | 固态硬盘的访问方法、固态硬盘、存储系统及云服务器 | |
CN108415765A (zh) | 任务调度方法、装置及智能终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |