CN112965664A - 一种数据压缩的方法和相关装置 - Google Patents

一种数据压缩的方法和相关装置 Download PDF

Info

Publication number
CN112965664A
CN112965664A CN202110251915.XA CN202110251915A CN112965664A CN 112965664 A CN112965664 A CN 112965664A CN 202110251915 A CN202110251915 A CN 202110251915A CN 112965664 A CN112965664 A CN 112965664A
Authority
CN
China
Prior art keywords
data
stored
compression
writing
heat value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110251915.XA
Other languages
English (en)
Inventor
陈磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Cloud Network Technology Co Ltd
Original Assignee
Beijing Kingsoft Cloud Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Cloud Network Technology Co Ltd filed Critical Beijing Kingsoft Cloud Network Technology Co Ltd
Priority to CN202110251915.XA priority Critical patent/CN112965664A/zh
Publication of CN112965664A publication Critical patent/CN112965664A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604Improving or facilitating administration, e.g. storage management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638Organizing or formatting or addressing of data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671In-line storage system
    • G06F3/0683Plurality of storage devices
    • G06F3/0685Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

本申请公开了一种数据压缩的方法和相关装置,该方法包括:根据数据写入请求,将待存储数据写入至固态硬盘中;在待存储数据写入完毕后,确定待存储数据的热度值大于第一热度值时,利用第一压缩算法对待存储数据进行数据压缩;确定待存储数据的热度值小于等于第一热度值时,移动待存储数据并写入至硬盘驱动器中;在待存储数据写入完毕后,利用不同于第一压缩算法的第二压缩算法对待存储数据进行数据压缩。通过待存储数据的热度值和第一热度值,确定待存储数据进行数据存储时所采用的存储介质,待存储数据在不同存储介质中进行数据压缩时所采用的压缩算法不同;该方式能够满足不同存储介质的数据压缩需求,从而达到最优的数据压缩效果。

Description

一种数据压缩的方法和相关装置
技术领域
本申请涉及数据处理技术领域,尤其涉及一种数据压缩的方法和相关装置。
背景技术
随着数据的快速增长,数据存储系统的数据存储压力越来越大,为了降低数据存储压力,考虑在数据存储系统中采用数据压缩技术。目前,将待存储数据写入数据存储系统后,采用相同的压缩算法进行数据压缩。
但是,待存储数据的热度不同,则将待存储数据进行数据存储时所采用的存储介质不同,不同存储介质的数据压缩需求不同;因此,上述方法中对于不同存储介质中的数据采用相同的压缩算法,无法满足不同存储介质的数据压缩需求,从而无法达到最优的数据压缩效果。
发明内容
有鉴于此,本申请实施例提供一种数据压缩的方法和相关装置,压缩算法随不同存储介质而变化,数据压缩较为灵活,能够满足不同存储介质的数据压缩需求,从而达到最优的数据压缩效果。
第一方面,本申请实施例提供了一种数据压缩的方法,所述方法包括:
根据数据写入请求,将待存储数据写入至固态硬盘中;
在所述待存储数据写入完毕后,若所述待存储数据的热度值大于第一热度值,利用第一压缩算法对所述待存储数据进行数据压缩;
若所述待存储数据的热度值小于等于所述第一热度值,移动所述待存储数据并写入至硬盘驱动器中;
在所述待存储数据写入完毕后,利用第二压缩算法对所述待存储数据进行数据压缩;所述第二压缩算法与所述第一压缩算法不同。
可选的,所述第一压缩算法的压缩性能高于所述第二压缩算法的压缩性能,所述第二压缩算法的压缩率高于所述第一压缩算法的压缩率。
可选的,在所述待存储数据写入完毕后,还包括:
确定所述待存储数据的压缩效果;
对应地,所述利用第一压缩算法对所述待存储数据进行数据压缩,具体为:
若所述压缩效果符合预设压缩条件,利用第一压缩算法对所述待存储数据进行数据压缩;
所述利用第二压缩算法对所述待存储数据进行数据压缩,具体为:
若所述压缩效果符合预设压缩条件,利用第二压缩算法对所述待存储数据进行数据压缩。
可选的,当压缩效果包括压缩后的待存储数据与所述待存储数据的比值时,所述预设压缩条件包括比值小于预设比值;当压缩效果包括所述待存储数据与所述压缩后的待存储数据的差值时,所述预设压缩条件包括差值大于预设差值。
可选的,在所述待存储数据写入完毕后,还包括:
若所述待存储数据的热度值大于第二热度值,延迟执行所述利用第一压缩算法对所述待存储数据进行数据压缩;所述第二热度值大于所述第一热度值。
可选的,所述利用第一压缩算法对所述待存储数据进行数据压缩,具体为:
当中央处理器、所述固态硬盘的资源利用率小于第一利用率时,启动对所述待存储数据的数据重整处理,同时利用所述第一压缩算法压缩所述待存储数据中有效数据;
所述利用第二压缩算法对所述待存储数据进行数据压缩,具体为:
当中央处理器、所述硬盘驱动器的资源利用率小于第二利用率时,启动对所述待存储数据的数据重整处理,同时利用所述第二压缩算法压缩所述待存储数据中有效数据。
可选的,所述将待存储数据写入至固态硬盘中,具体为:
若所述数据写入请求携带的数据业务场景对数据读写延时敏感,将所述待存储数据写入至所述固态硬盘中;
对应地,所述方法还包括:
若所述数据写入请求携带的数据业务场景对数据读写延时不敏感,将所述待存储数据直接写入至所述硬盘驱动器中。
第二方面,本申请实施例提供了一种数据压缩的装置,所述装置包括:
第一写入单元,用于根据数据写入请求,将待存储数据写入至固态硬盘中;
第一数据压缩单元,用于在所述待存储数据写入完毕后,若所述待存储数据的热度值大于第一热度值,利用第一压缩算法对所述待存储数据进行数据压缩;
第二写入单元,用于若所述待存储数据的热度值小于等于所述第一热度值,移动所述待存储数据并写入至硬盘驱动器中;
第二数据压缩单元,用于在所述待存储数据写入完毕后,利用第二压缩算法对所述待存储数据进行数据压缩;所述第二压缩算法与所述第一压缩算法不同。
可选的,所述第一压缩算法的压缩性能高于所述第二压缩算法的压缩性能,所述第二压缩算法的压缩率高于所述第一压缩算法的压缩率。
可选的,所述装置还包括:
确定单元,用于确定所述待存储数据的压缩效果;
对应地,所述第一数据压缩单元,具体用于:
若所述压缩效果符合预设压缩条件,利用第一压缩算法对所述待存储数据进行数据压缩;
所述第二数据压缩单元,具体用于:
若所述压缩效果符合预设压缩条件,利用第二压缩算法对所述待存储数据进行数据压缩。
可选的,当压缩效果包括压缩后的待存储数据与所述待存储数据的比值时,所述预设压缩条件包括比值小于预设比值;当压缩效果包括所述待存储数据与所述压缩后的待存储数据的差值时,所述预设压缩条件包括差值大于预设差值。
可选的,所述装置还包括:
延迟执行单元,用于若所述待存储数据的热度值大于第二热度值,延迟执行所述利用第一压缩算法对所述待存储数据进行数据压缩;所述第二热度值大于所述第一热度值。
可选的,所述第一数据压缩单元,具体用于:
当中央处理器、所述固态硬盘的资源利用率小于第一利用率时,启动对所述待存储数据的数据重整处理,同时利用所述第一压缩算法压缩所述待存储数据中有效数据;
所述第二数据压缩单元,具体用于:
当中央处理器、所述硬盘驱动器的资源利用率小于第二利用率时,启动对所述待存储数据的数据重整处理,同时利用所述第二压缩算法压缩所述待存储数据中有效数据。
可选的,所述第一写入单元,具体用于:
若所述数据写入请求携带的数据业务场景对数据读写延时敏感,将所述待存储数据写入至所述固态硬盘中;
对应地,所述装置还包括:
第三写入单元,用于若所述数据写入请求携带的数据业务场景对数据读写延时不敏感,将所述待存储数据直接写入至所述硬盘驱动器中。
第三方面,本申请实施例提供了一种终端设备,所述终端设备包括处理器以及存储器:
所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
所述处理器用于根据所述程序代码中的指令执行上述第一方面任一项所述的数据压缩的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储程序代码,所述程序代码用于执行上述第一方面任一项所述的数据压缩的方法。
与现有技术相比,本申请至少具有以下优点:
采用本申请实施例的技术方案,根据数据写入请求,将待存储数据写入至固态硬盘中;在待存储数据写入完毕后,确定待存储数据的热度值大于第一热度值时,利用第一压缩算法对待存储数据进行数据压缩;确定待存储数据的热度值小于等于第一热度值时,移动待存储数据并写入至硬盘驱动器中;在待存储数据写入完毕后,利用不同于第一压缩算法的第二压缩算法对待存储数据进行数据压缩。由此可见,通过待存储数据的热度值和第一热度值,确定待存储数据进行数据存储时所采用的存储介质,待存储数据在不同存储介质中进行数据压缩时所采用的压缩算法不同;该方式中压缩算法随不同存储介质而变化,数据压缩较为灵活,能够满足不同存储介质的数据压缩需求,从而达到最优的数据压缩效果。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本申请实施例中一种应用场景所涉及的系统框架示意图;
图2为本申请实施例提供的一种数据压缩的方法的流程示意图;
图3为本申请实施例提供的另一种数据压缩的方法的流程示意图;
图4为本申请实施例提供的一种数据压缩的装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
现阶段,待存储数据的热度不同,则将待存储数据进行数据存储时所采用的存储介质不同,不同存储介质的数据压缩需求不同。但是,现有技术中对于不同存储介质中的数据采用相同的压缩算法,无法满足不同存储介质的数据压缩需求,从而无法达到最优的数据压缩效果。
为了解决这一问题,在本申请实施例中,根据数据写入请求,将待存储数据写入至固态硬盘中;在待存储数据写入完毕后,确定待存储数据的热度值大于第一热度值时,利用第一压缩算法对待存储数据进行数据压缩;确定待存储数据的热度值小于等于第一热度值时,移动待存储数据并写入至硬盘驱动器中;在待存储数据写入完毕后,利用不同于第一压缩算法的第二压缩算法对待存储数据进行数据压缩。由此可见,通过待存储数据的热度值和第一热度值,确定待存储数据进行数据存储时所采用的存储介质,待存储数据在不同存储介质中进行数据压缩时所采用的压缩算法不同;该方式中压缩算法随不同存储介质而变化,数据压缩较为灵活,能够满足不同存储介质的数据压缩需求,从而达到最优的数据压缩效果。
举例来说,本申请实施例的场景之一,可以是应用到如图1所示的场景中,该场景包括中央处理器101、固态硬盘102和硬盘驱动器103。中央处理器101根据数据写入请求,首先将待存储数据写入至固态硬盘102中;在所述待存储数据写入完毕后,判断待存储数据的热度值是否大于第一热度值,若是,利用第一压缩算法对待存储数据进行数据压缩;若否,移动待存储数据并写入至硬盘驱动器103中;在待存储数据写入完毕后,利用不同于第一压缩算法的第二压缩算法对待存储数据进行数据压缩。
首先,在上述应用场景中,虽然将本申请实施例提供的实施方式的动作描述由中央处理器101执行;但是,本申请实施例在执行主体方面不受限制,只要执行了本申请实施例提供的实施方式所公开的动作即可。
其次,上述场景仅是本申请实施例提供的一个场景示例,本申请实施例并不限于此场景。
下面结合附图,通过实施例来详细说明本申请实施例中数据压缩的方法和相关装置的具体实现方式。
示例性方法
参见图2,示出了本申请实施例中一种数据压缩的方法的流程示意图。在本实施例中,所述方法例如可以包括以下步骤:
步骤201:根据数据写入请求,将待存储数据写入至固态硬盘中。
在本申请实施例中,在中央处理器确定待存储数据后,首先,可以暂时不考虑该待存储数据的热度值,需要根据该待存储数据对应的数据写入请求,将该待存储数据写入至固态硬盘中。
步骤202:在所述待存储数据写入完毕后,若所述待存储数据的热度值大于第一热度值,利用第一压缩算法对所述待存储数据进行数据压缩。
在上述步骤201将待存储数据写入至固态硬盘中后,在该待存储数据写入完毕后,待存储数据的热度不同,待存储数据进行数据存储时所采用的存储介质不同,不同存储介质的数据压缩需求不同;即,当待存储数据的热度较高时,待存储数据需要数据存储至固态硬盘中,当待存储数据的热度较低时,待存储数据需要数据存储至硬盘驱动器中。因此,在本申请实施例中,在待存储数据写入完毕后,利用第一热度值区分待存储数据的热度高低;即,当待存储数据的热度值大于第一热度值时,表示待存储数据的热度较高,此时,待存储数据即可继续数据存储在固态硬盘中;预先设定满足固态硬盘的数据压缩需求的压缩算法为第一压缩算法,则在对待存储数据进行数据压缩时,需要采用固态硬盘所对应的第一压缩算法对待存储数据进行数据压缩。
在本申请实施例中,在对待存储数据进行数据压缩之前,还可以考虑若对待存储数据进行数据压缩后,待存储数据的压缩效果是否可以符合预设压缩条件;若符合,才需要对待存储数据进行数据压缩;若不符合,不需要对待存储数据进行数据压缩,以降低对待存储数据进行数据压缩存在的对系统资源和系统性能的影响。基于此,步骤202在待存储数据写入完毕后,还需要确定待存储数据的压缩效果,只有在压缩效果符合预设压缩条件的情况下,才需要利用第一压缩算法对待存储数据进行数据压缩。因此,在本申请实施例一种可选的实施方式中,在上述步骤202中待存储数据写入完毕后,例如还可以包括步骤A:确定所述待存储数据的压缩效果;对应地,上述步骤202中利用第一压缩算法对所述待存储数据进行数据压缩的步骤,例如具体可以为:若所述压缩效果符合预设压缩条件,利用第一压缩算法对所述待存储数据进行数据压缩。
其中,待存储数据的压缩效果一般用压缩后的待存储数据与待存储数据的比值表示,或者,用待存储数据与压缩后的待存储数据的差值表示;对应地,预设压缩条件一般是指压缩后的待存储数据与待存储数据的比值较小,例如,表示为比值小于预设比值;或者,是指待存储数据与压缩后的待存储数据的差值较大,例如,表示差值大于预设差值。因此,在本申请实施例一种可选的实施方式中,当压缩效果包括压缩后的待存储数据与所述待存储数据的比值时,所述预设压缩条件包括比值小于预设比值;当压缩效果包括所述待存储数据与所述压缩后的待存储数据的差值时,所述预设压缩条件包括差值大于预设差值。
在本申请实施例中,为了尽量避免对待存储数据进行数据压缩,存在对在线IO的影响,需要在系统相对空闲时,对待存储数据进行数据压缩;且为了尽量避免对待存储数据进行数据压缩,存在对待存储数据中垃圾数据进行数据压缩的情况,数据压缩可以放在数据重整处理中同时进行,即,启动对所述待存储数据的数据重整处理,数据重整处理去除待存储数据中垃圾数据,同时压缩待存储数据中有效数据即可。
基于此,步骤202中利用第一压缩算法对待存储数据进行数据压缩的实际过程是:只有检测到中央处理器、固态硬盘的资源利用率小于第一利用率,即,在中央处理器、固态硬盘相对空闲时,启动对待存储数据的数据重整处理,同时利用第一压缩算法压缩所述待存储数据中有效数据。因此,在本申请实施例一种可选的实施方式中,所述步骤202中利用第一压缩算法对所述待存储数据进行数据压缩的步骤,例如具体可以为:当中央处理器、所述固态硬盘的资源利用率小于第一利用率时,启动对所述待存储数据的数据重整处理,同时利用所述第一压缩算法压缩所述待存储数据中有效数据。
此外,在本申请实施例中,即使待存储数据的热度值大于第一热度值时,表示待存储数据的热度较高,待存储数据即可继续数据存储在固态硬盘中;在此基础上,待存储数据还可以继续区分热度高低,例如,利用高于第一热度值的第二热度值,继续区分待存储数据的热度的高低。由于待存储数据的热度更高时,表示该待存储数据的读写较为频繁,需要延迟执行对待存储数据进行数据压缩,以降低数据压缩对该待存储数据的读写影响。即,当待存储数据的热度值大于第二热度值时,表示待存储数据的热度更高,可以延迟执行所述利用第一压缩算法对所述待存储数据进行数据压缩。因此,在本申请实施例一种可选的实施方式中,在上述步骤202中待存储数据写入完毕后,例如还可以包括步骤B:若所述待存储数据的热度值大于第二热度值,延迟执行所述利用第一压缩算法对所述待存储数据进行数据压缩;所述第二热度值大于所述第一热度值。
步骤203:若所述待存储数据的热度值小于等于所述第一热度值,移动所述待存储数据并写入至硬盘驱动器中。
在本申请实施例中,对应于步骤202的说明,当待存储数据的热度值小于等于第一热度值时,表示待存储数据的热度较低,此时,该待存储数据需要数据存储至硬盘驱动器中,因此,需要移动待存储数据并写入至硬盘驱动器中。
步骤204:在所述待存储数据写入完毕后,利用第二压缩算法对所述待存储数据进行数据压缩;所述第二压缩算法与所述第一压缩算法不同。
在上述步骤203将将待存储数据写入至硬盘驱动器中后,在该待存储数据写入完毕后,在预先设定满足硬盘驱动器的数据压缩需求的压缩算法为不同于第一压缩算法的第二压缩算法的前提下,在对待存储数据进行数据压缩时,需要采用硬盘驱动器所对应的第二压缩算法对待存储数据进行数据压缩。
在本申请实施例中,第一压缩算法,是满足固态硬盘的数据压缩需求的压缩算法,一般是指压缩性能较高的压缩算法,例如,snappy压缩算法、lz4压缩算法等等;第二压缩算法,是满足硬盘驱动器的数据压缩需求的压缩算法,一般是指压缩率较高的压缩算法,例如,gzip压缩算法等等。基于该说明,第一压缩算法相较于第二压缩算法的压缩性更高,第二压缩算法相较于第一压缩算法的压缩率更高。因此,在本申请实施例一种可选的实施方式中,所述第一压缩算法的压缩性能高于所述第二压缩算法的压缩性能,所述第二压缩算法的压缩率高于所述第一压缩算法的压缩率。
在本申请实施例中,同理步骤204在待存储数据写入完毕后,还需要确定待存储数据的压缩效果,只有在压缩效果符合预设压缩条件的情况下,才需要利用第二压缩算法对待存储数据进行数据压缩。因此,在本申请实施例一种可选的实施方式中,在上述步骤204中待存储数据写入完毕后,例如还可以包括步骤C:确定所述待存储数据的压缩效果;对应地,上述步骤204中利用第二压缩算法对所述待存储数据进行数据压缩的步骤,例如具体可以为:若所述压缩效果符合预设压缩条件,利用第二压缩算法对所述待存储数据进行数据压缩。
在本申请实施例中,同理步骤204中利用第二压缩算法对待存储数据进行数据压缩的实际过程是:只有检测到中央处理器、硬盘驱动器的资源利用率小于第二利用率,即,在中央处理器、硬盘驱动器相对空闲时,启动对待存储数据的数据重整处理,同时利用第二压缩算法压缩所述待存储数据中有效数据。因此,在本申请实施例一种可选的实施方式中,所述步骤204中利用第二压缩算法对所述待存储数据进行数据压缩的步骤,例如具体可以为:当中央处理器、所述硬盘驱动器的资源利用率小于第二利用率时,启动对所述待存储数据的数据重整处理,同时利用所述第二压缩算法压缩所述待存储数据中有效数据。
其中,本申请实施例并不限定第一利用率和第二利用率的大小关系。第一利用率可以大于第二利用率,或者,第一利用率可以小于第二利用率,或者,第一利用率可以等于第二利用率。
通过本实施例提供的各种实施方式,根据数据写入请求,将待存储数据写入至固态硬盘中;在待存储数据写入完毕后,确定待存储数据的热度值大于第一热度值时,利用第一压缩算法对待存储数据进行数据压缩;确定待存储数据的热度值小于等于第一热度值时,移动待存储数据并写入至硬盘驱动器中;在待存储数据写入完毕后,利用不同于第一压缩算法的第二压缩算法对待存储数据进行数据压缩。由此可见,通过待存储数据的热度值和第一热度值,确定待存储数据进行数据存储时所采用的存储介质,待存储数据在不同存储介质中进行数据压缩时所采用的压缩算法不同;该方式中压缩算法随不同存储介质而变化,数据压缩较为灵活,能够满足不同存储介质的数据压缩需求,从而达到最优的数据压缩效果。
在上述实施例的基础上,在中央处理器确定待存储数据后,该待存储数据对应的数据写入请求一般携带数据业务场景,有些数据业务场景对数据读写延时敏感,有些数据业务场景对数据读写延时不敏感;待存储数据对应的数据写入请求所携带的数据业务场景,对数据读写延时是否敏感,决定待存储数据需要数据存储至固态硬盘还是硬盘驱动器。只有当待存储数据对应的数据写入请求所携带的数据业务场景对数据读写延时敏感时,才需要将待存储数据写入至固态硬盘中。下面结合附图3,通过又一实施例来详细说明本申请实施例中数据压缩的方法的具体实现方式。
参见图3,示出了本申请实施例中另一种数据压缩的方法的流程示意图。在本实施例中,所述方法例如可以包括以下步骤:
步骤301:根据数据写入请求,若所述数据写入请求携带的数据业务场景对数据读写延时敏感,将所述待存储数据写入至所述固态硬盘中。
对应于步骤301,当待存储数据对应的数据写入请求所携带的数据业务场景对数据读写延时不敏感时,不需要将待存储数据写入至固态硬盘中,可直接将待存储数据写入至硬盘驱动器中,继续执行后续步骤304即可。因此,在本申请实施例一种可选的实施方式中,所述方法还包括步骤D:若所述数据写入请求携带的数据业务场景对数据读写延时不敏感,将所述待存储数据直接写入至所述硬盘驱动器中。执行步骤304。
步骤302:在所述待存储数据写入完毕后,若所述待存储数据的热度值大于第一热度值,利用第一压缩算法对所述待存储数据进行数据压缩。
步骤303:若所述待存储数据的热度值小于等于所述第一热度值,移动所述待存储数据并写入至硬盘驱动器中。
步骤304:在所述待存储数据写入完毕后,利用第二压缩算法对所述待存储数据进行数据压缩;所述第二压缩算法与所述第一压缩算法不同。
在本申请实施例中,步骤302-步骤304和上述实施例中步骤202-步骤204,步骤302-步骤304的具体实施方式可详细参见上述实施例中步骤202-步骤204的具体实施方式,在此不再赘述。
通过本实施例提供的各种实施方式,根据数据写入请求,当数据写入请求携带的数据业务场景对数据读写延时敏感时,将待存储数据写入至固态硬盘中;在待存储数据写入完毕后,确定待存储数据的热度值大于第一热度值时,利用第一压缩算法对待存储数据进行数据压缩;确定待存储数据的热度值小于等于第一热度值时,移动待存储数据并写入至硬盘驱动器中;在待存储数据写入完毕后,利用不同于第一压缩算法的第二压缩算法对待存储数据进行数据压缩。由此可见,通过待存储数据的热度值和第一热度值,确定待存储数据进行数据存储时所采用的存储介质,待存储数据在不同存储介质中进行数据压缩时所采用的压缩算法不同;该方式中压缩算法随不同存储介质而变化,数据压缩较为灵活,能够满足不同存储介质的数据压缩需求,从而达到最优的数据压缩效果。
示例性装置
参见图4,示出了本申请实施例中一种数据压缩的装置的结构示意图。在本实施例中,所述装置例如具体可以包括:
第一写入单元401,用于根据数据写入请求,将待存储数据写入至固态硬盘中;
第一数据压缩单元402,用于在所述待存储数据写入完毕后,若所述待存储数据的热度值大于第一热度值,利用第一压缩算法对所述待存储数据进行数据压缩;
第二写入单元403,用于若所述待存储数据的热度值小于等于所述第一热度值,移动所述待存储数据并写入至硬盘驱动器中;
第二数据压缩单元404,用于在所述待存储数据写入完毕后,利用第二压缩算法对所述待存储数据进行数据压缩;所述第二压缩算法与所述第一压缩算法不同。
在本申请实施例一种可选的实施方式中,所述第一压缩算法的压缩性能高于所述第二压缩算法的压缩性能,所述第二压缩算法的压缩率高于所述第一压缩算法的压缩率。
在本申请实施例一种可选的实施方式中,所述装置还包括:
确定单元,用于确定所述待存储数据的压缩效果;
对应地,所述第一数据压缩单元402,具体用于:
若所述压缩效果符合预设压缩条件,利用第一压缩算法对所述待存储数据进行数据压缩;
所述第二数据压缩单元404,具体用于:
若所述压缩效果符合预设压缩条件,利用第二压缩算法对所述待存储数据进行数据压缩。
在本申请实施例一种可选的实施方式中,当压缩效果包括压缩后的待存储数据与所述待存储数据的比值时,所述预设压缩条件包括比值小于预设比值;当压缩效果包括所述待存储数据与所述压缩后的待存储数据的差值时,所述预设压缩条件包括差值大于预设差值。
在本申请实施例一种可选的实施方式中,所述装置还包括:
延迟执行单元,用于若所述待存储数据的热度值大于第二热度值,延迟执行所述利用第一压缩算法对所述待存储数据进行数据压缩;所述第二热度值大于所述第一热度值。
在本申请实施例一种可选的实施方式中,所述第一数据压缩单元402,具体用于:
当中央处理器、所述固态硬盘的资源利用率小于第一利用率时,启动对所述待存储数据的数据重整处理,同时利用所述第一压缩算法压缩所述待存储数据中有效数据;
所述第二数据压缩单元404,具体用于:
当中央处理器、所述硬盘驱动器的资源利用率小于第二利用率时,启动对所述待存储数据的数据重整处理,同时利用所述第二压缩算法压缩所述待存储数据中有效数据。
在本申请实施例一种可选的实施方式中,所述第一写入单元401,具体用于:
若所述数据写入请求携带的数据业务场景对数据读写延时敏感,将所述待存储数据写入至所述固态硬盘中;
对应地,所述装置还包括:
第三写入单元,用于若所述数据写入请求携带的数据业务场景对数据读写延时不敏感,将所述待存储数据直接写入至所述硬盘驱动器中。
通过本实施例提供的各种实施方式,根据数据写入请求,将待存储数据写入至固态硬盘中;在待存储数据写入完毕后,确定待存储数据的热度值大于第一热度值时,利用第一压缩算法对待存储数据进行数据压缩;确定待存储数据的热度值小于等于第一热度值时,移动待存储数据并写入至硬盘驱动器中;在待存储数据写入完毕后,利用不同于第一压缩算法的第二压缩算法对待存储数据进行数据压缩。由此可见,通过待存储数据的热度值和第一热度值,确定待存储数据进行数据存储时所采用的存储介质,待存储数据在不同存储介质中进行数据压缩时所采用的压缩算法不同;该方式中压缩算法随不同存储介质而变化,数据压缩较为灵活,能够满足不同存储介质的数据压缩需求,从而达到最优的数据压缩效果。
此外,本申请实施例还提供了一种终端设备,所述终端设备包括处理器以及存储器:
所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
所述处理器用于根据所述程序代码中的指令执行上述方法实施例任一项所述的数据压缩的方法。
本申请实施例还提供了一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储程序代码,所述程序代码用于执行上述方法实施例任一项所述的数据压缩的方法。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述,仅是本申请的较佳实施例而已,并非对本申请作任何形式上的限制。虽然本申请已以较佳实施例揭露如上,然而并非用以限定本申请。任何熟悉本领域的技术人员,在不脱离本申请技术方案范围情况下,都可利用上述揭示的方法和技术内容对本申请技术方案做出许多可能的变动和修饰,或修改为等同变化的等效实施例。因此,凡是未脱离本申请技术方案的内容,依据本申请的技术实质对以上实施例所做的任何简单修改、等同变化及修饰,均仍属于本申请技术方案保护的范围内。

Claims (10)

1.一种数据压缩的方法,其特征在于,包括:
根据数据写入请求,将待存储数据写入至固态硬盘中;
在所述待存储数据写入完毕后,若所述待存储数据的热度值大于第一热度值,利用第一压缩算法对所述待存储数据进行数据压缩;
若所述待存储数据的热度值小于等于所述第一热度值,移动所述待存储数据并写入至硬盘驱动器中;
在所述待存储数据写入完毕后,利用第二压缩算法对所述待存储数据进行数据压缩;所述第二压缩算法与所述第一压缩算法不同。
2.根据权利要求1所述的方法,其特征在于,所述第一压缩算法的压缩性能高于所述第二压缩算法的压缩性能,所述第二压缩算法的压缩率高于所述第一压缩算法的压缩率。
3.根据权利要求1所述的方法,其特征在于,在所述待存储数据写入完毕后,还包括:
确定所述待存储数据的压缩效果;
对应地,所述利用第一压缩算法对所述待存储数据进行数据压缩,具体为:
若所述压缩效果符合预设压缩条件,利用第一压缩算法对所述待存储数据进行数据压缩;
所述利用第二压缩算法对所述待存储数据进行数据压缩,具体为:
若所述压缩效果符合预设压缩条件,利用第二压缩算法对所述待存储数据进行数据压缩。
4.根据权利要求3所述的方法,其特征在于,当压缩效果包括压缩后的待存储数据与所述待存储数据的比值时,所述预设压缩条件包括比值小于预设比值;当压缩效果包括所述待存储数据与所述压缩后的待存储数据的差值时,所述预设压缩条件包括差值大于预设差值。
5.根据权利要求1所述的方法,其特征在于,在所述待存储数据写入完毕后,还包括:
若所述待存储数据的热度值大于第二热度值,延迟执行所述利用第一压缩算法对所述待存储数据进行数据压缩;所述第二热度值大于所述第一热度值。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述利用第一压缩算法对所述待存储数据进行数据压缩,具体为:
当中央处理器、所述固态硬盘的资源利用率小于第一利用率时,启动对所述待存储数据的数据重整处理,同时利用所述第一压缩算法压缩所述待存储数据中有效数据;
所述利用第二压缩算法对所述待存储数据进行数据压缩,具体为:
当中央处理器、所述硬盘驱动器的资源利用率小于第二利用率时,启动对所述待存储数据的数据重整处理,同时利用所述第二压缩算法压缩所述待存储数据中有效数据。
7.根据权利要求1所述的方法,其特征在于,所述将待存储数据写入至固态硬盘中,具体为:
若所述数据写入请求携带的数据业务场景对数据读写延时敏感,将所述待存储数据写入至所述固态硬盘中;
对应地,所述方法还包括:
若所述数据写入请求携带的数据业务场景对数据读写延时不敏感,将所述待存储数据直接写入至所述硬盘驱动器中。
8.一种数据压缩的装置,其特征在于,包括:
第一写入单元,用于根据数据写入请求,将待存储数据写入至固态硬盘中;
第一数据压缩单元,用于在所述待存储数据写入完毕后,若所述待存储数据的热度值大于第一热度值,利用第一压缩算法对所述待存储数据进行数据压缩;
第二写入单元,用于若所述待存储数据的热度值小于等于所述第一热度值,移动所述待存储数据并写入至硬盘驱动器中;
第二数据压缩单元,用于在所述待存储数据写入完毕后,利用第二压缩算法对所述待存储数据进行数据压缩;所述第二压缩算法与所述第一压缩算法不同。
9.一种终端设备,其特征在于,所述终端设备包括处理器以及存储器:
所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
所述处理器用于根据所述程序代码中的指令执行权利要求1-7任一项所述的数据压缩的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储程序代码,所述程序代码用于执行权利要求1-7任一项所述的数据压缩的方法。
CN202110251915.XA 2021-03-08 2021-03-08 一种数据压缩的方法和相关装置 Pending CN112965664A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110251915.XA CN112965664A (zh) 2021-03-08 2021-03-08 一种数据压缩的方法和相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110251915.XA CN112965664A (zh) 2021-03-08 2021-03-08 一种数据压缩的方法和相关装置

Publications (1)

Publication Number Publication Date
CN112965664A true CN112965664A (zh) 2021-06-15

Family

ID=76277402

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110251915.XA Pending CN112965664A (zh) 2021-03-08 2021-03-08 一种数据压缩的方法和相关装置

Country Status (1)

Country Link
CN (1) CN112965664A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114356225A (zh) * 2021-12-17 2022-04-15 得一微电子股份有限公司 存储器的数据存储方法、装置、终端设备以及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109756230A (zh) * 2019-01-03 2019-05-14 Oppo广东移动通信有限公司 数据压缩存储方法、数据压缩方法、装置、设备及介质
CN109802684A (zh) * 2018-12-26 2019-05-24 华为技术有限公司 进行数据压缩的方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109802684A (zh) * 2018-12-26 2019-05-24 华为技术有限公司 进行数据压缩的方法和装置
CN109756230A (zh) * 2019-01-03 2019-05-14 Oppo广东移动通信有限公司 数据压缩存储方法、数据压缩方法、装置、设备及介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114356225A (zh) * 2021-12-17 2022-04-15 得一微电子股份有限公司 存储器的数据存储方法、装置、终端设备以及存储介质

Similar Documents

Publication Publication Date Title
CN109756230B (zh) 数据压缩存储方法、数据压缩方法、装置、设备及介质
US8213635B2 (en) Keystroke sound suppression
CN107229559B (zh) 针对业务系统的测试完整度的检测方法和装置
US10649905B2 (en) Method and apparatus for storing data
WO2021057665A1 (zh) 数据存储方法、装置、移动终端及存储介质
CN109359118B (zh) 一种数据写入方法及装置
CN110008016B (zh) 匿名页面管理方法、装置、终端设备及可读存储介质
CN110493342B (zh) 文件传输方法、装置、电子设备及可读存储介质
CN111556353A (zh) 一种视频播放方法、视频播放管理装置及终端设备
CN112637162A (zh) 一种udp数据包处理方法及装置
CN108509348B (zh) 一种系统老化的测试方法及移动终端
CN112965664A (zh) 一种数据压缩的方法和相关装置
CN108334383B (zh) 一种信息处理方法及电子设备
US9641912B1 (en) Intelligent playback resume
CN106202262B (zh) 一种信息处理方法及电子设备
CN112040338B (zh) 视频播放作弊检测方法、装置及电子设备
CN112786034B (zh) 语音交互方法、装置、设备及存储介质
CN115858483A (zh) 日志分析与管理方法、终端及计算机可读存储介质
CN113868026A (zh) 一种云备份的方法和相关装置
CN112015708A (zh) 一种分布式存储系统数据均衡的方法和相关装置
US10853462B2 (en) Authorizing file access with user I/O and hardware usage patterns
CN106776010B (zh) 一种资源配置方法及终端
CN112632126A (zh) 一种已删除应用列表提取方法、终端设备及存储介质
CN106951311B (zh) 一种数据处理方法及服务器集群
CN105893394B (zh) 一种大文件模拟方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination