CN110018792A - 一种待落盘数据处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种待落盘数据处理方法，相比于先判别是否全部对齐、再对判别出的大块对齐部分进行压缩的现有技术，本申请先对待落盘数据整体进行压缩，然后在判别压缩后待落盘数据是否全部对齐，由于将压缩步骤提前至对齐判别步骤之前，使得压缩对象从原先的大块对齐部分变为了待落盘数据整体，因此在使用与现有技术相同的压缩算法情况下，压缩对象大小的增加使得压缩率也随之增加。本申请还同时公开了一种待落盘数据处理装置、电子设备及计算机可读存储介质，具有上述有益效果。

Description

一种待落盘数据处理方法、装置、电子设备及存储介质

技术领域

本申请涉及数据落盘技术领域，特别涉及一种待落盘数据处理方法、装置、电子设备及计算机可读存储介质。

背景技术

随着电子信息技术的发展，人们对存储介质的存储速度提出了更高的要求，相比于机械硬盘，固态硬盘因拥有更快的数据存取速度受到了的追捧。

由于固态硬盘的特殊特性，使其虽然拥有更快的数据存储速度但却存在写放大的问题，为了解决写放大问题带来的固态硬盘使用寿命降低的问题，一种常见的解决写放大的机制如下：通过尽可能的减少写入固态硬盘中的数据落盘大小，以通过减慢占用存储空间的方式来减缓因写放大问题造成的使用寿命降低问题。

现有技术通常在处理待落盘数据时，会先判别该待落盘数据是否全部对齐，然后只将大块的对齐部分进行压缩后下发给磁盘进行落盘的方案。这是因为相对于大块的对齐部分，非对齐部分通常数据量较少，不用再单独对齐进行压缩，因此非对齐部分将会保持原有大小进行落盘。为了对接数据落在固态硬盘中的步骤，一定要结合固态硬盘的特殊特性(固态硬盘使用划分好的、固定大小的块来存储数据)来判别数据是否全部对齐，所以无法轻易的对对齐步骤进行改进。

因此，如何尽可能的增大待落盘数据的压缩率，是本领域技术人员亟待解决的问题。

发明内容

本申请目的在于提供一种待落盘数据处理方法、装置、电子设备及计算机可读存储介质，旨在解决现有技术中仅对对齐部分的数据进行压缩所带来的压缩率不够高的问题。

为实现上述目的，本申请提供一种待落盘数据处理方法，该方法包括：

接收客户端下发的待落盘数据；

压缩所述待落盘数据，得到压缩后待落盘数据；

判断所述压缩后待落盘数据是否全部对齐；

若所述压缩后待落盘数据全部对齐，则将所述压缩后待落盘数据下发至磁盘进行落盘；

若所述压缩后待落盘数据未全部对齐，则将对齐部分下发至磁盘进行落盘、将未对齐部分进行对齐处理后下发至所述磁盘进行落盘。

可选的，压缩所述待落盘数据，包括：

使用与所述待落盘数据所属数据类型对应的优选压缩算法压缩所述待落盘数据。

可选的，该待落盘数据处理方法还包括：

判断所述压缩后待落盘数据的大小是否满足后台处理要求；

若所述压缩后待落盘数据的大小满足所述后台处理要求，则将所述压缩后待落盘数据转至后台处理，并在转至后台的同时向上层数据库返回落盘完成信号，以处理下一个压缩后待落盘数据。

为实现上述目的，本申请还提供了一种待落盘数据处理装置，包括：

待落盘数据接收单元，用于接收客户端下发的待落盘数据；

待落盘数据压缩单元，用于压缩所述待落盘数据，得到压缩后待落盘数据；

对齐判断单元，用于判断所述压缩后待落盘数据是否全部对齐；

直接落盘单元，用于当所述压缩后待落盘数据全部对齐时，将所述压缩后待落盘数据下发至磁盘进行落盘；

对齐处理后落盘单元，用于当所述压缩后待落盘数据未全部对齐时，将对齐部分下发至磁盘进行落盘、将未对齐部分进行对齐处理后下发至所述磁盘进行落盘。

可选的，所述待落盘数据压缩单元包括：

优选压缩算法压缩子单元，用于使用与所述待落盘数据所属数据类型对应的优选压缩算法压缩所述待落盘数据。

可选的，该待落盘数据处理装置还包括：

后台处理判断单元，用于判断所述压缩后待落盘数据的大小是否满足后台处理要求；

快速响应单元，用于当所述压缩后待落盘数据的大小满足所述后台处理要求时，将所述压缩后待落盘数据转至后台处理，并在转至后台的同时向上层数据库返回落盘完成信号，以处理下一个压缩后待落盘数据。

为实现上述目的，本申请还提供了一种电子设备，该电子设备包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上述内容所描述的待落盘数据处理方法。

为实现上述目的，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述内容所描述的待落盘数据处理方法。

显然，相比于先判别是否全部对齐、再对判别出的大块对齐部分进行压缩的现有技术，本申请所提供的待落盘数据处理方法会先对待落盘数据整体进行压缩，然后在判别压缩后待落盘数据是否全部对齐，由于将压缩步骤提前至对齐判别步骤之前，使得压缩对象从原先的大块对齐部分变为了待落盘数据整体，因此在使用与现有技术相同的压缩算法情况下，压缩对象大小的增加使得压缩率也随之增加。本申请同时还提供了一种待落盘数据处理装置、电子设备及计算机可读存储介质，具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的一种待落盘数据处理方法的流程图；

图2为本申请实施例在图1对应的技术方案的基础上提供的一种数据IO能力增强方法的流程图；

图3为本申请实施例提供的一种待落盘数据处理装置的结构框图；

图4为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

本申请目的在于提供一种待落盘数据处理方法、装置、电子设备及计算机可读存储介质，旨在解决现有技术中仅对对齐部分的数据进行压缩所带来的压缩率不够高的问题。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

实施例一

请参见图1，图1为本申请实施例提供的一种待落盘数据处理方法的流程图，其包括以下步骤：

S101：接收客户端下发的待落盘数据；

本步骤旨在接收客户端下发的待落盘数据，其中，待落盘数据是指当前处于内存中，但需要之后将其下刷至固态硬盘中进行存储的数据，其来源可以是本地设备自己生成的，也可以是接收自其它设备或客户端传输来的。

S102：压缩待落盘数据，得到压缩后待落盘数据；

在S101的基础上，本步骤旨在利用压缩算法来压缩该待落盘数据，以得到通过压缩算法将大小缩减后的压缩后待落盘数据。需要说明的是，本步骤中的压缩对象为待落盘数据整体，而非是像现有技术中仅是对齐的部分。

进一步的，为了得到更好的压缩效果，使得相同大小的压缩前待落盘数据在压缩后的大小更小，还可以根据待落盘数据所属的数据类型来选用最适合某种类型的待落盘数据的压缩算法，例如，视频数据在采用H.264压缩算法时就能够得到相比MKV压缩算法更小的压缩后视频，其它类型的数据同理，在此不一一举例。

S103：判断压缩后待落盘数据是否全部对齐；

在S102的基础上，本步骤旨在判断压缩后待落盘数据是否全部对齐，相比于现有技术在进行对齐判别时针对的是未压缩的待落盘数据，本申请则是先进行数据压缩，再对得到的压缩后待落盘数据进行是否对齐的判别。这样既满足了将数据下述至固态硬盘时必须执行的对齐落盘要求，又能够对现有技术未对齐部分的待落盘数据进行了压缩，使得在满足固态硬盘落盘要求的同时，通过将压缩步骤提前进行实现了增加压缩率的目的。

S104：将压缩后待落盘数据下发至磁盘进行落盘；

本步骤建立在S103的判断结果为压缩后待落盘数据全部对齐的基础上，说明不存在未对齐部分，因此无需进行额外的对齐处理即可进行落盘操作。

为方便理解对齐的概念，举例说明，通常固态硬盘都要求4K对齐，4K是指固态硬盘中存储数据的最小单位，一个总大小为16K的压缩后待落盘数据会因为是4K的整数倍而全部对齐，反之一个总大小为17K的压缩后待落盘数据则会因为不是4K的整数倍(第16K至17K的数据会单独占用一个4K大小的最小存储单元)而未全部对齐，也就是说存在不对齐的部分。

S105：将对齐部分下发至磁盘进行落盘、将未对齐部分进行对齐处理后下发至磁盘进行落盘。

本步骤建立在S103的判断结果为压缩后待落盘数据未全部对齐的基础上，因此需要将其中的对齐部分按照与S104相同的处理方式进行落盘处理，而其中的未对齐部分则需要在进行对齐处理后才可进行落盘操作。

具体的，未对齐部分的对齐数据根据未对齐部分在最小存储单元中的位置可分为头部对齐处理、尾部对齐处理以及中间对齐处理，各种对齐处理的具体步骤并非是本申请所要改进的地方，且已被本领域技术人员所熟知，此处不再展开叙述。

进一步的，由于先进行压缩和后进行压缩两种方案的不确定性(由于对齐判别步骤将在不同的方案下判别的对象的大小不同，以及实际落盘时未对齐部分依然会占用一个最小存储单元)，为了验证压缩率，可以以最终落盘后占用固态硬盘的存储空间的大小为依据进行实际效果的比较。

相比于先判别是否全部对齐、再对判别出的大块对齐部分进行压缩的现有技术，本实施例所提供的技术方案先对待落盘数据整体进行压缩，然后在判别压缩后待落盘数据是否全部对齐，由于将压缩步骤提前至对齐判别步骤之前，使得压缩对象从原先的大块对齐部分变为了待落盘数据整体，因此在使用与现有技术相同的压缩算法情况下，压缩对象大小的增加使得压缩率也随之增加。

实施例二

请参见图2，图2为本申请实施例在图1对应的技术方案的基础上提供的一种数据IO能力增强方法的流程图，在实施例一所提供的方案的基础上，本实施例旨在借助先进行压缩造成的在进行对齐判别时的对象为大小较小的压缩后待落盘数据的实际情况，提供一种可能的增强数据IO能力的方法，包括以下步骤：

S201：压缩待落盘数据，得到压缩后待落盘数据；

S202：判断压缩后待落盘数据的大小是否满足后台处理要求；

在S201的基础上，本步骤旨在判断压缩后待落盘数据的大小是否满足后台处理要求。

在现有技术的实际操作流程中，将首先对对齐部分的待落盘数据进行压缩，并在压缩完成后执行落盘操作，在落盘完成后反馈给数据库管理软件一个该数据完成落盘的信号，之后再对未对齐部分转至后台，通过后台处理。

根据上述操作流程，需要每个待落盘数据等待对齐部分的落盘后，数据库才能开始下一个待落盘数据的处理，因此考虑到本申请所提供的方案是先进行对齐处理，因此如果恰巧压缩后待落盘数据的大小满足原先将未对齐部分转至后台处理的大小要求的话，将可以直接将其全部转入后台，以更快的告知数据库当前待落盘数据完成落盘，开始下一个待落盘数据的处理，由此加快数据IO的能力。

S203：按正常流程处理；

本步骤建立在S202的判断结果为压缩后待落盘数据的大小不满足后台处理要求的基础上，即压缩后待落盘数据的大小不满足原先将未对齐部分转至后台处理的大小要求，因此不满足加快数据IO的要求，只能够按正常流程进行处理。

S204：将压缩后待落盘数据转至后台处理，并在转至后台的同时向上层数据库返回落盘完成信号，以处理下一个压缩后待落盘数据。

本步骤建立在S202的判断结果为压缩后待落盘数据的大小满足后台处理要求的基础上，说明压缩后待落盘数据的大小满足原先将未对齐部分转至后台处理的大小要求，因此满足将其后台后就直接向数据库反馈落盘完成的条件，使得按此流程进行可以增强数据IO能力。

因为情况复杂，无法一一列举进行阐述，本领域技术人员应能意识到根据本申请提供的基本方法原理结合实际情况可以存在很多的例子，在不付出足够的创造性劳动下，应均在本申请的保护范围内。

实施例三

下面请参见图3，图3为本申请实施例提供的一种待落盘数据处理装置的结构框图，该装置可以包括：

待落盘数据接收单元100，用于接收客户端下发的待落盘数据；

待落盘数据压缩单元200，用于压缩待落盘数据，得到压缩后待落盘数据；

对齐判断单元300，用于判断压缩后待落盘数据是否全部对齐；

直接落盘单元400，用于当压缩后待落盘数据全部对齐时，将压缩后待落盘数据下发至磁盘进行落盘；

对齐处理后落盘单元500，用于当压缩后待落盘数据未全部对齐时，将对齐部分下发至磁盘进行落盘、将未对齐部分进行对齐处理后下发至磁盘进行落盘。

其中，该待落盘数据压缩单元200可以包括：

优选压缩算法压缩子单元，用于使用与待落盘数据所属数据类型对应的优选压缩算法压缩待落盘数据。

进一步的，该待落盘数据处理装置还可以包括：

后台处理判断单元，用于判断压缩后待落盘数据的大小是否满足后台处理要求；

快速响应单元，用于当压缩后待落盘数据的大小满足后台处理要求时，将压缩后待落盘数据转至后台处理，并在转至后台的同时向上层数据库返回落盘完成信号，以处理下一个压缩后待落盘数据。

本实施例作为一个对应于上述方法实施例的系统实施例存在，具有方法实施例的全部有益效果，此处不再一一赘述。

在上文中已经通过一些实施例对如何通过在进行对齐判别之前先对待落盘数据整体进行压缩的方式来增加数据压缩率，进行了详细的描述，本申请还提供一种与该方法对应的实体硬件装置，此部分内容原理与方案部分相对应，实现原理的部分此处不再赘述，以下将对该实体硬件装置的硬件组成进行描述，请参见图4，图4为本申请实施例提供的一种电子设备的结构示意图：

该电子设备600包括存储器610、处理器620以及总线630，存储器610上存储有可在处理器620上运行的待落盘数据处理程序，该待落盘数据处理程序通过总线630被传输至处理器620，并在被处理器620执行时可实现如上述实施例所描述的待落盘数据处理方法中的各步骤。

其中，存储器610至少包括一种类型的可读存储介质，可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器610在一些实施例中可以是电子设备600的内部存储单元，例如该电子设备600的硬盘。存储器610在另一些实施例中也可以是该电子设备600的外部存储设备，例如该电子设备600上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器610还可以同时由内部存储单元和外部存储设备同时组成。进一步的，存储器610不仅可以用于存储安装于该电子设备600中的各种应用软件和各类数据，还可以用于暂时地存储已经输出或者将要输出的数据。

处理器620在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器410中存储的程序代码或处理数据，例如待落盘数据处理程序等。

总线630可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条双向中空指示线表示，但并不表示仅有一根总线或一种类型的总线。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例中所给出的方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种待落盘数据处理方法，其特征在于，包括：

接收客户端下发的待落盘数据；

压缩所述待落盘数据，得到压缩后待落盘数据；

判断所述压缩后待落盘数据是否全部对齐；

若所述压缩后待落盘数据全部对齐，则将所述压缩后待落盘数据下发至磁盘进行落盘；

若所述压缩后待落盘数据未全部对齐，则将对齐部分下发至磁盘进行落盘、将未对齐部分进行对齐处理后下发至所述磁盘进行落盘。

2.根据权利要求1所述的待落盘数据处理方法，其特征在于，压缩所述待落盘数据，包括：

使用与所述待落盘数据所属数据类型对应的优选压缩算法压缩所述待落盘数据。

3.根据权利要求1或2所述的待落盘数据处理方法，其特征在于，还包括：

判断所述压缩后待落盘数据的大小是否满足后台处理要求；

若所述压缩后待落盘数据的大小满足所述后台处理要求，则将所述压缩后待落盘数据转至后台处理，并在转至后台的同时向上层数据库返回落盘完成信号，以处理下一个压缩后待落盘数据。

4.一种待落盘数据处理装置，其特征在于，包括：

待落盘数据接收单元，用于接收客户端下发的待落盘数据；

待落盘数据压缩单元，用于压缩所述待落盘数据，得到压缩后待落盘数据；

对齐判断单元，用于判断所述压缩后待落盘数据是否全部对齐；

直接落盘单元，用于当所述压缩后待落盘数据全部对齐时，将所述压缩后待落盘数据下发至磁盘进行落盘；

对齐处理后落盘单元，用于当所述压缩后待落盘数据未全部对齐时，将对齐部分下发至磁盘进行落盘、将未对齐部分进行对齐处理后下发至所述磁盘进行落盘。

5.根据权利要求4所述的待落盘数据处理装置，其特征在于，所述待落盘数据压缩单元包括：

优选压缩算法压缩子单元，用于使用与所述待落盘数据所属数据类型对应的优选压缩算法压缩所述待落盘数据。

6.根据权利要求4或5所述的待落盘数据处理装置，其特征在于，还包括：

后台处理判断单元，用于判断所述压缩后待落盘数据的大小是否满足后台处理要求；

快速响应单元，用于当所述压缩后待落盘数据的大小满足所述后台处理要求时，将所述压缩后待落盘数据转至后台处理，并在转至后台的同时向上层数据库返回落盘完成信号，以处理下一个压缩后待落盘数据。

7.一种电子设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至3任一项所述的待落盘数据处理方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述的待落盘数据处理方法。