CN105677242A - 冷热数据的分离方法和装置 - Google Patents

Abstract

本发明公开了一种冷热数据的分离方法和装置，该方法包括：移动终端的设备端接收该移动终端的主机端发送的冷数据的逻辑地址；该设备端根据该冷数据的逻辑地址，以及逻辑地址和物理地址的映射关系，确定该冷数据的物理地址；该设备端根据该冷数据的物理地址，确定该冷数据在该移动终端的闪存中占用的物理页；该设备端根据该冷数据在该移动终端的闪存中占用的物理页，确定该闪存中的物理块的冷数据和热数据的混合程度；若该混合程度属于预设的迁移阈值区间，该设备端将该物理块中的冷数据迁移出该物理块。本发明实施例的冷热数据的分离方法和装置，能够改善GC的工作效率。

Description

冷热数据的分离方法和装置

技术领域

本发明实施例涉及通信领域，尤其涉及冷热数据的分离方法和装置。

背景技术

目前大多数手机采用嵌入式多媒体卡(EmbeddedMultiMediaCard，eMMC)或者固态硬盘(SolidStateDisk，SSD)作为内置存储设备。两者的核心存储芯片都是闪存(FlashMemory)。闪存的一个特性是在写入数据之前，需要先擦除原有的数据，并且在闪存中读写数据的单位是物理页，擦除数据的单位是物理块。

闪存的另一个特性是在更新存储的数据时，闪存不是本地更新的，也就是说，该闪存不是在原数据所在的物理地址上直接进行更新的。在闪存更新数据的时，设备端为更新的数据重新分配物理空间来存储，把该更新的数据所占用的物理页置为有效，原数据所占用的物理页置为无效，并将逻辑地址指向该更新的数据所占用的物理页对应的物理地址。只是这一过程经过设备端的闪存转换层(FlashTranslationLayer，FTL)的封装，对用户不可见，所以同磁盘一样，用户依然使用逻辑地址作为数据存储和查找的唯一地址，不关心数据真正的物理存储位置。

基于闪存的上述特性，当闪存的存储空间不足时，为了回收存储空间，需要对该闪存进行垃圾回收(GarbageCollection，GC)操作。该GC操作的目的是回收物理块中已经置为无效的物理页，重新利用被置为无效的物理页存储数据。首先，设备端(Device)需要将选定的物理块中有效的物理页拷贝到新的存储空间，然后再将整个物理块中的数据擦除。这样，物理块中有效物理页的数量直接影响GC操作的效率。

现有技术中，为了保证GC操作的效率，主机端(Host)基于文件系统中不同数据的不同更新频率，将数据分为冷数据和热数据。其中，冷数据可以包含更新频率较低的数据，热数据可以包含更新频率较高的数据。由于主机端无法获知设备端的物理存储结构，所以只能基于逻辑地址对冷热数据进行分区存储。然而，在主机端基于逻辑地址对冷热数据分区存储之后，再通过FTL层将逻辑地址映射到物理地址，冷热数据可能仍然在一个物理块中，也就是说，上述方法可能没有达到减少GC时物理块中有效页的迁移量的目的，无法改善GC的工作效率。

发明内容

本申请的目的是提供改进的冷热数据的分离方案，以改善GC的工作效率。

第一方面，本申请提供一种冷热数据的分离方法，包括：移动终端的设备端接收所述移动终端的主机端发送的冷数据的逻辑地址；所述设备端根据所述冷数据的逻辑地址，以及逻辑地址和物理地址的映射关系，确定所述冷数据的物理地址；所述设备端根据所述冷数据的物理地址，确定所述冷数据在所述移动终端的闪存中占用的物理页；所述设备端根据所述冷数据在所述移动终端的闪存中占用的物理页，确定所述闪存中的物理块的冷数据和热数据的混合程度；若所述混合程度属于预设的迁移阈值区间，所述设备端将所述物理块中的冷数据迁移出所述物理块。

本发明实施例的冷热数据的分离方法，能够根据主机端发送的冷数据的逻辑地址，在GC之前，并且在系统处于空闲时，先将有效物理页中的冷数据迁移到独立的存储区中，避免了设备端因无法获知数据的冷热信息，导致物理块中的冷热混合度比较严重，从而实现设备端的冷热数据分离，减少GC时物理块中有效页的迁移量，改善GC的工作效率。

结合第一方面，在第一方面的第一种实现方式中，所述混合程度为所述冷数据所占用的物理页的数量与所述冷数据所在的物理块中物理页总数的比值。

结合第一方面或第一方面的第一种实现方式，在第一方面的第二种实现方式中，所述方法还包括：若所述混合程度不属于所述预设的迁移阈值区间，所述设备端确定不迁移所述物理块中的所述冷数据。

结合第一方面或其上述实现方式的任一种，所述设备端包括嵌入式多媒体卡eMMC，所述主机端包括文件系统。

结合第一方面或其上述实现方式的任一种，所述设备端接收主机端发送的冷数据的逻辑地址，包括：所述设备端接收主机端发送的控制指令，所述控制指令包含所述冷数据的逻辑地址。

第二方面，本申请提供一种冷热数据的分离装置，包括：接收模块，用于接收所述移动终端的主机端发送的冷数据的逻辑地址；第一确定模块，用于根据所述接收模块接收的所述冷数据的逻辑地址，以及逻辑地址和物理地址的映射关系，确定所述冷数据的物理地址；第二确定模块，用于根据所述第一确定模块确定的所述冷数据的物理地址，确定所述冷数据在所述移动终端的闪存中占用的物理页；第三确定模块，用于根据所述第二确定模块确定的所述冷数据在所述移动终端的闪存中占用的物理页，确定所述闪存中的物理块的冷数据和热数据的混合程度；第四确定模块，若所述第三确定模块确定的所述混合程度属于预设的迁移阈值区间，所述第四确定模块用于将所述物理块中的冷数据迁移出所述物理块。

结合第二方面，在第二方面的第一种实现方式中，所述混合程度为所述冷数据所占用的物理页的数量与所述冷数据所在的物理块中物理页总数的比值。

结合第二方面，在第二方面的第二种实现方式中，所述装置还包括：第五确定模块，若所述混合程度不属于所述预设的迁移阈值区间，所述第五确定模块用于确定不迁移所述物理块中的所述冷数据。

结合第二方面或其上述实现方式的任一种，所述设备端包括嵌入式多媒体卡eMMC，所述主机端包括文件系统。

结合第二方面或其上述实现方式的任一种，所述设备端接收主机端发送的冷数据的逻辑地址，包括：所述设备端接收主机端发送的控制指令，所述控制指令包含所述冷数据的逻辑地址。

第三方面，本申请提供一种计算机可读存储介质，所述计算机存储介质用于存储冷热数据分离的程序代码，所述程序代码包括用于执行第一方面中的方法的指令。

在某些实现方式中，该冷数据可以基于数据所在文件的更新频率确定。

在某些实现方式中，该冷数据的逻辑地址可以为携带冷数据标识的逻辑地址。

在某些实现方式中，该控制指令可以为主机端向设备端发送的设备识别指令。

本发明实施例的冷热数据分离方法和装置，能够根据主机端发送的冷数据的逻辑地址，在GC之前，并且在系统处于空闲时，先将有效物理页中的冷数据迁移到独立的存储区中，减少GC时物理块中有效页的迁移量，改善GC的工作效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是冷热数据的分离方法的硬件架构的示意图。

图2是本发明实施例的冷热数据的分离方法的示意性流程图。

图3是本发明实施例的冷热数据的分离装置的示意性框图。

图4是本发明实施例的冷热数据的分离装置的示意性框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应理解，本发明的技术方案，可以应用于各种通信系统，例如：全球移动通讯系统(GlobalSystemofMobilecommunication，GSM)，码分多址(CodeDivisionMultipleAccess，CDMA)系统，宽带码分多址(WidebandCodeDivisionMultipleAccessWireless，WCDMA)，通用分组无线业务(GeneralPacketRadioService，GPRS)，长期演进(LongTermEvolution，LTE)等。

还应理解，用户设备(UserEquipment，UE)，也可称之为移动终端(MobileTerminal)、移动用户设备等，可以经无线接入网(例如，RadioAccessNetwork，RAN)与一个或多个核心网进行通信，用户设备可以是移动终端，如移动电话(或称为“蜂窝”电话)和具有移动终端的计算机，例如，可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置，它们与无线接入网交换语言和/或数据。

为了便于理解，先结合图1，简单介绍冷热数据的分离方法的硬件架构。图1所示的冷热数据的分离方法的硬件架构的示意图中，用户设备包括主机端和设备端。该主机端可以包括上层文件系统，该设备端可以包括底层存储设备。图1以eMMC作为底层存储设备为例，对该场景进行说明。应理解，下层存储设备还可以为SSD。用户设备可以通过eMMC中的控制器对闪存中的数据进行读写操作。具体来说，当应用程序进程需要读写数据时，首先访问页高速缓冲存储器(pagecache)，如果pagecache中没有该应用进程需要读写的数据，那么该应用进程需要访问闪存。这时虚拟文件系统(VirtualFileSystem，VSF)会调用读写命令，通过挂载的具体文件系统，得到逻辑块地址(LogicalBlockAddress，LBA)，访问具体的存储设备。在图1所示的硬件架构的基础上，下面结合图2，详细地描述根据本发明实施例的冷热数据的分离方法。

图2示出了根据本发明实施例的冷热数据的分离方法的示意性流程图。该方法包括：

210，移动终端的设备端接收所述移动终端的主机端发送的冷数据的逻辑地址。

具体地，逻辑地址可以由主机端根据该数据所在的文件的更新频率，确定该逻辑地址对应的数据是否为冷数据。例如，当该数据所在文件的类型为多媒体，数字声音格式(audio)，图片(image)，可执行程序(exe)等只读文件时，由于该类只读文件属于不会被更新，所以主机端可以认定该类文件中的数据为冷数据。

对于非只读类文件，主机端可以根据该文件在一段时间内的更新频率，确定该文件中的数据是否为冷数据。例如，主机端可以基于公式确定文件的更新频率，其中，H_f表示该文件的更新频率，表示该文件最后一次的更新时间，T表示当前时间，W_f表示该文件在T到时间段内更新的物理块的总数。当文件的更新频率高于预设的更新阈值时，主机端可以确定该文件中的数据为热数据；当文件的更新频率低于或等于预设的更新阈值时，主机端可以确定该文件中的数据为冷数据。

应理解，预设的更新阈值设置的越低，被标识为冷数据的数据被更新的频率越低，设备端基于该冷数据的逻辑地址，进行的冷热数据分离的效果越好。

220，所述设备端根据所述冷数据的逻辑地址，以及逻辑地址和物理地址的映射关系，确定所述冷数据的物理地址。

应理解，上述逻辑地址和物理地址的映射关系可以是基于页级映射的逻辑地址-物理地址映射表，该表中包含每个逻辑页与物理页之间的映射关系；上述逻辑地址和物理地址的映射关系还可以是基于块级映射的逻辑地址-物理地址映射表，该表中包含每个逻辑块与物理块之间的映射关系，本发明对上述映射关系不作具体限定。

230，所述设备端根据所述冷数据的物理地址，确定所述冷数据在所述移动终端的闪存中占用的物理页。

240，所述设备端根据所述冷数据在所述移动终端的闪存中占用的物理页，确定所述闪存中的物理块的冷数据和热数据的混合程度。

250，若所述混合程度属于预设的迁移阈值区间，所述设备端将所述物理块中的冷数据迁移出所述物理块。

例如，上述迁移阈值区间可以设置为[48％，60％]，若该混合程度属于该预设的迁移阈值区间，也就是说，在该混合程度对应的物理块中，冷数据和热数据的混合情况较严重，设备端需要将该物理块中的冷数据迁移出该物理块。

应理解，上述设备端可以将冷数据页迁移到独立的存储区域。例如，设备端可以将冷数据存储在相同的物理块中。

本发明实施例在系统空闲时设备端能够根据主机端发送的冷数据的逻辑地址，在GC之前，并且在系统处于空闲时，先将有效物理页中的冷数据迁移到独立的存储区中，避免了设备端因无法获知数据的冷热信息，导致物理块中的冷热混合度比较严重，从而实现设备端的冷热数据分离，减少GC时物理块中有效页的迁移量，改善GC的工作效率。

可选地，作为一个实施例，所述混合程度为所述冷数据所占用的物理页的数量与所述冷数据所在的物理块中物理页总数的比值。

可选地，作为一个实施例，所述方法还包括：若所述混合程度不属于所述预设的迁移阈值区间，所述设备端确定不迁移所述物理块中的所述冷数据。

可选地，作为一个实施例，所述设备端包括嵌入式多媒体卡eMMC，所述主机端包括文件系统。

可选地，作为一个实施例，所述设备端接收主机端发送的冷数据的逻辑地址，包括：所述设备端接收主机端发送的控制指令，所述控制指令包括所述冷数据的逻辑地址。

应理解，该控制指令可以是基于eMMC的控制指令，可以包括初始化和设备识别等基本指令，该控制指令还可以是存储设备支持的其他控制指令，本发明对此不做具体限定。

应理解，上述迁移该物理块中的冷数据，可以在系统处于空闲时进行，这样，既不会影响系统的运行效率，又可以减少存储空间的浪费。

上文结合图1和图2详细的描述了本发明实施例的冷热数据的分离方法，下面结合图3和图4详细描述根据本发明实施例的冷热数据的分离装置。应理解，图3和图4所示的装置能够实现图2中的各个步骤，为了避免重复，在此不再详述。

图3是本发明实施例的冷热数据的分离装置的示意性框图。图3所示的装置300包括接收模块310，第一确定模块320，第二确定模块330，第三确定模块340，第四确定模块350。

接收模块310，用于接收所述移动终端的主机端发送的冷数据的逻辑地址；

第一确定模块320，用于根据所述接收模块接收的所述冷数据的逻辑地址，以及逻辑地址和物理地址的映射关系，确定所述冷数据的物理地址；

第二确定模块330，用于根据所述第一确定模块确定的所述冷数据的物理地址，确定所述冷数据在所述移动终端的闪存中占用的物理页；

第三确定模块340，用于根据所述第二确定模块确定的所述冷数据在所述移动终端的闪存中占用的物理页，确定所述闪存中的物理块的冷数据和热数据的混合程度；

第四确定模块350，若所述第三确定模块确定的所述混合程度属于预设的迁移阈值区间，所述第四确定模块用于将所述物理块中的冷数据迁移出所述物理块。

本发明实施例的冷热数据的分离装置，能够根据主机端发送的冷数据的逻辑地址，在GC之前，并且在系统处于空闲时，先将有效物理页中的冷数据迁移到独立的存储区中，避免了设备端因无法获知数据的冷热信息，导致物理块中的冷热混合度比较严重，从而实现设备端的冷热数据分离，减少GC时物理块中有效页的迁移量，改善GC的工作效率。

可选的，作为一个实施例，所述混合程度为所述冷数据所占用的物理页的数量与所述冷数据所在的物理块中物理页总数的比值。

可选的，作为一个实施例，图3所示的装置还包括：第五确定模块，若所述混合程度不属于所述预设的迁移阈值区间，所述第五确定模块用于确定不迁移所述物理块中的所述冷数据。

可选的，作为一个实施例，所述设备端包括嵌入式多媒体卡eMMC，所述主机端包括文件系统。

可选的，作为一个实施例，所述设备端接收主机端发送的冷数据的逻辑地址，包括：所述设备端接收主机端发送的控制指令，所述控制指令包含所述冷数据的逻辑地址。

图4是本发明实施例的冷热数据的分离装置的示意性框图。图4所示的装置400包括存储器410、处理器420、输入/输出接口430、通信接口440和总线系统450。其中，存储器410、处理器420、输入/输出接口430和通信接口440通过总线系统450相连，该存储器410用于存储指令，该处理器420用于执行该存储器410存储的指令，以控制输入/输出接口430接收输入的数据和信息，输出操作结果等数据，并控制通信接口440发送信号。

通信接口440，用于接收所述移动终端的主机端发送的冷数据的逻辑地址；

处理器420，用于根据所述接收模块接收的所述冷数据的逻辑地址，以及逻辑地址和物理地址的映射关系，确定所述冷数据的物理地址；根据所述冷数据的物理地址，确定所述冷数据在所述移动终端的闪存中占用的物理页；用于根据所述冷数据在所述移动终端的闪存中占用的物理页，确定所述闪存中的物理块的冷数据和热数据的混合程度；若所述混合程度属于预设的迁移阈值区间，将所述物理块中的冷数据迁移出所述物理块。

应理解，在本发明实施例中，该处理器420可以采用通用的中央处理器(CentralProcessingUnit，CPU)，微处理器，应用专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)，或者一个或多个集成电路，用于执行相关程序，以实现本发明实施例所提供的技术方案。

还应理解，通信接口440使用例如但不限于收发器一类的收发装置，来实现装置400与其他设备或通信网络之间的通信。

该存储器410可以包括只读存储器和随机存取存储器，并向处理器420提供指令和数据。处理器420的一部分还可以包括非易失性随机存取存储器。例如，处理器420还可以存储设备类型的信息。

该总线系统450除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都标为总线系统450。

在实现过程中，上述方法的各步骤可以通过处理器420中的硬件的集成逻辑电路或者软件形式的指令完成。结合本发明实施例所公开的冷热数据分离的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器430，处理器420读取存储器430中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

应理解，在本发明实施例中，“与A相应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其它信息确定B。

应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(RandomAccessMemory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种冷热数据的分离方法，其特征在于，包括：

移动终端的设备端接收所述移动终端的主机端发送的冷数据的逻辑地址；

所述设备端根据所述冷数据的逻辑地址，以及逻辑地址和物理地址的映射关系，确定所述冷数据的物理地址；

所述设备端根据所述冷数据的物理地址，确定所述冷数据在所述移动终端的闪存中占用的物理页；

所述设备端根据所述冷数据在所述移动终端的闪存中占用的物理页，确定所述闪存中的物理块的冷数据和热数据的混合程度；

若所述混合程度属于预设的迁移阈值区间，所述设备端将所述物理块中的冷数据迁移出所述物理块。

2.如权利要求1所述的方法，其特征在于，所述混合程度为所述冷数据所占用的物理页的数量与所述冷数据所在的物理块中物理页总数的比值。

3.如权利要求1或2所述的方法，其特征在于，所述方法还包括：

若所述混合程度不属于所述预设的迁移阈值区间，所述设备端确定不迁移所述物理块中的所述冷数据。

4.如权利要求1至3中任一项所述的方法，其特征在于，所述设备端包括嵌入式多媒体卡eMMC，所述主机端包括文件系统。

5.如权利要求4所述的方法，其特征在于，所述设备端接收主机端发送的冷数据的逻辑地址，包括：

所述设备端接收主机端发送的控制指令，所述控制指令包含所述冷数据的逻辑地址。

6.一种冷热数据的分离装置，其特征在于，包括：

接收模块，用于接收所述移动终端的主机端发送的冷数据的逻辑地址；

第一确定模块，用于根据所述接收模块接收的所述冷数据的逻辑地址，以及逻辑地址和物理地址的映射关系，确定所述冷数据的物理地址；

第二确定模块，用于根据所述第一确定模块确定的所述冷数据的物理地址，确定所述冷数据在所述移动终端的闪存中占用的物理页；

第三确定模块，用于根据所述第二确定模块确定的所述冷数据在所述移动终端的闪存中占用的物理页，确定所述闪存中的物理块的冷数据和热数据的混合程度；

第四确定模块，若所述第三确定模块确定的所述混合程度属于预设的迁移阈值区间，所述第四确定模块用于将所述物理块中的冷数据迁移出所述物理块。

7.如权利要求6所述的装置，其特征在于，所述混合程度为所述冷数据所占用的物理页的数量与所述冷数据所在的物理块中物理页总数的比值。

8.如权利要求6或7所述的装置，其特征在于，所述装置还包括：

第五确定模块，若所述混合程度不属于所述预设的迁移阈值区间，所述第五确定模块用于确定不迁移所述物理块中的所述冷数据。

9.如权利要求6至8中任一项所述的装置，其特征在于，所述设备端包括嵌入式多媒体卡eMMC，所述主机端包括文件系统。

10.如权利要求9所述的装置，其特征在于，所述设备端接收主机端发送的冷数据的逻辑地址，包括：

所述设备端接收主机端发送的控制指令，所述控制指令包含所述冷数据的逻辑地址。