CN107665098A

CN107665098A - 信息处理方法、存储设备及计算机存储介质

Info

Publication number: CN107665098A
Application number: CN201710792374.5A
Authority: CN
Inventors: 杨金楠
Original assignee: Lenovo Beijing Ltd
Current assignee: Lenovo Beijing Ltd
Priority date: 2017-09-05
Filing date: 2017-09-05
Publication date: 2018-02-06
Anticipated expiration: 2037-09-05
Also published as: CN107665098B

Abstract

本发明实施例公开了一种信息处理方法、存储设备及计算机存储介质。所述信息处理方法，包括：从磁盘中读取目标文件的有效数据块；释放所述目标文件所有数据块在磁盘中所占用的存储空间；将读取的所述有效数据块重新写入磁盘。

Description

信息处理方法、存储设备及计算机存储介质

技术领域

本发明涉及存储技术领域，尤其涉及一种信息处理方法、存储设备及计算机存储介质。

背景技术

一个电子设备中的物理磁盘确定了之后，该电子设备的磁盘空间容量就确定了。随着该电子设备存储的数据量的增多，会导致电子设备的磁盘空间逐渐被写满或者出现不足的状况。但是在有一些情况下，磁盘被提示空间不够，但是磁盘有效使用率却很低的现象。

发明内容

有鉴于此，本发明实施例期望提供的信息处理方法、存储设备及计算机存储介质，可至少部分解决上述问题。

为达到上述目的，本发明的技术方案是这样实现的：

第一方面，本发明实施例提供一种信息处理方法，应用于存储设备中，包括：

从磁盘中读取目标文件的有效数据块；

释放所述目标文件所有数据块在磁盘中所占用的存储空间；

将读取的所述有效数据块重新写入磁盘。

可选地，所述从磁盘中读取目标文件的有效数据块，包括：

从磁盘中读取目标文件中在索引中有引用关系的数据块；

所述方法还包括：

在所述有效数据块重新写入磁盘后，根据重新写入的存储地址更新所述索引。

可选地，所述方法还包括：

确定是否满足预定触发事件；

所述从磁盘中读取目标文件的有效数据块，包括：

当满足所述预定触发事件时，从所述磁盘中读取目标文件的有效数据块。

可选地，所述当满足所述预定触发事件时，从所述磁盘中读取目标文件的有效数据块，包括以下至少其中之一：

当所述磁盘空间的剩余空间容量小于第一预定阈值时，从所述磁盘中读取目标文件的有效数据块；

当所述磁盘的第一状态比值大于第二预定阈值时，从所述磁盘中读取目标文件的有效数据块；所述第一状态比值为已占用存储容量与所述磁盘的总存储容量的比值；

当所述磁盘的第二状态比值小于第三预定阈值时，从所述磁盘中读取目标文件的有效数据块；所述第二状态比值为剩余存储容量与所述磁盘的总存储容量的比值。

可选地，，所述当满足所述预定触发事件时，从所述磁盘中读取目标文件的有效数据块，包括：

在预定时间内对第一文件的操作频次达到第四预定阈值时，从所述磁盘中读取所述第一文件的有效数据块。

可选地，所述方法还包括：

根据文件的操作请求信息，确定所述目标文件。

可选地，所述根据文件的操作请求信息，确定所述目标文件，包括：

统计第一预定时间间隔内文件的读写请求频次；

根据所述读写请求频次选择所述目标文件。

第二方面，本发明实施例提供一种存储设备，包括：

读取单元，用于从磁盘中读取目标文件的有效数据块；

释放单元，用于释放所述目标文件所有数据块在磁盘中所占用的存储空间；

写入单元，用于将读取的所述有效数据块重新写入磁盘。

可选地，所述读取单元，用于从磁盘中读取目标文件中在索引中有引用关系的数据块；

所述存储设备还包括：

更新单元，用于在所述有效数据块重新写入磁盘后，根据重新写入的存储地址更新所述索引。

可选地，所述存储设备还包括：

第一确定单元，用于确定是否满足预定触发事件；

所述读取单元，具体用于当满足所述预定触发事件时，从所述磁盘中读取目标文件的有效数据块。

可选地，所述读取单元，具体用于执行以下至少其中之一：

可选地，所述读取单元，具体用于在预定时间内对第一文件的操作频次达到第四预定阈值时，从所述磁盘中读取所述第一文件的有效数据块。

可选地，所述存储设备还包括：

第二确定单元，用于根据文件的操作请求信息，确定所述目标文件。

可选地，第二确定单元，具体用于统计第一预定时间间隔内文件的读写请求频次；

根据所述读写请求频次选择所述目标文件。

第三方面，本发明实施例提供一种计算机存储介质，所述计算机存储介质存储有计算机程序；所述计算机程序被执行后，能够实现前述一项或多项提供的信息处理方法。

第四方面，本发明实施例提供一种存储设备，包括：存储器、处理器及存储在所述存储器上并由所述处理器执行的计算机程序；

所述处理器，与所述存储器连接，用于通过执行所述计算机程序，可至少执行上述一个或多个技术方案提供的信息处理方法。

本发明实施例提供的技术方案，会从磁盘读取有效数据块，再释放目标文件所有数据块占用的存储空间，然后在将有效数据块写回磁盘，这样的话，就可以释放掉目标文件中无效数据块占用的存储空间，从而减少存储空间被碎片化导致的无法提供大片空闲存储区域，进而导致的存储空间的利用率小的问题，提升了存储空间的有效利用率，降低了存储空间碎片化的程度。通过有效数据块的写回，确保了目标文件的存储，方便后续访问目标文件。

附图说明

图1为本发明实施例提供的第一种信息处理方法的流程示意图；

图2为本发明实施例提供的第二种信息处理方法的流程示意图；

图3为本发明实施例提供的一种存储设备的结构示意图；

图4为本发明实施例提供的另一种存储设备的结构示意图；

图5为本发明实施例提供的第一种磁盘的存储状态的示意图；

图6为本发明实施例提供的第二种磁盘的存储状态的示意图；

图7为本发明实施例提供的从磁盘读取数据写入缓存的示意图；

图8为本发明实施例提供的从缓存读取数据写入磁盘的示意图；

图9为本发明实施例提供的第二种磁盘的存储状态的示意图。

具体实施方式

以下结合说明书附图及具体实施例对本发明的技术方案做进一步的详细阐述。

如图1所示，本实施例提供一种信息处理方法，应用于存储设备中，包括：

步骤S110：从磁盘中读取目标文件的有效数据块；

步骤S120：释放所述目标文件所有数据块在磁盘中所占用的存储空间；

步骤S130：将读取的所述有效数据块重新写入磁盘。

在本实施例中，所述存储设备可为包括磁盘的存储设备，在本实施例中所述磁盘可为机械磁盘或闪盘等各种存储介质形成的磁盘。

典型的存储设备可为携带有磁盘的各种电子设备，例如，包含有磁盘的手机、平板电脑、笔记本电脑、台式电脑、笔记本平板电脑二合一、电子阅读器以及可穿戴设备等各种自身携带有磁盘的电子设备。当然，该磁盘也可以是通过接口连接到电子设备的主体的设备，例如，外接有磁盘的服务器等电子设备。

在步骤S110中将会从磁盘读取目标文件的有效数据块。所述目标文件可为当前存储在磁盘中的任意一个文件。根据文件类型分类，所述目标文件可包括：文本文件、音频文件、视频文件和/或图像文件等。根据文件的用途或功能分类，所述目标文件可包括：数据库文件、动态链接库文件、系统文件、应用程序文件和/或执行文件等文件中的一个或多个等。总之，这里的目标文件可为任意一个文件，在磁盘上这些文件都可以以二进制的码流写入到磁盘的各个扇区或数据块。

所述有效数据块，可为当前还有用的数据块，例如，在目标文件中有些数据块可能已经被指示删除了，在进行指示删除时，仅删除了数据索引中的应用关系，该应用关系可包括：该数据块内容的函数值和数据块所在的存储块的存储地址之间的对应关系。所述函数值可为对应的数据块中数据内容的哈希值；所述存储地址可为存储块在磁盘中的逻辑地址和/或物理地址等。在一些实施例中，所述存储地址还可以是相对于某一个参考地址的偏移量。

这样的话，存储设备在读取、更新或删除等操作该数据块时，可以基于该应用关系查询到存储该数据块的存储地址，并操作该存储地址对应的存储区域，从而实现对该数据块的读取、更新或删除等操作。

故在一些实施例中，所述步骤S110可包括：基于索引的查询，获得目标文件中有效数据块的引用关系，基于引用关系读取目标文件，此时，读取的数据即为所述目标文件中的有效数据块。

若一个数据块的应用关系被删除了，表明存储设备内的处理器，就无法基于应用关系对该数据块进行操作了，这种数据块可被视为无效数据块的一种，而有效数据块则是在索引中依然保存有引用关系的数据块。

在另外一些实施例中，为了实现文件备份或数据备份，可能在目标文件中存在着一些冗余数据块，而这些冗余数据块在一定程度上也可以视为无效数据块，而一个目标文件内的非冗余数据块可为所述有效数据块。例如，在一些实施例中，所述存储设备会分别记录每一个数据块的属性，该属性描述了不同数据块内数据的重要性，例如，所述属性可包括：描述是否冗余数据块的参数、数据。再例如，所述属性可包括：对应的数据块在索引中是否建立有引用关系。

在本实施例中，首先将目标文件的有效数据块读取出来，例如，可以将所述数据块读取到缓存中。其次，删除目标文件的所有数据块，这里的删除目标文件的所有数据块，包括删除当前目标文件的所有数据块的引用关系。一般情况下，向磁盘写入数据时，一般优先选用连续分布的空闲的存储块，这样的话，若一个目标文件经过若干次操作之后，中间某些数据块已经成了无效数据块，但是散布整个目标文件的各个位置，即对应了零散分布的存储块，这些零散的存储块的利用率是很小的。故在步骤S120中可以通过删除整个目标文件，可以腾出多个连续分布的存储块，而连续分布的存储块，可供后续文件的写入，从而提升存储块的有效利用。

在本实施例中，一个存储块可以对应于一个数据处理的存储和处理单元(block)。

在步骤S130中再将读取的有效数据块再次写回磁盘，这里步骤S130可包括：将读取的有效数据块写入磁盘，根据当前有效数据块占用的存储块，在索引中建立引用关系，后续方便存储设备对该目标文件进行操作。这样的话，就实现了无效数据块占用的存储块的有效回收。

可选地，所述步骤S110可包括：从磁盘中读取目标文件中在索引中有引用关系的数据块。所述方法还包括：

一个磁盘在投入使用之前，会对磁盘进行初始化。磁盘的初始化可包括：

进行磁盘分区；所述分区可包括：主分区；在一些实施例中，所述分区还可包括：主分区以外的拓展分区。一般当主分区大于预定个数以外时的分区即为拓展分区。

根据磁盘的分区分配逻辑地址；

在一些实施例中，会根据逻辑地址建立索引；所述索引可以存储在索引文件和/或索引表中。

而每一个分区可以包括若干个存储块，在底层的数据存储操作时，可以是以存储块为基本操作单位的。

在本实施例中所述存储地址可为所述分区后分配的逻辑地址。

在一些实施例中，如图2所示，所述方法还包括：

步骤S100：确定是否满足预定触发事件；

所述步骤S110可包括步骤S111，所述步骤S111可包括：

所述确定是否满足预定触发事件，该预定触发事件，是触发存储设备对目标文件进行无效数据块占用的存储块的回收的事件。

以下提供几种满足预定触发事件的几种方式的一种或多种：

可选方式一：

所述步骤S110，具体可包括：

当所述磁盘空间的剩余空间容量小于第一预定阈值时，从所述磁盘中读取目标文件的有效数据块。剩余空间容量，可为当前处于空闲状态的存储空间的量，当剩余空间容量小时，若很多剩余空间还是碎片化的，一方面会导致数据存储的不方便，需要在多个碎片化的存储区中操作，另一方面，可能会导致碎片化的存储区无法有效利用的问题，故在本实施例中，会在剩余空间容量小于所述第一预定阈值时，可认为满足了所述预定触发事件之一。

可选方式二：

所述步骤S110可包括：

当所述磁盘的第一状态比值大于第二预定阈值时，从所述磁盘中读取目标文件的有效数据块；所述第一状态比值为已占用存储容量与所述磁盘的总存储容量的比值。在本实施例中，所述第一状态标识可为：磁盘中存储的有效数据块占用的存储容量与磁盘的总存储容量之间的比值。若第一状态比值比较高，说明当前磁盘的存储率很高，这样的话，需要减少碎片化，以提升磁盘的存储空间的有效利用率，故在本实施例中，若第一状态比值大于第二预定阈值时，可认为满足所述预设触发事件之一。

可选方式三：

所述步骤S110可包括：

当所述磁盘的第二状态比值小于第三预定阈值时，从所述磁盘中读取目标文件的有效数据块；所述第二状态比值为剩余存储容量与所述磁盘的总存储容量的比值。在本实施例中，所述第二状态比值为：剩余存储容量与磁盘总存储容量的比值，剩余存储容量越小，则第二状态比值越小，若小于一个预设阈值，则可能需要通过碎片化存储区的整理，来提升磁盘的存储空间的有效利用率。

可选方式四：

所述步骤S100可包括：监听用户操作；当监听到触发所述预定存储空间回收的操作时，可认为满足所述预定触发事件。

所述步骤S110可包括：当监听到触发存储空间回收的操作的时，从目标文件读取有效数据块。

可选方式五：

所述步骤S110可包括：

在本实施例中，所述第一文件泛指磁盘上任意一个文件，在本实施例中，所述预定时间可为一个回收周期，例如，1周、24小时等预定时长。若某一个文件被反复操作，则可能产生无效数据块的几率大，故在本实施例中若在预定时间内对第一文件的操作频次达到了第四预定阈值时，从磁盘中读取第一文件的有效数据块，这里的第一文件即为上述目标文件的一种。故在本实施例中，所述步骤S101可包括：统计在预定时间内对第一文件的操作频次；当所述操作频次大于第四预定阈值时，可认为对应的第一文件为所述目标文件；所述步骤S110可包括：当目前有确定出需要去除无效数据块的目标文件时，读取所述目标文件的有效数据块。

在具体实现时，上述几种可以结合使用，通过监听上述状况，可以实现自用触发磁盘的文件整理和存储区的回收。

在一些实施例中，所述方法还包括：

根据文件的操作请求信息，确定所述目标文件。

所述操作请求信息，可包括：对目标文件进行写操作、读操作和/或更新操作的输入输出IO请求，或者，直接统计应用层或系统层对该目标文件发送的操作请求。用户层或系统层的不同操作请求，可能触发不同的IO请求，也可能仅触发一个相同的IO请求。

统计第一预定时间间隔内文件的读写请求频次；

根据所述读写请求频次选择所述目标文件。

在本实施例中通过读写请求频次，选择目标文件，这样的话，可以对读写请求频次少的文件，进行高频次的存储区的回收，可以降低不必要的处理。在本实施例中，所述读写请求频次，具体可包括：删除请求频次。

在一些实施例中，可以不统计所述读写请求频次，可以直接将磁盘内所有的文件视为目标文件，进行逐一磁盘碎片化的存储区的回收。

如图3所示，本实施例提供一种存储设备，包括：

读取单元110，用于从磁盘中读取目标文件的有效数据块；

释放单元120，用于释放所述目标文件所有数据块在磁盘中所占用的存储空间；

写入单元130，用于将读取的所述有效数据块重新写入磁盘。

所述读取单元110、释放单元120及写入单元130，均可对应于存储设备的相同或不同的处理器。所述处理器可为中央处理器、微处理器、数字信号处理器、应用处理器、可编程阵列或专用集成电路。

通过有效数据块的读取，目标文件的所有数据块占用的存储空间的释放以及有效数据块的写入，一方面确保了磁盘中依然存储有目标文件中的有效数据块，另一方面实现了存储空间的释放，提升了存储空间的有效利用率。

可选地，所述读取单元110，用于从磁盘中读取目标文件中在索引中有引用关系的数据块；

所述存储设备还包括：

所述更新单元，用于更新所述目标文件的存储之后，对应的更新索引，从而使得更新后的索引，包括：重新存储的目标文件的数据块与存储块之间的引用关系的更新。

可选地的，所述存储设备还包括：

第一确定单元，用于确定是否满足预定触发事件；

所述读取单元110，具体用于当满足所述预定触发事件时，从所述磁盘中读取目标文件的有效数据块。

所述确定单元，可同样对应于处理器，可以通过计算机程序等计算机可执行指令的执行，实现上述各个确认是否满足预定触发事件的操作。

可选地，所述读取单元110，可具体用于执行以下至少其中之一：

可选地，所述读取单元110，具体可用于在预定时间内对第一文件的操作频次达到第四预定阈值时，从所述磁盘中读取所述第一文件的有效数据块。

可选地，所述存储设备还包括：

例如，所述第二确定单元，可用于统计第一预定时间间隔内文件的读写请求频次；根据所述读写请求频次选择所述目标文件。

如图4所示，本实施例提供一种存储设备，所述存储设备可包括磁盘，或连接有磁盘，所述存储设备还包括：收发器330、存储器310、处理器320及存储在存储器310上并由处理器330运行的计算机程序340；

所述处理器320分别与所述存储器310及收发器330连接，用于通过执行所述计算机程序执行上述任意一个或多个技术方案提供的信息处理方法。

本实施例中所述收发器330可对应于网络接口，所述网络接口可为电缆接口、可以用于其他网元进行数据交互。

所述存储器310可包括：各种类型的存储介质，可以用于数据存储。在本实施例中，所述存储器310包括的存储介质至少部分为非易失性存储介质，可以用于存储所述计算机程序340。

所述处理器320可包括：中央处理器、微处理器、数字信号处理器、应用处理器、专用集成电路或可编程阵列等，可以用于通过计算机程序340的执行实现PNF信息包的形成。

在本实施例中，所述处理器320可通过集成电路总线等设备内总线，与所述收发器330及存储器310连接。

本发明实施例还提供一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器执行后，并执行前述一个或多个技术方案提供的信息处理方法。

本发明实施例提供的计算机存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。可选为，所述计算机存储介质可为非瞬间存储介质。这里的非瞬间存储介质又可以称为非易失性存储介质。

以下结合上述任意一个实施例提供几个具体示例：

示例1：

本示例提供一种重删模式下的存储空间回收方法，包括：

方法以文件为单位，充分利用文件中存在许多碎片化可回收的空间的特性，将文件中的数据读到缓存中，然后删掉磁盘中该文件，重新向磁盘申请文件的存储空间，并将缓存中的数据写回到申请的存储空间内。此时只写入有效数据块，从而实现了原文件中已经无引用关系的无效数据块占用的存储区域回收，依次类推操作下一个文件，最终将达到各个文件中的碎片化的存储空间收集回收，磁盘不再是满盘的状态，仍有可有效利用的空间，直到垃圾回收线程能正常运转，继续正常的回收工作为止，达到了满盘状态下空间重新回收磁盘仍然可用的状态。

示例2：

本示例提供另一种重删模式下的存储空间回收方法，包括：

重删模式下磁盘写满的状态见图1。其中，磁盘中的所有文件、每个文件中的所有区块都被写满，但在重删模式下的分布式系统中，用户经过一系列的读、写、创建、删除等等操作后，文件中可能存在一些已经没有被引用、可以被回收的数据块。在图5中显示的磁盘中存储有文件1、文件2、文件3至文件n。其中，文件1中的无效数据块，即可以回收存储空间的数据块，分别为区块4至区块6，文件2中没有无效数据块；文件3中可以回收存储空间的无效数据块可包括：区块2、区块5及区块6。文件n中可以回收存储空间的无效数据块可包括：区块3及区块4。

回收文件中的碎片化的空间，以文件1为例。

如图6所示，将文件1中的有效的区块上的数据读到缓存(Cache)中，即区块1，2，3三个数据块；而区块4，5，6三个数据块已经没有任何引用关系，即为可以回收的数据块，这些数据块中的数据已经可以删除，所以不用写到缓存中。

此时，文件1的有效数据已被读入缓存中，因此可以将文件1从磁盘中删除，删除后磁盘的状态，可如图7所示。

将数据写入磁盘，重新申请一个文件文件m，写入区块1，2，3的数据；可如图8所示。

数据写入之后，回收工作完成，此时磁盘中新写入的文件1的大小即为有效数据所占的大小，磁盘的状态如图9所示。此时，磁盘空间得到了回收，磁盘不再为满盘的状态，仍可正常读写。

依次处理各个文件，回收各个文件中所有无效的数据块，当磁盘回收一定的空间后，垃圾回收线程即可启动进行正常的回收工作。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理模块中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims

1.一种信息处理方法，其特征在于，应用于存储设备中，包括：

从磁盘中读取目标文件的有效数据块；

释放所述目标文件所有数据块在磁盘中所占用的存储空间；

将读取的所述有效数据块重新写入磁盘。

2.根据权利要求1所述的方法，其特征在于，

所述从磁盘中读取目标文件的有效数据块，包括：

从磁盘中读取目标文件中在索引中有引用关系的数据块；

所述方法还包括：

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

确定是否满足预定触发事件；

所述从磁盘中读取目标文件的有效数据块，包括：

4.根据权利要求3所述的方法，其特征在于，

所述当满足所述预定触发事件时，从所述磁盘中读取目标文件的有效数据块，包括以下至少其中之一：

5.根据权利要求4所述的方法，其特征在于，所述当满足所述预定触发事件时，从所述磁盘中读取目标文件的有效数据块，包括：

6.根据权利要求1或2所述的方法，其特征在于，

所述方法还包括：

根据文件的操作请求信息，确定所述目标文件。

7.根据权利要求6所述的方法，其特征在于，

所述根据文件的操作请求信息，确定所述目标文件，包括：

统计第一预定时间间隔内文件的读写请求频次；

根据所述读写请求频次选择所述目标文件。

8.一种存储设备，其特征在于，包括：

读取单元，用于从磁盘中读取目标文件的有效数据块；

写入单元，用于将读取的所述有效数据块重新写入磁盘。

9.根据权利要求8所述的存储设备，其特征在于，

所述读取单元，用于从磁盘中读取目标文件中在索引中有引用关系的数据块；

所述存储设备还包括：

10.一种存储设备，包括：存储器、处理器及存储在所述存储器上并由所述处理器执行的计算机程序；

所述处理器，与所述存储器连接，用于通过执行所述计算机程序，可至少执行以下步骤：

从磁盘中读取目标文件的有效数据块；

释放所述目标文件所有数据块在磁盘中所占用的存储空间；

将读取的所述有效数据块重新写入磁盘。