CN114356248B - 一种数据处理方法和装置 - Google Patents

一种数据处理方法和装置 Download PDF

Info

Publication number
CN114356248B
CN114356248B CN202210268230.0A CN202210268230A CN114356248B CN 114356248 B CN114356248 B CN 114356248B CN 202210268230 A CN202210268230 A CN 202210268230A CN 114356248 B CN114356248 B CN 114356248B
Authority
CN
China
Prior art keywords
reading
storage block
data
value
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210268230.0A
Other languages
English (en)
Other versions
CN114356248A (zh
Inventor
邓京涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202210268230.0A priority Critical patent/CN114356248B/zh
Publication of CN114356248A publication Critical patent/CN114356248A/zh
Application granted granted Critical
Publication of CN114356248B publication Critical patent/CN114356248B/zh
Priority to PCT/CN2023/082053 priority patent/WO2023174394A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Memory System (AREA)

Abstract

本发明涉及一种数据处理方法和装置,方法包括以下步骤:获取存储块的最优性能值;基于所述最优性能值,确定存储块的第一读取阈值及进行垃圾回收的执行概率值;获取读取所述存储块内有效数据的读取次数,判断所述读取次数是否大于所述第一读取阈值,若所述读取次数大于所述第一读取阈值,则基于所述执行概率值进行垃圾回收处理;基于本申请所述的数据处理方法可以有效地平滑处理由于读干扰导致的在进行垃圾回收处理时垃圾回收均衡性差的弊端,可以有效地提升用户的读写体验,解决读写性能波动大的问题。

Description

一种数据处理方法和装置
技术领域
本发明涉及数据存储技术领域,尤其是指一种数据处理方法和装置。
背景技术
固态硬盘(solid state drives ,SSD),指用固态电子存储芯片阵列制成的硬盘,由控制单元和存储单元组成。固态硬盘中的闪存芯片(flash memory)中包含多个区块(block),每一个区块中包含多个页(page)。在多次对页进行数据操作时,可能对同一个区块内其他页的数据操作造成干扰,造成读取数据出错。于是需要将含有无效数据和有效数据的页中的有效垃圾回收到新的区块中,从而将无效数据所占空间腾出以供有效数据使用,这个过程称为垃圾回收。
现有技术中,SSD主控制器从页中读取一次数据后,会将当前区块A的读次数加一,并写入到内存中(double data rate,DDR),并且可以获取该页的数据读次数,当其达到预设值时,利用一种随机数生成器,生成一定范围内的随机值,当这个值等于预设值时,触发垃圾回收,将当前读到的数据,搬移到新的区块B中,并标记区块A中被读到数据位置为无效。经过分析研究发现,上述方法存在以下弊端:当区块中的数据达到读预设值之前,可能全部都是有效数据(假设有效数据量为n),因预设概率为固定概率(假设为p),那么当读次数达到预设值之后,当前区块首次发生搬移的概率为p(n/n * p),当发生一次搬移后,当前区块中的有效数据变为n-1,那么下一次发生搬移的概率为(n-1)/n * p,再下一次发生的概率为(n-2)/ n * p。以此类推,可见随着搬移次数的增加,当前区块发生搬移的概率是逐渐减小的,也就是说,在实际场景中,当前区块发生垃圾回收的几率呈线性下降,发生垃圾回收的几率最大值是发生在刚达到预设值时。
在实际的应用场景中,当发生用户读写SSD内部数据,及SSD垃圾回收(垃圾回收)都是会消耗一定的CPU计算能力和缓存资源,但是CPU的计算能力和缓存资源都是有限的,为了能够达到用户的良好体验,垃圾回收产生时,垃圾回收的数量不能太多,也不能有明显的波动。但是现有技术涉及的垃圾回收处理方案与用户期望是相违背的。
因此,急需提出一种数据处理方法和装置。
发明内容
为了解决上述技术问题,本发明提供了一种数据处理方法和装置,有效地平滑处理由于读干扰导致的在进行垃圾回收处理时垃圾回收均衡性差的弊端,可以有效地提升用户的读写体验,解决现有技术中存在读写性能波动大的问题。
为实现上述目的,本申请提出第一技术方案:
一种数据处理方法,包括以下步骤:获取存储块的最优性能值、最大读取次数及单位数据个数;基于所述最优性能值、所述最大读取次数及所述单位数据个数,确定所述存储块的第一读取阈值;获取所述存储块内的有效数据个数及可存放有效数据的最大值;基于所述最优性能值、所述有效数据个数及所述可存放有效数据的最大值,确定进行垃圾回收的执行概率值;获取读取所述存储块内有效数据的读取次数,判断所述读取次数是否大于所述第一读取阈值,若所述读取次数大于所述第一读取阈值,则基于所述执行概率值进行垃圾回收处理。
在本发明的一个实施例中,确定存储块的第一读取阈值具体包括:获取所述存储块的最大读取次数及所述存储块的单位数据个数;根据所述存储块的最优性能值,基于下式,确定存储块的第一读取阈值:
Figure 334387DEST_PATH_IMAGE001
在本发明的一个实施例中,确定进行垃圾回收的执行概率值具体包括:获取所述存储块内的有效数据个数及所述存储块内可存放有效数据的最大值;根据所述存储块的最优性能值,基于下式,确定进行垃圾回收的执行概率值:
Figure 593331DEST_PATH_IMAGE002
在本发明的一个实施例中,若所述读取次数大于所述第一读取阈值,则基于所述执行概率值进行垃圾回收处理具体包括:获取确定进行垃圾回收的执行概率值;若所述执行概率值不小于1,且当所述读取次数与所述第一读取阈值的差值为所述执行概率值的整数倍时,进行一个数据单位的垃圾回收;若所述执行概率值大于0、小于1,且当所述读取次数与所述第一读取阈值的差值等于所述执行概率值时,进行一个数据单位的垃圾回收。
在本发明的一个实施例中,所述方法还包括:基于所述最优性能值,确定所述存储块的第二读取阈值;获取读取所述存储块内有效数据的读取次数,判断所述读取次数是否大于所述第二读取阈值;若所述读取次数超出所述第二读取阈值,则继续判断所述存储块内是否存在有效数据。
在本发明的一个实施例中,若所述读取次数超出所述第二读取阈值,则继续判断所述存储块内是否存在有效数据具体包括:若所述存储块内存在有效数据,则将所述存储块内的有效数据进行垃圾回收处理。
在本发明的一个实施例中,所述垃圾回收处理包括:将所述存储块内的有效数据写入第二存储块,擦除所述存储块内对应的无效数据,并更新所述有效数据对应的地址映射表。
为实现上述目的,本申请还提出第二技术方案:
一种数据处理装置,所述装置包括:获取单元,用于获取存储块的最优性能值、最大读取次数及单位数据个数;所述获取单元还用于获取所述存储块内的有效数据个数及可存放有效数据的最大值;第一计算单元,所述第一计算单元与所述获取单元通信连接,所述第一计算单元基于所述最优性能值、所述最大读取次数及所述单位数据个数,确定所述存储块的第一读取阈值;所述第一计算单元还用于基于所述有效数据个数及所述可存放有效数据的最大值,确定进行垃圾回收的执行概率值;第一判断单元,所述第一判断单元与所述计算单元通信连接,所述第一判断单元基于获取读取所述存储块内有效数据的读取次数,用于判断所述读取次数是否大于所述第一读取阈值,若所述读取次数大于所述读取阈值,则基于所述执行概率值进行垃圾回收处理。
在本发明的一个实施例中,所述装置还包括:第二计算单元,所述第二计算单元与所述获取单元通信连接,所述第二计算单元基于所述最优性能值,用于确定所述存储块的第二读取阈值;第二判断单元,所述第二判断单元与所述第二计算单元通信连接,所述第二判断单元基于获取读取所述存储块内有效数据的读取次数,用于判断所述读取次数是否大于所述第二读取阈值,若所述读取次数超出所述第二读取阈值,则继续判断所述存储块内是否存在有效数据;第三判断单元,所述第三判断单元与所述第二判断单元通信连接,所述第三判断单元用于继续判断所述存储块内是否存在有效数据,若所述存储块内存在有效数据,则将所述存储块内的有效数据进行垃圾回收处理。
在本发明的一个实施例中,所述装置还包括:垃圾回收单元,用于将存储块内的有效数据写入第二存储块,擦除所述存储块内对应的无效数据,并更新所述有效数据对应的地址映射表。
本发明的上述技术方案相比现有技术具有以下优点:
本发明所述的一种数据处理方法和装置,所述方法包括:获取存储块的最优性能值;基于所述最优性能值,确定存储块的第一读取阈值及进行垃圾回收的执行概率值;获取读取所述存储块内有效数据的读取次数,判断所述读取次数是否大于所述第一读取阈值,若所述读取次数大于所述第一读取阈值,则基于所述执行概率值进行垃圾回收处理;基于本申请所述的数据处理方法可以有效地平滑处理由于读干扰导致的在进行垃圾回收处理时垃圾回收均衡性差的弊端,可以有效地提升用户的读写体验,解决现有技术中存在的读写性能波动大的问题。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本发明的方法流程图;
图2是本发明的第一读取阈值与第二读取阈值之间的关系示意图;
图3是本发明的装置结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
下面对本申请实施例设计的一些属于进行介绍:
读干扰:当闪存中有有效数据,在多次对页进行数据操作时,可能对同一个区块内其他页的数据操作造成干扰,造成读取数据出错。
垃圾回收:将含有无效数据和有效数据的页中的有效垃圾回收到新的区块中,从而将无效数据所占空间腾出以供有效数据使用,这个过程称为垃圾回收。
实施例一:
参照图1所示,图1为实施例一的方法流程图。
本实施例的数据处理方法,包括以下步骤:步骤S1、获取存储块的最优性能值;步骤S2、基于所述最优性能值,确定存储块的第一读取阈值及进行垃圾回收的执行概率值;步骤S3、获取读取所述存储块内有效数据的读取次数,判断所述读取次数是否大于所述第一读取阈值,若所述读取次数大于所述第一读取阈值,则基于所述执行概率值进行垃圾回收处理。
在其中一个实施方式中,所述方法还包括:步骤S0、接受目标用户发送的有效数据读取请求,并利用所述有效数据读取请求确定待读取的目标有效数据,基于所述待读取的目标有效数据及所述目标有效数据对应的地址映射表确定所述目标有效数据所在的存储块。
在其中一个实施方式中,所述方法还包括:步骤S4、基于所述最优性能值,确定所述存储块的第二读取阈值;步骤S5、获取读取所述存储块内有效数据的读取次数,判断所述读取次数是否大于所述第二读取阈值,若所述读取次数超出所述第二读取阈值,则继续判断所述存储块内是否存在有效数据;步骤S6、若所述存储块内存在有效数据,则将所述存储块内的有效数据进行垃圾回收处理。如图2所示,即为第一读取阈值与第二读取阈值之间的关系示意图,其中,B表示第一读取阈值,A表示第二读取阈值。
在其中一个实施方式中,确定存储块的第一读取阈值具体包括:获取所述存储块的最大读取次数及所述存储块的单位数据个数;根据所述存储块的最优性能值,基于下式,确定存储块的第一读取阈值:
Figure 878818DEST_PATH_IMAGE003
;其中,需要理解的是,本申请对于所述最优性能值的具体取值的大小不做限定,本领域的技术人员根据存储块的实际性能进行确定,一般地,最优性能值通常是指:在实际的测试过程中,将不影响存储块的数据读取性能的最大值定义为最优性能值,即存储块在读写过程中,受到内部数据搬移的影响,存储块的读取性能会受到影响,当数据搬移的次数达到第四阈值后,存储块的读取性能会直线下降,因此,在实际场景中,将上述第四阈值定义为最优性能值。需要理解的是,本申请所述的最优性能值均为大于0小于1的数,在实际的应用过程中,若所述最优性能值大于1,则需取所述最优性能值的倒数。基于存储块的数据读取特性,对于存储数据的存储块而言,如果存储块被读取的次数越多,其内部存储的数据的稳定性会越差,因此,本申请所述的存储块的最大读取次数即为:在保证存储块内的数据具有高准确性和高稳定性的前提下,存储块内的数据可被读取的次数的最大值;存储块的单位数据个数表示一个区块内可以存放的单位数据的最大个数;存储块内的有效数据个数表示一个区块内存储的有效数据的个数;本申请所述的可存放有效数据的最大值表示一个区块内可以存储的有效数据的最大值。
在其中一个实施方式中,确定进行垃圾回收的执行概率值具体包括:获取所述存储块内的有效数据个数及所述存储块内可存放有效数据的最大值;根据所述存储块的最优性能值,基于下式,确定进行垃圾回收的执行概率值:
Figure 412568DEST_PATH_IMAGE004
;其中,所述存储块内可存放有效数据的最大值即为存储块的容量,即为存储块可以容纳有效数据的额定值;存储块内的有效数据个数即为在当前情况下,当前存储块内存储的现有的有效数据的个数。
在其中一个实施方式中,若所述读取次数大于所述第一读取阈值,则基于所述执行概率值进行垃圾回收处理具体包括:获取确定进行垃圾回收的执行概率值;若所述执行概率值不小于1,且当所述读取次数与所述第一读取阈值的差值为所述执行概率值的整数倍时,进行一个数据单位的垃圾回收;即表示当读取次数超出第一读取阈值之后,每当读取次数增加的次数与所述执行概率值相等的时候,就进行一个数据单位的垃圾回收。若所述执行概率值大于0、小于1,且当所述读取次数与所述第一读取阈值的差值等于所述执行概率值时,进行一个数据单位的垃圾回收。
在其中一个实施方式中,所述垃圾回收处理包括:将所述存储块内的有效数据写入第二存储块,擦除所述存储块内对应的无效数据,并更新所述有效数据对应的地址映射表。需要理解的是,所述擦除所属存储块内对应的无效数据具体包括:当将存储块中的有效数据写入第二存储块之后,即表示将对应的有效数据变为了无效数据留存在了存储块中,再将存储块内对应的无效数据擦除以实现可以将该存储块作为新的存储单元进行有效数据的存储。其中,更新所述有效数据对应的地址映射表,即将有效数据原来对应的存储块的地址更新为第二存储块的地址。需要理解的是,将存储块内的有效数据写入第二存储块的过程即为数据搬移的过程;本申请所述的无效数据即为被无效了的有效数据。
实施例二:
本实施例的数据处理方法,包括以下步骤:获取存储块的最优性能值;基于所述最优性能值,确定存储块的第一读取阈值及进行垃圾回收的执行概率值;获取读取所述存储块内有效数据的读取次数,判断所述读取次数是否大于所述第一读取阈值,若所述读取次数大于所述第一读取阈值,则基于所述执行概率值进行垃圾回收处理。
在其中一个实施方式中,确定存储块的第一读取阈值具体包括:获取所述存储块的最大读取次数及所述存储块的单位数据个数;根据所述存储块的最优性能值,基于下式,确定存储块的第一读取阈值:
Figure 467112DEST_PATH_IMAGE001
在其中一个实施方式中,确定进行垃圾回收的执行概率值具体包括:获取所述存储块内的有效数据个数及所述存储块内可存放有效数据的最大值;根据所述存储块的最优性能值,基于下式,确定进行垃圾回收的执行概率值:
Figure 929579DEST_PATH_IMAGE005
在其中一个实施方式中,若所述读取次数大于所述第一读取阈值,则基于所述执行概率值进行垃圾回收处理具体包括:获取确定进行垃圾回收的执行概率值;若所述执行概率值不小于1,且当所述读取次数与所述第一读取阈值的差值为所述执行概率值的整数倍时,进行一个数据单位的垃圾回收;若所述执行概率值大于0、小于1,且当所述读取次数与所述第一读取阈值的差值等于所述执行概率值时,进行一个数据单位的垃圾回收。
在其中一个实施方式中,所述方法还包括:基于所述最优性能值,确定所述存储块的第二读取阈值;获取读取所述存储块内有效数据的读取次数,判断所述读取次数是否大于所述第二读取阈值;若所述读取次数超出所述第二读取阈值,则继续判断所述存储块内是否存在有效数据。需要理解的是,本申请所述的第一读取阈值与第二读取阈值并非是同一概念,本申请所述的第二读取阈值相当于一个临界值,具体地,关于上述临界值,即第二读取阈值的具体大小可以根据实际应用场景的需要,由本领域技术人员进行确定。
在其中一个实施方式中,若所述读取次数超出所述第二读取阈值,则继续判断所述存储块内是否存在有效数据具体包括:若所述存储块内存在有效数据,则将所述存储块内的有效数据进行垃圾回收处理。
在其中一个实施方式中,所述垃圾回收处理包括:将所述存储块内的有效数据写入第二存储块,擦除所述存储块内对应的无效数据,并更新所述有效数据对应的地址映射表。
应该理解的是,虽然图1的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
实施例三:
参照图3所示,图3为实施例三的装置结构图。
本实施例的数据处理装置,包括:获取单元,用于获取存储块的最优性能值;第一计算单元,所述第一计算单元与所述获取单元通信连接,所述第一计算单元基于所述最优性能值,用于确定存储块的第一读取阈值及进行垃圾回收的执行概率值;第一判断单元,所述第一判断单元与所述计算单元通信连接,所述第一判断单元基于获取读取所述存储块内有效数据的读取次数,用于判断所述读取次数是否大于所述第一读取阈值,若所述读取次数大于所述读取阈值,则基于所述执行概率值进行垃圾回收处理。
在其中一个实施方式中,装置还包括:第二计算单元,所述第二计算单元与所述获取单元通信连接,所述第二计算单元基于所述最优性能值,用于确定所述存储块的第二读取阈值;第二判断单元,所述第二判断单元与所述第二计算单元通信连接,所述第二判断单元基于获取读取所述存储块内有效数据的读取次数,用于判断所述读取次数是否大于所述第二读取阈值,若所述读取次数超出所述第二读取阈值,则继续判断所述存储块内是否存在有效数据;第三判断单元,所述第三判断单元与所述第二判断单元通信连接,所述第三判断单元用于继续判断所述存储块内是否存在有效数据,若所述存储块内存在有效数据,则将所述存储块内的有效数据进行垃圾回收处理。
在其中一个实施方式中,装置还包括:垃圾回收单元,所述垃圾回收单元与所述第一判断单元及所述第三判断单元分别通信连接,所述垃圾回收单元用于将存储块内的有效数据写入第二存储块,擦除所述存储块内对应的无效数据,并更新所述有效数据对应的地址映射表。
关于数据处理装置的具体限定可以参见上文中对于数据处理方法的限定,在此不再赘述。上述数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
实施例四
本实施例提供一种计算机可读存储介质,计算机可读存储介质存储有程序,当程序被处理器执行时,使得处理器执行上述实施例一和实施例二中的数据处理方法的步骤。
本领域内的技术人员应明白,本发明实施例中的实施例可提供为方法、系统、或计算机程序产品。因此,本发明实施例中可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例中可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例中是参照根据本发明实施例中实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其它等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (8)

1.一种数据处理方法,其特征在于,所述方法包括以下步骤:
获取存储块的最优性能值、最大读取次数及单位数据个数;基于所述最优性能值、所述最大读取次数及所述单位数据个数,确定所述存储块的第一读取阈值;
获取所述存储块内的有效数据个数及可存放有效数据的最大值;基于所述最优性能值、所述有效数据个数及所述可存放有效数据的最大值,确定进行垃圾回收的执行概率值;
获取读取所述存储块内有效数据的读取次数,判断所述读取次数是否大于所述第一读取阈值,若所述读取次数大于所述第一读取阈值,则基于所述执行概率值进行垃圾回收处理;
其中,基于下式,确定所述存储块的第一读取阈值:
Figure DEST_PATH_IMAGE002
基于下式,确定进行垃圾回收的执行概率值:
Figure DEST_PATH_IMAGE004
2.根据权利要求1所述的数据处理方法,其特征在于,若所述读取次数大于所述第一读取阈值,则基于所述执行概率值进行垃圾回收处理具体包括:
获取进行垃圾回收的执行概率值;
若所述执行概率值不小于1,且当所述读取次数与所述第一读取阈值的差值为所述执行概率值的整数倍时,进行一个数据单位的垃圾回收;
若所述执行概率值大于0、小于1,且当所述读取次数与所述第一读取阈值的差值等于所述执行概率值时,进行一个数据单位的垃圾回收。
3.根据权利要求1或2所述的数据处理方法,其特征在于,所述方法还包括:
基于所述最优性能值,确定所述存储块的第二读取阈值;
获取读取所述存储块内有效数据的读取次数,判断所述读取次数是否大于所述第二读取阈值;
若所述读取次数超出所述第二读取阈值,则继续判断所述存储块内是否存在有效数据。
4.根据权利要求3所述的数据处理方法,其特征在于,若所述读取次数超出所述第二读取阈值,则继续判断所述存储块内是否存在有效数据具体包括:
若所述存储块内存在有效数据,则将所述存储块内的有效数据进行垃圾回收处理。
5.根据权利要求1或4所述的数据处理方法,其特征在于,所述垃圾回收处理包括:
将所述存储块内的有效数据写入第二存储块,擦除所述存储块内对应的无效数据,并更新所述有效数据对应的地址映射表。
6.一种数据处理装置,其特征在于,所述装置包括:
获取单元,用于获取存储块的最优性能值、最大读取次数及单位数据个数;所述获取单元还用于获取所述存储块内的有效数据个数及可存放有效数据的最大值;
第一计算单元,所述第一计算单元与所述获取单元通信连接,所述第一计算单元基于下式,确定所述存储块的第一读取阈值:
Figure DEST_PATH_IMAGE005
所述第一计算单元还用于基于下式,确定进行垃圾回收的执行概率值:
Figure DEST_PATH_IMAGE006
第一判断单元,所述第一判断单元与所述计算单元通信连接,所述第一判断单元基于获取读取所述存储块内有效数据的读取次数,用于判断所述读取次数是否大于所述第一读取阈值,若所述读取次数大于所述读取阈值,则基于所述执行概率值进行垃圾回收处理。
7.根据权利要求6所述的数据处理装置,其特征在于,所述装置还包括:
第二计算单元,所述第二计算单元与所述获取单元通信连接,所述第二计算单元基于所述最优性能值,用于确定所述存储块的第二读取阈值;
第二判断单元,所述第二判断单元与所述第二计算单元通信连接,所述第二判断单元基于获取读取所述存储块内有效数据的读取次数,用于判断所述读取次数是否大于所述第二读取阈值,若所述读取次数超出所述第二读取阈值,则继续判断所述存储块内是否存在有效数据;
第三判断单元,所述第三判断单元与所述第二判断单元通信连接,所述第三判断单元用于继续判断所述存储块内是否存在有效数据,若所述存储块内存在有效数据,则将所述存储块内的有效数据进行垃圾回收处理。
8.根据权利要求6或7所述的数据处理装置,其特征在于,所述装置还包括:
垃圾回收单元,用于将存储块内的有效数据写入第二存储块,擦除所述存储块内对应的无效数据,并更新所述有效数据对应的地址映射表。
CN202210268230.0A 2022-03-18 2022-03-18 一种数据处理方法和装置 Active CN114356248B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210268230.0A CN114356248B (zh) 2022-03-18 2022-03-18 一种数据处理方法和装置
PCT/CN2023/082053 WO2023174394A1 (zh) 2022-03-18 2023-03-17 一种数据处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210268230.0A CN114356248B (zh) 2022-03-18 2022-03-18 一种数据处理方法和装置

Publications (2)

Publication Number Publication Date
CN114356248A CN114356248A (zh) 2022-04-15
CN114356248B true CN114356248B (zh) 2022-06-14

Family

ID=81094808

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210268230.0A Active CN114356248B (zh) 2022-03-18 2022-03-18 一种数据处理方法和装置

Country Status (2)

Country Link
CN (1) CN114356248B (zh)
WO (1) WO2023174394A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114356248B (zh) * 2022-03-18 2022-06-14 苏州浪潮智能科技有限公司 一种数据处理方法和装置
CN114996173B (zh) * 2022-08-04 2022-11-18 合肥康芯威存储技术有限公司 一种管理存储设备写操作的方法和装置
CN115269451B (zh) * 2022-09-28 2023-05-12 珠海妙存科技有限公司 闪存垃圾回收方法、装置及可读存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10409526B2 (en) * 2014-12-17 2019-09-10 Violin Systems Llc Adaptive garbage collection
CN109976671A (zh) * 2019-03-19 2019-07-05 苏州浪潮智能科技有限公司 一种读干扰处理方法、装置、设备及可读存储介质
CN112256198B (zh) * 2020-10-21 2023-12-19 成都佰维存储科技有限公司 Ssd数据读取方法、装置、可读存储介质及电子设备
CN114356248B (zh) * 2022-03-18 2022-06-14 苏州浪潮智能科技有限公司 一种数据处理方法和装置

Also Published As

Publication number Publication date
CN114356248A (zh) 2022-04-15
WO2023174394A1 (zh) 2023-09-21

Similar Documents

Publication Publication Date Title
CN114356248B (zh) 一种数据处理方法和装置
CN105242871B (zh) 一种数据写入方法及装置
TWI515561B (zh) 使用快閃記憶體之頁結構的資料樹儲存方法、系統以及電腦產品
CN106910528B (zh) 一种固态硬盘数据巡检的优化方法及装置
US20100318760A1 (en) Memory controller, nonvolatile storage device, and nonvolatile storage system
CN107179880B (zh) 储存装置、其控制单元、及可用于储存装置的数据搬移方法
CN115756312A (zh) 数据访问系统、数据访问方法和存储介质
CN115269451B (zh) 闪存垃圾回收方法、装置及可读存储介质
KR20160071703A (ko) 데이터 저장 장치 및 그것의 동작 방법
US20230359363A1 (en) Method and Apparatus for Writing Data into SSD
CN109343796B (zh) 一种数据处理方法和装置
CN108762670B (zh) 一种ssd固件中数据块的管理方法、系统及装置
CN112905496A (zh) 垃圾回收的方法、装置、可读存储介质及电子设备
CN106649143B (zh) 一种访问缓存的方法、装置及电子设备
CN111435403B (zh) 一种闪存系统的磨损均衡方法及装置
CN111813339A (zh) 闪存Nand Flash的数据写入方法、装置、电子设备及存储介质
CN107943415B (zh) 基于fat文件系统的查找空闲簇的方法和系统
CN112506811B (zh) 基于固态硬盘内数据冷热划分的数据块动态分配方法、装置
CN115237821A (zh) 一种应用程序内存使用优化方法、装置、设备及介质
CN113467724A (zh) 一种crc校验码存储方法、装置、设备及介质
CN107506156B (zh) 一种块设备的io优化方法
CN108845959A (zh) 一种内存数据处理方法、装置和电子设备
CN114489506B (zh) 存储访问控制装置、方法及存储设备
CN110390626A (zh) 一种卷积神经网络的图像处理方法及装置
CN113703671B (zh) 一种数据块擦除方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant