CN111881065A - 数据重删操作的物理地址处理方法、装置、设备及介质 - Google Patents

数据重删操作的物理地址处理方法、装置、设备及介质 Download PDF

Info

Publication number
CN111881065A
CN111881065A CN202010752749.7A CN202010752749A CN111881065A CN 111881065 A CN111881065 A CN 111881065A CN 202010752749 A CN202010752749 A CN 202010752749A CN 111881065 A CN111881065 A CN 111881065A
Authority
CN
China
Prior art keywords
data
physical address
target
fingerprint
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010752749.7A
Other languages
English (en)
Other versions
CN111881065B (zh
Inventor
夏方健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Inspur Data Technology Co Ltd
Original Assignee
Beijing Inspur Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Inspur Data Technology Co Ltd filed Critical Beijing Inspur Data Technology Co Ltd
Priority to CN202010752749.7A priority Critical patent/CN111881065B/zh
Publication of CN111881065A publication Critical patent/CN111881065A/zh
Application granted granted Critical
Publication of CN111881065B publication Critical patent/CN111881065B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/06Addressing a physical block of locations, e.g. base addressing, module addressing, memory dedication
    • G06F12/0646Configuration or reconfiguration
    • G06F12/0669Configuration or reconfiguration with decentralised address assignment
    • G06F12/0676Configuration or reconfiguration with decentralised address assignment the address being position dependent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/06Addressing a physical block of locations, e.g. base addressing, module addressing, memory dedication
    • G06F12/0615Address space extension

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据重删操作的物理地址处理方法、装置、设备及介质;在本方案中,如果存在第一物理地址对应的逻辑地址数量超过预定限定值,则从指纹库中删除与所述第一物理地址对应的指纹值,通过这种方式,可以在接收到与目标数据相同的其他数据后,由于未从指纹库中查找到与其他数据的指纹值相同的指纹值,将该其他数据作为非重复数据,重新分配物理地址,避免再为其他数据分配该第一物理地址,从而减少物理地址所对应的逻辑地址的数量,减少操作PL树的复杂度,提升系统的稳定性。

Description

数据重删操作的物理地址处理方法、装置、设备及介质
技术领域
本发明涉及数据存储技术领域,更具体地说,涉及一种数据重删操作的物理地址处理方法、装置、设备及介质。
背景技术
目前,全球信息化程度的不断提高正在加速产生海量的高价值数据,企业内部产生以及需要保存的数据急剧上升,而这些指数级增长的高价值数据给企业的IT部门提出了很多挑战,大数据时代,单纯依靠提升存储容量远远赶不上数据增加的速度,因此数据重删技术诞生,数据重删,即重复数据删除(Deduplication),是一种可自动识别并删除重复数据的技术,属于一种高级的数据压缩方式。开启数据重删功能后,系统将通过算法识别重复数据,并将相同数据只保留一个副本而删除多余的重复数据,原来的重复数据则被替换成指向保留的单一副本的引用。通过这种方式达到消除冗余数据、降低存储容量需求的目的。正常的对IO(Input Output,输入输出)数据的非重删操作中,一个数据最终会被保存到硬盘里,保存的位置即为物理地址PBA(Logical Block Address),相对应的,会为此数据分配一个逻辑地址LBA(Logical Block Address),此时每个数据的LBA与PBA是一一对应的关系;而重删操作实际是为已存在的重复数据分配一个逻辑地址LBA,而分配对应的物理地址PBA时,为其分配首个该重复数据的数据存放的PBA,此时数据的LBA与PBA的对应关系就会出现多对一的情况,节省了实际硬盘的容量空间;其中,PBA与LBA之间的对应关系通过PL树描述。
在PBA对应的LBA过多时,代表了重复数据大量下发,会导致PL树过于繁杂,此时会对下层处理PL树的模块产生巨大的压力,若PL树过于繁杂,则查询、修改PL树的元数据的性能会大幅下降。
因此,如何避免在对数据执行重删过程中,由于与PBA对应的LBA数量过多,导致操作PL树时造成的性能下降甚至宕机的问题。
发明内容
本发明的目的在于提供一种数据重删操作的物理地址处理方法、装置、设备及介质,以出现由于物理地址对应的逻辑地址数量过多,导致操作PL树时造成的性能下降甚至宕机的问题。
为实现上述目的,本发明提供的一种数据重删操作的物理地址处理方法,包括:
获取超限的第一物理地址;其中,所述第一物理地址所对应的逻辑地址的数量超过预定限定值;
读取所述目的物理地址所存储的目标数据;
计算所述目标数据的目标指纹值;
将所述目标指纹值从指纹库中删除,以便接收到与所述目标数据相同的其他数据时,将所述其他数据作为非重复数据重新分配物理地址。
其中,所述读取所述目的物理地址所存储的目标数据,包括:
从所述目的物理地址读取目标数据;
若读取成功,则继续执行所述计算所述目标数据的目标指纹值的步骤;若读取失败,则生成所述第一物理地址无效的提示信息。
其中,所述获取超限的第一物理地址,包括:将数据存储至硬盘时,建立与所述数据对应的物理地址和逻辑地址之间的对应关系;判断与所述数据的物理地址对应的逻辑地址数量是否超过预定限定值;若是,则将所述数据的物理地址作为超限的所述第一物理地址。
其中,所述计算所述目标数据的目标指纹值,包括:利用HASH算法计算所述目标数据的目标指纹值。
其中,所述接收到与所述目标数据相同的其他数据时,将所述其他数据作为非重复数据重新分配物理地址,包括:接收与所述目标数据相同的其他数据;将所述其他数据作为非重复数据,重新为所述非重复数据分配物理地址,并将所述其他数据的指纹值插入所述指纹库;其中,与所述其他数据的指纹值对应的物理地址为重新为所述非重复数据分配的物理地址。
其中,计算所述目标数据的目标指纹值之后,还包括:
从指纹库中查找与所述目标指纹值对应的第二物理地址;
判断所述第一物理地址与所述第二物理地址是否相同;若是,则继续执行所述将目标指纹值从指纹库中删除的步骤;若否,则结束流程。
其中,若所述第一物理地址与所述第二物理地址不同,则所述方法还包括:生成物理地址异常的提示信息。
为实现上述目的,本发明进一步提供一种数据重删操作的物理地址处理装置,包括:
物理地址获取模块,用于获取超限的第一物理地址;其中,所述第一物理地址所对应的逻辑地址的数量超过预定限定值;
目标数据读取模块,用于读取所述目的物理地址所存储的目标数据;
指纹计算模块,用于计算所述目标数据的目标指纹值;
指纹删除模块,用于将所述目标指纹值从指纹库中删除,以便接收到与所述目标数据相同的其他数据时,将所述其他数据作为非重复数据重新分配物理地址。
为实现上述目的,本发明进一步提供一种电子设备,包括:
存储器,用于存储计算机程序;处理器,用于执行所述计算机程序时实现上述的物理地址处理方法的步骤。
为实现上述目的,本发明进一步提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述的物理地址处理方法的步骤。
通过以上方案可知,本发明实施例提供的一种数据重删操作的物理地址处理方法,包括:获取超限的第一物理地址;其中,所述第一物理地址所对应的逻辑地址的数量超过预定限定值;读取所述目的物理地址所存储的目标数据;计算所述目标数据的目标指纹值;将所述目标指纹值从指纹库中删除,以便接收到与所述目标数据相同的其他数据时,将所述其他数据作为非重复数据重新分配物理地址。
可见,在本申请,如果存在第一物理地址对应的逻辑地址数量超过预定限定值,则从指纹库中删除与所述第一物理地址对应的指纹值,通过这种方式,可以在接收到与目标数据相同的其他数据后,由于未从指纹库中查找到与其他数据的指纹值相同的指纹值,因此可以将该其他数据作为非重复数据,重新分配物理地址,避免再为其他数据分配该第一物理地址,从而减少物理地址所对应的逻辑地址的数量,减少操作PL树的复杂度,提升系统的稳定性;本发明还公开了一种数据重删操作的物理地址处理装置、设备及介质,同样能实现上述技术效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例公开的一种数据重删操作的物理地址处理方法流程示意图;
图2为本发明实施例公开的一种PL超限处理流程示意图;
图3为本发明实施例公开的一种数据重删操作的物理地址处理装置结构示意图;
图4为本发明实施例公开的一种电子设备结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在全闪存中采用在线的方式实现重复数据删除功能。主要的原因是SSD(Solid State Disk,固态硬盘)存在寿命限制。数据写入后再处理的方式,数据需要先写到磁盘上,在空闲时再将数据读上来进行重复数据删除,之后再写入存储空间中,这样相比在线处理增加了一次写操作,也就增加了SSD盘的磨损,缩短了其使用寿命。所以,全闪存阵列中采用在线的方式实现重复数据删除压缩。在执行重复数据删除操作时,若同一个PBA对应的LBA过多,会导致PL树过于繁杂,此时会对下层处理PL树的模块产生巨大的压力,如:A数据的物理地址此时写入了B数据,那么相对应的PL关系需要重新建立,当LP元数据发生变化,同时会删除原PBA(即保存A数据)的PL元数据,由于大量的LBA对应原PBA,因此在查找并删除PL元数据会很耗时。
因此本发明实施例公开了一种数据重删操作的物理地址处理方法、装置、设备及介质,以出现由于物理地址对应的逻辑地址数量过多,导致操作PL树时造成的性能下降甚至宕机的问题。
参见图1,本发明实施例提供的一种数据重删操作的物理地址处理方法,包括:
S101、获取超限的第一物理地址;其中,第一物理地址所对应的逻辑地址的数量超过预定限定值;
可以理解的是,本申请可预先设定一个限定值,该限定值为每个PBA对应的LBA的最大数量,如果超过该预定限定值,则通过本方案来对该物理地址PBA进行处理,避免出现由于物理地址对应的逻辑地址数量过多,导致操作PL树时造成的性能下降甚至宕机的问题。因此在本申请中,首先需要检测是否存在某个物理地址所对应的逻辑地址的数量超过预定限定值,若存在,则获取该物理地址来执行本方案,为了对本方案进行清楚说明,现将该物理地址称为第一物理地址来进行说明。具体来说,本申请在获取超限的第一物理地址时,具体是下层检测到超出预定限定值的第一物理地址后,通过本方案对第一物理地址进行处理。并且,由于下层不知道具体的物理地址,因此需要将数据存储至硬盘,建立与该数据对应的物理地址和逻辑地址之间的对应关系后,判断与该数据的物理地址对应的逻辑地址数量是否超过预定限定值;若是,则将该数据的物理地址作为超限的第一物理地址。通过该方式,可及时查找到超限的物理地址,并对其进行处理。
S102、读取目的物理地址所存储的目标数据;
需要说明的是,本申请读取目的物理地址所存储的目标数据的过程具体包括:从目的物理地址读取目标数据;若读取成功,则继续执行S103~S104;若读取失败,则生成所述第一物理地址无效的提示信息。
具体来说,本申请获取超限的第一物理地址之后,需要确定该第一物理地址对应的指纹值。本申请具体是利用HASH算法计算该目标数据的目标指纹值,并且在获取指纹值时,为了确保该第一物理地址为有效地址,需要去硬盘相对应位置读数据,通过数据读取结果判断该第一物理地址是否有效。若成功读取该地址存储的目标数据,则判定该第一物理地址为有效地址,则需要继续执行后续步骤;若没有读取到数据,则判定该第一物理地址为无效地址,则流程结束,不执行后续步骤,并生成该第一物理地址无效的提示信息。
S103、计算目标数据的目标指纹值;
S104、将目标指纹值从指纹库中删除,以便接收到与目标数据相同的其他数据时,将其他数据作为非重复数据重新分配物理地址。
需要说明的是,为了清楚的对本方案进行解释说明,在此对重删操作的流程进行说明:
1、主机下发数据,然后将该数据按照重删算法所采取的分块方式划分为不同粒度,数据下发到重删模块;
2、重删模块通过算法计算数据的指纹值H;
3、通过计算出的指纹值到指纹库查询,判断指纹库是否存在该指纹值,若是,则按照重复数据进行处理,将新存储数据的逻辑地址与已经存储数据的物理地址之间创建新的对应关系;若否,则按照非重复数据进行处理;
4、非重复数据处理时,将数据的指纹值插入到指纹库,然后将数据正常落盘,并将逻辑地址与物理地址建立映射,下次同一个数据下发时,指纹库中存在了相同的指纹值,即可识别为重复数据。
可以看出,在存储数据时,若新存储的数据的指纹值在指纹库中,则将该数据作为重复数据处理,这会增加物理地址所对应的逻辑地址数量;若新存储的数据的指纹值不在指纹库中,这时便不会再对该物理地址增加对应的逻辑地址,因此本申请将超限的物理地址对应的指纹值从指纹库中删除后,若接收与目标数据相同的其他数据,便会将其他数据作为非重复数据,重新为非重复数据分配物理地址,并将其他数据的指纹值插入指纹库;其中,与其他数据的指纹值对应的物理地址为重新为非重复数据分配的物理地址。
也就是说,如果新存储的与目标数据相同的其他数据的指纹值,与指纹库中已存在的指纹值相同,则说明该其他数据为重复数据,那么在执行重删操作时,会再次向该第一物理地址分配该其他数据的逻辑地址;但是如果将该目标指纹值从指纹库中删除,即使再接收到相同的其他数据,由于不能再从指纹库中查找到相同的指纹值,因此不会将该其他数据作为重复数据,也不会再向该第一物理地址分配对应的逻辑地址,而是会向该其他数据分配一个新的物理地址,后续再有相同数据时,其逻辑地址不会与第一物理地址建立对应关系,而是会与新分配的物理地址建立对应关系。
因此,本申请成功读取到第一物理地址存储的目标数据后,需要计算该目标数据的目标指纹值,并将该目标指纹值从指纹库中删除,以避免后续存储数据时,再向该第一物理地址分配对应的逻辑地址,从而避免出现某一物理地址对应的逻辑地址数量过多的现象,避免出现其他模块操作PL树时造成的性能下降甚至宕机问题,有效的提升了系统的稳定性以及设备处理性能。
基于上述实施例,在本实施例中,本申请计算目标数据的目标指纹值之后,还包括:从指纹库中查找与目标指纹值对应的第二物理地址;判断第一物理地址与第二物理地址是否相同;若是,则继续执行S104;若否,则结束流程,并生成物理地址异常的提示信息。
参见图2,为本发明实施例公开的一种PL超限处理流程示意图;可以看出,本方案根据调用取得超限的第一物理地址PBA,并根据超限PBA去硬盘相对应位置读目标数据,以通过该步骤判断该超限PBA是否有效;若未读到PBA位置处的数据,则表示无效,流程结束;若读到数据,则根据读到的数据,利用hash算法计算该数据的目标指纹值H;进而,根据H寻找HP中对应的第二物理地址P,对比第一物理地址PBA和第二物理地址P是否相等,若不相等,则表示异常,不进行删除处理,直接结束流程;若相等,证明该PBA确实是存在超限现象,则将HP中的目标指纹值H删除,流程结束。
可以理解的是,本申请将PBA所对应的H删除之后,上层再次下发该重复数据时,正常重删流程中指纹库中的指纹已经被删除,所以该数据不会被判断为重复数据,会按照正常数据落盘,然后再次将指纹值H存入指纹库中,并建立新的PBA存放该数据,之后再有重复数据下发时,会有新的LBA对应到后建立的PBA上去,有效防止单个PBA对应过多LBA的问题。
具体来说,该HP为HP树,在执行重删操作时,为每个正常处理的数据指纹值H对应关联到相应的PBA,即生成HP树,因此,该HP树记载了每个数据的指纹值与所存储的物理地址之间的对应关系,等同与本申请中的指纹库。因此,本申请可以通过该HP树查找与目标指纹值对应的第二物理地址,以判断其他模块传过来的PBA是否确,防止误删操作。
需要说明的是,本申请出现第一物理地址和第二物理地址不同的情况包括两种:一、在执行本方案时,由于系统执行垃圾回收操作将第一物理地址回收,将会为该目标数据重新分配物理地址,因此根据目标数据的指纹值获取的第二物理地址为重新分配的物理地址,这时第一物理地址和第二物理地址不同,为地址异常现象;二、若两个存储在不同物理地址的不同数据的指纹值相同,则该目标指纹值读取的第二物理地址也会出现与第一物理地址不同的线程,该情况也为地址异常现象,只要出现地址异常现象,便不执行后续的删除指纹操作,避免出现误删操作。
综上可以看出,本申请提供的基于全闪存储服务器双控的重删过程中PL超限的处理方法,通过获取超限PBA判断并删除数据指纹值的操作,建立新的PBA,从而解决了大量重复数据下发时PBA对应过多LBA导致PL树过于繁杂的问题,这样不仅可以提升系统的稳定性,同时缩减了其他模块操作PL树的复杂度,提升了系统的性能。
下面对本发明实施例提供的物理地址处理装置进行介绍,下文描述的物理地址处理装置与上文描述的物理地址处理方法可以相互参照。
参见图3,本发明实施例提供的一种数据重删操作的物理地址处理装置,包括:
物理地址获取模块100,用于获取超限的第一物理地址;其中,所述第一物理地址所对应的逻辑地址的数量超过预定限定值;
目标数据读取模块200,用于读取所述目的物理地址所存储的目标数据;
指纹计算模块300,用于计算所述目标数据的目标指纹值;
指纹删除模块400,用于将所述目标指纹值从指纹库中删除,以便接收到与所述目标数据相同的其他数据时,将所述其他数据作为非重复数据重新分配物理地址。
其中,所述目标数据读取模块包括:
数据读取单元,用于从所述目的物理地址读取目标数据;若读取成功,则触发所述指纹计算模块计算所述目标数据的目标指纹值;
提示单元,用于在读取失败后,生成所述第一物理地址无效的提示信息。
其中,本方案还包括:
物理地址查找模块,用于从指纹库中查找与所述目标指纹值对应的第二物理地址;
判断模块,用于判断所述第一物理地址与所述第二物理地址是否相同;若是,则触发所述指纹删除模将目标指纹值从指纹库中删除的步骤。
其中,本方案还包括:
异常信息生成模块,用于在所述第一物理地址与所述第二物理地址不同时,生成物理地址异常的提示信息。
其中,物理地址获取模块包括:
对应关系建立单元,用于将数据存储至硬盘时,建立与所述数据对应的物理地址和逻辑地址之间的对应关系;
超限物理地址确定单元,用于判断与所述数据的物理地址对应的逻辑地址数量是否超过预定限定值;若是,则将所述数据的物理地址作为超限的所述第一物理地址。
其中,所述指纹计算模块具体用于:利用HASH算法计算所述目标数据的目标指纹值。
其中,所述装置还包括:
数据接收模块,用于接收与所述目标数据相同的其他数据;
物理地址分配模块,用于将所述其他数据作为非重复数据,重新为所述非重复数据分配物理地址;
指纹插入模块,用于将所述其他数据的指纹值插入所述指纹库;其中,与所述其他数据的指纹值对应的物理地址为重新为所述非重复数据分配的物理地址。
参见图4,为本发明实施例公开的一种电子设备,包括:
存储器11,用于存储计算机程序;
处理器12,用于执行所述计算机程序时实现上所实施例所述的物理地址处理方法的步骤。
在本实施例中,设备可以是PC(Personal Computer,个人电脑),也可以是智能手机、平板电脑、掌上电脑、便携计算机等终端设备。
该设备可以包括存储器11、处理器12和总线13。
其中,存储器11至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是设备的内部存储单元,例如该设备的硬盘。存储器11在另一些实施例中也可以是设备的外部存储设备,例如设备上配备的插接式硬盘,智能存储卡(SmartMedia Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器11还可以既包括设备的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于设备的应用软件及各类数据,例如执行物理地址处理方法的程序代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片,用于运行存储器11中存储的程序代码或处理数据,例如执行物理地址处理方法的程序代码等。
该总线13可以是外设部件互连标准(peripheral component interconnect,简称PCI)总线或扩展工业标准结构(extended industry standard architecture,简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示,图4中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
进一步地,设备还可以包括网络接口14,网络接口14可选的可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等),通常用于在该设备与其他电子设备之间建立通信连接。
可选地,该设备还可以包括用户接口,用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard),可选的用户接口还可以包括标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在设备中处理的信息以及用于显示可视化的用户界面。
图4仅示出了具有组件11-14的设备,本领域技术人员可以理解的是,图4示出的结构并不构成对设备的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
为本发明实施例还公开了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上所实施例所述的物理地址处理方法的步骤。
其中,该存储介质可以包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据重删操作的物理地址处理方法,其特征在于,包括:
获取超限的第一物理地址;其中,所述第一物理地址所对应的逻辑地址的数量超过预定限定值;
读取所述目的物理地址所存储的目标数据;
计算所述目标数据的目标指纹值;
将所述目标指纹值从指纹库中删除,以便接收到与所述目标数据相同的其他数据时,将所述其他数据作为非重复数据重新分配物理地址。
2.根据权利要求1所述的物理地址处理方法,其特征在于,所述读取所述目的物理地址所存储的目标数据,包括:
从所述目的物理地址读取目标数据;
若读取成功,则继续执行所述计算所述目标数据的目标指纹值的步骤;若读取失败,则生成所述第一物理地址无效的提示信息。
3.根据权利要求1所述的物理地址处理方法,其特征在于,所述获取超限的第一物理地址,包括:
将数据存储至硬盘时,建立与所述数据对应的物理地址和逻辑地址之间的对应关系;
判断与所述数据的物理地址对应的逻辑地址数量是否超过预定限定值;若是,则将所述数据的物理地址作为超限的所述第一物理地址。
4.根据权利要求1所述的物理地址处理方法,其特征在于,所述计算所述目标数据的目标指纹值,包括:
利用HASH算法计算所述目标数据的目标指纹值。
5.根据权利要求1所述的物理地址处理方法,其特征在于,所述接收到与所述目标数据相同的其他数据时,将所述其他数据作为非重复数据重新分配物理地址,包括:
接收与所述目标数据相同的其他数据;
将所述其他数据作为非重复数据,重新为所述非重复数据分配物理地址,并将所述其他数据的指纹值插入所述指纹库;其中,与所述其他数据的指纹值对应的物理地址为重新为所述非重复数据分配的物理地址。
6.根据权利要求1-5中任意一项所述的物理地址处理方法,其特征在于,计算所述目标数据的目标指纹值之后,还包括:
从指纹库中查找与所述目标指纹值对应的第二物理地址;
判断所述第一物理地址与所述第二物理地址是否相同;若是,则继续执行所述将目标指纹值从指纹库中删除的步骤;若否,则结束流程。
7.根据权利要求6所述的物理地址处理方法,其特征在于,若所述第一物理地址与所述第二物理地址不同,则所述方法还包括:
生成物理地址异常的提示信息。
8.一种数据重删操作的物理地址处理装置,其特征在于,包括:
物理地址获取模块,用于获取超限的第一物理地址;其中,所述第一物理地址所对应的逻辑地址的数量超过预定限定值;
目标数据读取模块,用于读取所述目的物理地址所存储的目标数据;
指纹计算模块,用于计算所述目标数据的目标指纹值;
指纹删除模块,用于将所述目标指纹值从指纹库中删除,以便接收到与所述目标数据相同的其他数据时,将所述其他数据作为非重复数据重新分配物理地址。
9.一种电子设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至7任一项所述的物理地址处理方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的物理地址处理方法的步骤。
CN202010752749.7A 2020-07-30 2020-07-30 数据重删操作的物理地址处理方法、装置、设备及介质 Active CN111881065B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010752749.7A CN111881065B (zh) 2020-07-30 2020-07-30 数据重删操作的物理地址处理方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010752749.7A CN111881065B (zh) 2020-07-30 2020-07-30 数据重删操作的物理地址处理方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN111881065A true CN111881065A (zh) 2020-11-03
CN111881065B CN111881065B (zh) 2022-07-05

Family

ID=73205718

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010752749.7A Active CN111881065B (zh) 2020-07-30 2020-07-30 数据重删操作的物理地址处理方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN111881065B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117369731A (zh) * 2023-12-07 2024-01-09 苏州元脑智能科技有限公司 一种数据的缩减处理方法、装置、设备及介质
CN118585141A (zh) * 2024-08-06 2024-09-03 合肥康芯威存储技术有限公司 一种存储器及其数据处理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4489378A (en) * 1981-06-05 1984-12-18 International Business Machines Corporation Automatic adjustment of the quantity of prefetch data in a disk cache operation
US20070106703A1 (en) * 2005-10-04 2007-05-10 Tatsuyuki Shiomi Apparatus, system, and method for determining the consistency of a database
CN102385554A (zh) * 2011-10-28 2012-03-21 华中科技大学 重复数据删除系统的优化方法
CN107003942A (zh) * 2014-10-27 2017-08-01 桑迪士克科技有限责任公司 对用于增强存储设备的性能和持久性的解除映射命令的处理
CN110532201A (zh) * 2019-08-23 2019-12-03 北京浪潮数据技术有限公司 一种元数据处理方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4489378A (en) * 1981-06-05 1984-12-18 International Business Machines Corporation Automatic adjustment of the quantity of prefetch data in a disk cache operation
US20070106703A1 (en) * 2005-10-04 2007-05-10 Tatsuyuki Shiomi Apparatus, system, and method for determining the consistency of a database
CN102385554A (zh) * 2011-10-28 2012-03-21 华中科技大学 重复数据删除系统的优化方法
CN107003942A (zh) * 2014-10-27 2017-08-01 桑迪士克科技有限责任公司 对用于增强存储设备的性能和持久性的解除映射命令的处理
CN110532201A (zh) * 2019-08-23 2019-12-03 北京浪潮数据技术有限公司 一种元数据处理方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
AHMED K. AL-ANI等: "Proposed DAD-match Security Technique based on Hash Function to Secure Duplicate Address Detection in IPv6 Link-local Network", 《ICIT 2017: PROCEEDINGS OF THE 2017 INTERNATIONAL CONFERENCE ON INFORMATION TECHNOLOGY》 *
阎芳等: "重复数据删除系统元数据存储布局研究", 《北京理工大学学报》 *
韩帅军: "面向归档存储的重复数据删除优化方法研究", 《中国优秀硕士学位论文全文数据库(电子期刊)》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117369731A (zh) * 2023-12-07 2024-01-09 苏州元脑智能科技有限公司 一种数据的缩减处理方法、装置、设备及介质
CN117369731B (zh) * 2023-12-07 2024-02-27 苏州元脑智能科技有限公司 一种数据的缩减处理方法、装置、设备及介质
CN118585141A (zh) * 2024-08-06 2024-09-03 合肥康芯威存储技术有限公司 一种存储器及其数据处理方法

Also Published As

Publication number Publication date
CN111881065B (zh) 2022-07-05

Similar Documents

Publication Publication Date Title
WO2019144553A1 (zh) 数据存储方法、装置及存储介质
CN111352861B (zh) 内存压缩方法、装置及电子设备
US7472252B2 (en) Merging identical memory pages
JP4805660B2 (ja) ディスクライト抜け検出装置
CN109634523A (zh) 一种磁盘管理方法、系统及电子设备和存储介质
CN111881065B (zh) 数据重删操作的物理地址处理方法、装置、设备及介质
CN112799584B (zh) 一种数据存储方法及装置
CN108733306B (zh) 一种文件合并方法及装置
CN111240601B (zh) 一种分区空间的超级块确定方法、装置、设备及存储介质
WO2022151985A1 (zh) 基于虚拟内存的数据存储方法、装置、设备及存储介质
CN109150642B (zh) 应用内存错误检测方法、检测装置及存储介质
US20160110107A1 (en) Method for writing data into flash memory apparatus, flash memory apparatus, and storage system
CN115495025B (zh) 一种管理异常存储块的方法和装置
CN111309267A (zh) 存储空间的分配方法、装置、存储设备及存储介质
CN109343859A (zh) 一种信息处理方法、装置及存储介质
CN114996173A (zh) 一种管理存储设备写操作的方法和装置
CN118250206A (zh) 基于流量回放的高并发压测试方法及相关装置
CN114356237A (zh) 一种控制方法、存储器和电子设备
CN112269665B (zh) 内存的处理方法和装置、电子设备和存储介质
CN107924350B (zh) 电子设备及其数据压缩方法
CN110399166B (zh) ME Nonce值的保存方法、装置、设备及存储介质
CN115514775A (zh) 一种数据处理方法、装置、设备及存储介质
US12032584B2 (en) Data management method and system for a security protection terminal, device and storage medium
CN115543859A (zh) 多分区ssd的磨损均衡优化方法、装置、设备及介质
EP3048541A1 (en) File access method and device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant