CN114579049A - 存储数据的调整方法、装置、电子设备和存储介质 - Google Patents

存储数据的调整方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN114579049A
CN114579049A CN202210133981.1A CN202210133981A CN114579049A CN 114579049 A CN114579049 A CN 114579049A CN 202210133981 A CN202210133981 A CN 202210133981A CN 114579049 A CN114579049 A CN 114579049A
Authority
CN
China
Prior art keywords
data
storage area
target
information
target data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210133981.1A
Other languages
English (en)
Inventor
常存银
王献飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Original Assignee
Alibaba China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba China Co Ltd filed Critical Alibaba China Co Ltd
Priority to CN202210133981.1A priority Critical patent/CN114579049A/zh
Publication of CN114579049A publication Critical patent/CN114579049A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0652Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608Saving storage space on storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671In-line storage system
    • G06F3/0673Single storage device
    • G06F3/0674Disk device
    • G06F3/0676Magnetic disk device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例提供了为了解决上述问题,本申请实施例公开了一种存储数据的调整方法、装置、电子设备和存储介质,所述的方法包括:接收数据拷贝指令,所述数据拷贝指令包括对源存储区域中目标数据的数据定位信息;依据数据定位信息,将源存储区域中的目标数据拷贝到目标存储区域;删除源存储区域的目标数据。

Description

存储数据的调整方法、装置、电子设备和存储介质
技术领域
本申请涉及计算机技术领域,特别是涉及一种存储数据的调整方法、一种存储数据的调整装置、一种电子设备和一种存储介质。
背景技术
存储器是用来存储程序和各种数据信息的记忆部件。在存储器中,由于数据的删除等原因,会产生数据空洞,为了对数据空洞进行清理,通常会采用垃圾回收(GarbageCollection,GC)的方式来清理空洞。
存储器通常由多个存储区域组成,垃圾回收的方式是通过处理器确定待清理的源存储区域,并将源存储区域中待清理的数据写入到缓存,之后将缓存中的数据拷贝到存储器中的目标存储区域,并删除源存储区域中的数据。垃圾回收方式是利用存储器顺序写的特性,在向目标存储区域拷贝数据的过程中,去除了数据空洞,实现了存储空间回收的目的。
但是,采用上述方式进行数据空洞的清理,需要占用系统的缓存、接口等资源,系统资源开销大。
发明内容
本申请实施例提供了一种存储数据的调整方法,以降低系统资源开销。
相应的,本申请实施例还提供了一种存储数据的调整装置、一种电子设备和一种存储介质,用以保证上述系统的实现及应用。
为了解决上述问题,本申请实施例公开了一种存储数据的调整方法,所述的方法包括:接收数据拷贝指令,所述数据拷贝指令包括对源存储区域中目标数据的数据定位信息;依据数据定位信息,将源存储区域中的目标数据拷贝到目标存储区域;删除源存储区域的目标数据。
可选的,所述数据定位信息包括目标数据的第一地址信息和数据量信息,所述方法还包括:依据第一地址信息和数据量信息,确定目标数据的源存储区域,并确定源存储区域中的头数据和尾数据,以将头数据和尾数据之间的数据作为目标数据。
可选的,所述数据拷贝指令还包括第二地址信息,所述方法还包括:依据第二地址信息,确定目标存储区域。
可选的,所述数据拷贝指令还包括备份地址信息,所述方法还包括:将源存储区域中的目标数据拷贝到备份地址信息对应的备份存储区域。
为了解决上述问题,本申请实施例公开了一种存储数据的调整方法,所述方法包括:获取对清理提示信息的反馈信息;依据反馈信息确定待清理的目标数据,并确定目标数据的数据定位信息;依据数据定位信息,生成数据拷贝指令;发送数据拷贝指令给存储器,以使所述存储器依据数据定位信息,将源存储区域中的目标数据拷贝到目标存储区域,并删除源存储区域的目标数据。
可选的,所述获取对清理提示信息的反馈信息,包括:提供交互页面,并在交互页面中展示清理提示信息;基于交互页面获取操作反馈,确定反馈信息。
为了解决上述问题,本申请实施例公开了一种存储数据的调整装置,所述装置包括:拷贝指令接收模块,用于接收数据拷贝指令,所述数据拷贝指令包括对源存储区域中目标数据的数据定位信息;目标数据拷贝模块,用于依据数据定位信息,将源存储区域中的目标数据拷贝到目标存储区域;目标数据删除模块,用于删除源存储区域的目标数据。
为了解决上述问题,本申请实施例公开了一种存储数据的调整装置,所述装置包括:反馈信息获取模块,用于获取对清理提示信息的反馈信息;定位信息获取模块,用于依据反馈信息确定待清理的目标数据,并确定目标数据的数据定位信息;拷贝指令生成模块,用于依据数据定位信息,生成数据拷贝指令;拷贝指令下发模块,用于发送数据拷贝指令给存储器,以使所述存储器依据数据定位信息,将源存储区域中的目标数据拷贝到目标存储区域,并删除源存储区域的目标数据。
为了解决上述问题,本申请实施例公开了一种电子设备,包括:处理器;和存储器,其上存储有可执行代码,当所述可执行代码被处理器执行时,执行如上述实施例中任一项所述的方法。
为了解决上述问题,本申请实施例公开了一个或多个机器可读介质,其上存储有可执行代码,当所述可执行代码被处理器执行时,执行如上述实施例中任一项所述的方法。
与现有技术相比,本申请实施例包括以下优点:
本申请实施例可以应用于数据处理系统,数据处理系统包括处理器和存储器,本申请实施例的方法可以应用于存储器,处理器可以向存储器发送数据拷贝指令,存储器接收数据拷贝指令之后,响应于数据拷贝指令,通过数据定位信息定位目标数据,以将目标数据从源存储区域拷贝到目标存储区域,并删除源存储区域的目标数据。其中,存储在源存储区域中的目标数据中由于部分数据被删除等处理,可能存在数据空洞,本申请实施例可以利用存储器顺序写的性质,在将源存储区域中的目标数据写入到目标存储区域的过程中,去除了目标数据中的数据空洞,并删除了源存储区域的目标数据,实现了清理数据空洞的目的。本申请实施例的存储器可以响应于数据拷贝指令进行数据拷贝和数据删除,无需通过缓存等组件进行数据传输,能够降低系统的资源开销。
附图说明
图1是本申请一个实施例的存储数据的调整方法的流程示意图;
图2是本申请另一个实施例的存储数据的调整方法的流程示意图;
图3是本申请再一个实施例的存储数据的调整方法的流程示意图;
图4是本申请再一个实施例的存储数据的调整方法的流程示意图;
图5是本申请一个实施例的存储数据的调整装置的结构示意图;
图6是本申请另一个实施例的存储数据的调整装置的结构示意图;
图7是本申请一个实施例提供的示例性装置的结构示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请作进一步详细的说明。
本申请实施例可以应用在对存储器的存储区域进行管理的场景中,存储器是用来存储程序和各种数据信息的记忆部件,存储器由多个存储区域组成,在存储器中,由于数据的删除等原因,会产生数据空洞,本申请实施例可以通过存储器进行数据拷贝和数据删除,节省了系统中其他组件(如缓存、处理器)的资源消耗。
如图1所示,本申请实施例可以应用于数据处理系统,数据处理系统包括处理器和存储器,本申请实施例可以通过处理器向存储器发送数据拷贝指令,存储器依据数据拷贝指令将目标数据从源存储区域拷贝到目标存储区域,并删除源存储区域中的目标数据,以去除数据空洞。本申请实施例存储器可以响应于数据拷贝指令进行数据拷贝,无需通过缓存等进行数据传输,能够降低系统资源开销。
具体来说,处理器还可以称为主机设备(Host),存储器还可以称为硬盘设备(Device);处理器可以向存储器发送数据拷贝指令,数据拷贝指令可以包括数据定位信息,数据定位信息用于确定待拷贝的目标数据,数据定位信息可以包括第一地址信息和数据量信息,第一地址信息用于定位目标数据的位置,数据量信息是指待处理的目标数据的数量。存储器可以通过第一地址信息确定目标数据的头数据(或尾数据),之后依据数据量信息获取头数据之后(或尾数据之前)目标数量的(符合数据量信息)数据,确定待处理的目标数据。
数据拷贝指令还可以包括:第二地址信息、备份地址信息、指令执行时限信息,第二地址信息用于确定目标数据迁移的位置(需迁移到的存储区域),备份地址信息用于确定目标数据备份的位置(需备份的存储区域),备份地址信息可以在目标数据需要备份时生成。执行时限信息用于确定指令执行是否超期,以确定是否执行指令。
在一个可选的实施例中,本申请实施例可以预先为存储器的存储区域设置清理规则,并依据清理规则生成数据拷贝指令,以进行存储区域的数据空洞清理。清理规则可以理解对存储区域中数据空洞的清理条件,如清理规则可以为在数据空洞的数据量达到预设清理阈值时清理,相应的,在数据空洞对应的数据量达到预设清理阈值时,可以生成数据拷贝指令,以进行数据空洞的清理。清理规则也可以为按照预设的清理周期清理,可以周期性的生成数据拷贝指令,以进行清理。在另一个可选的实施例中,本申请实施例也可以向用户提供交互页面,并在交互页面中展示清理提示信息,用户可以对清理提示信息进行操作反馈,以确定是否进行清理,在确定存储器需要进行清理时,处理器可以生成数据拷贝指令,以发送给存储器,存储器响应于数据拷贝指令进行数据拷贝和数据空洞清理。
存储器还可以向处理器反馈处理结果(或称数据拷贝结果),处理结果可以包括对应数据处理成功的第一提示信息和对应数据处理异常的第二提示信息。存储器在数据拷贝和数据删除的过程中,可能会产生异常,导致数据未被拷贝或数据部分被拷贝,相应的,存储器在数据处理发生异常时,可以向处理器反馈异常提示信息(第二提示信息),处理器根据异常提示信息,重新向存储器发送数据拷贝指令,以完成对目标数据的拷贝和数据空洞清理。
本申请实施例可以应用在对存储器的存储区域进行管理的场景中,本申请实施例存储器可以响应于数据拷贝指令进行数据拷贝和数据空洞清理,无需通过缓存等进行数据传输,能够降低系统资源开销。本申请实施例是对数据空洞的清理过程进行的调整,因此,本申请实施例可以应用在各类存储器中,例如,本申请实施例可以应用于云端存储器的数据空洞清理场景;再例如,本申请实施例也可以应用于企业、个人的存储器的数据空洞清理场景。从存储的数据类型来说,本申请实施例中可以对存储的物流、电商、医疗、交通等场景的相关数据中的数据空洞进行清理。
在上述实施例的基础上,本申请实施例还提供一种存储数据的调整方法,可以应用于存储器,在一个可选的实施例中,本申请实施例中的存储器可以为按照顺序进行数据写入的存储器(顺序写),如存储器可以采取机械硬盘(顺序写,随机读)。在本申请实施例中,存储器可以接收处理器的数据拷贝指令,以将源存储区域中的目标数据拷贝到目标存储区域,并删除源存储区域中的目标数据,实现清理数据空洞的目的,具体的,如图2所示,所述方法包括:步骤202、接收数据拷贝指令,所述数据拷贝指令包括对源存储区域中目标数据的数据定位信息。
在一个可选的实施例中,本申请实施例可以应用于对机械硬盘内的数据进行管理的场景中,本申请实施例中的数据拷贝指令可以为基于硬盘接口技术(AdvancedTechnology Attachment,ATA)的聚合写入指令(WRITE GATHERED EXT)。本申请实施例中的机械硬盘可以为基于叠瓦式磁记录技术(Shingled Magneting Recording,SMR)的硬盘,也可以为基于垂直磁性记录技术(Perpendicular Magnetic Recording,PMR)的硬盘;以机械硬盘为基于SMR技术的机械硬盘为例,聚合写入指令(WRITE GATHERED EXT)的格式可以如下表1所示:
Figure BDA0003503889700000061
表1
其中,RANGE PAGE COUNT field表示待拷贝(copy)的数据(source data)的总量,单位是LBA;
COMMAND DURATION LIMITS INDEX field表示指令执行时限信息;
待拷贝的数据可能分布在不同的存储区域,因此,可以在数据拷贝指令中加入COUNT,COUNT表示单个存储区域中待拷贝的目标数据的数据量信息,单位为LBA,COUNT可以小于RANGE PAGE COUNT;
LBA表示源存储区域的目标数据中头数据在源存储区域中的第一地址信息。
需要说明的是,本申请实施例也可以对聚合写入指令进行封装,以通过封装后的指令进行数据处理。例如,聚合写入指令(WRITE GATHERED EXT)可以封装成一个基于原生命令队列(Native Command Queuing,NCQ)的推送队列指令(SEND FPDMA QUEUEDCOMMAND)。
处理器生成数据拷贝指令之后,可以将数据拷贝指令发送给存储器,存储器在步骤204中,依据数据定位信息,将源存储区域中的目标数据拷贝到目标存储区域;并在步骤206中,删除源存储区域的目标数据。本申请实施例中,源存储区域可以包括存储器中至少一个存储区域,以将至少一个存储区域中的数据拷贝到目标存储区域中。
数据定位信息包含有目标数据的第一地址信息和数据量信息,存储器可以依据第一地址信息和数据量信息,确定待处理的目标数据。具体的,作为一个可选的实施例,所述数据定位信息包括目标数据的第一地址信息和数据量信息,所述方法还包括:依据第一地址信息和数据量信息,确定目标数据的源存储区域,并确定源存储区域中的头数据和尾数据,以将头数据和尾数据之间的数据作为目标数据。数据拷贝指令中可以包含有至少一个数据定位信息,每个数据定位信息对应的目标数据不同,相应的,数据拷贝指令还可以包含有数据总量信息,数据总量信息可以理解为多个数据定位信息对应的目标数据的数据总量,存储器可以依据数据总量信息判断数据处理过程是否发生异常。
确定目标数据之后,存储器可以将目标数据拷贝到目标存储区域,在一个可选的实施例中,目标存储区域可以为预先设定好的存储区域,本申请实施例可以预先为源存储区域关联对应的目标存储区域,形成对应关系,以依据对应关系,确定源存储区域对应的目标存储区域,进而将源存储区域中的目标数据存储到目标存储区域。另外,在另一个可选的实施例中,数据拷贝指令中还可以包含有第二地址信息,以依据第二地址信息,确定目标存储区域,具体的,所述数据拷贝指令还包括第二地址信息,所述方法还包括:依据第二地址信息,确定目标存储区域。
本申请实施例除了可以将目标数据从源存储区域拷贝到目标存储区域之外,还可以在清理了数据空洞之后,将数据从目标存储区域拷贝到源存储区域,具体的,作为一个可选的实施例,所述方法还包括:将目标存储区域中的目标数据拷贝到源存储区域,并删除目标存储区域中的目标数据。由于数据之间的差异,部分数据可能需要还原到原位置,因此,本申请实施例可以在将源存储区域中的数据空洞清理之后,存储器将目标存储区域中的目标数据拷贝到源存储区域,并删除目标存储区域中的目标数据。另外,本申请实施例也可以通过下发数据拷贝指令的方式,将目标存储区域中的目标数据拷贝到源存储区域。
本申请实施例还可以在数据拷贝指令中添加指令执行时限信息,以确定数据拷贝指令是否超期,具体的,作为一个可选的实施例,所述数据拷贝指令还包括指令执行时限信息,所述方法还包括:存储器依据指令执行时限信息,判断数据拷贝指令是否超期;存储器在数据拷贝指令超期时,反馈数据清理异常的异常提示信息给处理器。存储器可以判断数据拷贝指令是否超期,以执行未超期的数据拷贝指令,或向处理器反馈未执行的异常提示信息。处理器可以依据异常提示信息,重新下发数据拷贝指令。
本申请实施例除了可以进行数据空洞清理之外,还可以利用数据拷贝指令进行数据备份。本申请实施例还可以向数据拷贝指令中添加备份地址信息,以将目标数据备份,具体的,作为一个可选的实施例,所述数据拷贝指令还包括备份地址信息,所述方法还包括:将源存储区域中的目标数据拷贝到备份地址信息对应的备份存储区域。上述方案是将第一地址信息、第二地址信息和备份地址添加到数据拷贝指令中,以将源存储区域中的目标数据拷贝到目标存储区,并将源存储区域中的目标数据备份到备份存储区域。在另一个可选的实施例中,本申请实施例也可以将备份地址信息作为第二地址信息,以确定至少两个数据拷贝指令,并下发至少两个数据拷贝指令给存储器,存储器分别执行两个数据拷贝指令,以将数据拷贝到至少两个目标存储区域中。
在上述实施例的基础上,本申请实施例还提供一种存储数据的调整方法,如图3所示,所述方法包括:
步骤302、接收数据拷贝指令,所述数据拷贝指令包括对源存储区域中目标数据的数据定位信息。所述数据定位信息包括目标数据的第一地址信息和数据量信息;所述数据拷贝指令还包括第二地址信息。
步骤304、依据第一地址信息和数据量信息,确定目标数据的源存储区域,并确定源存储区域中的头数据和尾数据,以将头数据和尾数据之间的数据作为目标数据。
步骤306、依据第二地址信息,确定目标存储区域。
步骤308、将源存储区域中的目标数据拷贝到目标存储区域,并删除源存储区域的目标数据。
步骤310、将源存储区域中的目标数据拷贝到备份地址信息对应的备份存储区域。
本申请实施例中,处理器可以确定需要清理数据空洞的目标数据,并生成数据拷贝指令。处理器将数据拷贝指令发送给存储器,存储器可以解析出数据拷贝指令中的第一地址信息和数据量信息,以依据第一地址信息和数据量信息,确定目标数据的源存储区域,并确定源存储区域中的头数据和尾数据,以将头数据和尾数据之间的数据作为目标数据。存储器还可以从数据拷贝指令中解析出第二地址信息,并确定目标存储区域。之后,存储器将源存储区域中的目标数据拷贝到目标存储区域,并删除源存储区域的目标数据。
在上述实施例的基础上,本申请实施例还提供一种存储数据的调整方法,可以应用在处理器,处理器可以向存储器发送数据拷贝指令,存储器可以依据数据拷贝指令将源存储区域中的目标数据拷贝到目标存储区域,并删除源存储区域中的目标数据,实现清理数据空洞的目的,具体的,如图4所示,所述方法包括:
步骤402、获取对清理提示信息的反馈信息。其中,数据处理系统的处理器可以与终端设备进行交互,并发出清理提示信息,用户可以依据清理提示信息进行反馈,处理器依据用户的反馈,生成数据拷贝指令。作为一个可选的实施例,所述获取对清理提示信息的反馈信息,包括:提供交互页面,并在交互页面中展示清理提示信息;基于交互页面获取操作反馈,确定反馈信息。在一个示例中,在以对存储区域进行清理为目标时,发送给用户的清理提示信息可以包含有待清理的存储区域的区域信息,以根据用户的反馈对存储区域进行清理,处理器可以确定待清理的存储区域中的数据,并生成相应的数据拷贝指令,以进行数据空洞的清理。在另一个示例中,在以对数据进行清理为目标时,发送给用户的清理提示信息可以包含有待清理的(存储区域中的)数据,用户可以选择待清理的数据进行反馈,处理器根据用户的反馈,生成相应的数据拷贝指令,以进行数据空洞的清理。另外,用户的反馈可以分为三类,分别对应不清理、部分清理和全部清理;在用户的反馈对应不清理时,可以忽略用户反馈;在用户的反馈对应部分清理或全部清理时,处理器可以确定待清理的数据,并生成相应的数据拷贝指令。
作为另一个可选的实施例,本申请实施例也可以预先设置清理规则,处理器可以按照清理规则,生成数据拷贝指令,并发送给存储器。具体的,作为一个可选的实施例,所述方法还包括:依据预设清理规则,确定待清理的目标数据,并生成数据拷贝指令。本申请实施例可以以存储区域为清理目标,也可以以数据为清理目标。具体的,在一个示例中,预先设置的清理规则可以为对存储区域的清理规则,例如,清理规则可以为按照预先设置清理周期进行清理,可以按照清理周期,周期性的生成数据拷贝指令,以对数据进行清理。在另一个示例中,预先设置的清理规则也可以为对存储的数据的清理规则,例如,清理规则可以为按照数据已存储时长(如存储超过七天)进行清理,清理规则也可以为数据空洞的数据量是否达到预设清理阈值,处理器可以确定删除的数据量,以确定数据空洞对应的数据量,在数据空洞对应的数据量达到预设清理阈值时,生成数据拷贝指令。
步骤404、依据反馈信息确定待清理的目标数据,并确定目标数据的数据定位信息。
步骤406、依据数据定位信息,生成数据拷贝指令。
步骤408、发送数据拷贝指令给存储器,以使所述存储器依据数据定位信息,将源存储区域中的目标数据拷贝到目标存储区域,并删除源存储区域的目标数据。
存储器还可以向处理器反馈数据处理状况,例如,存储器可以向处理器反馈处理成功、处理失败的提示信息。具体的,在数据拷贝指令超期或者数据拷贝异常时,存储器可以向处理器反馈相应的异常提示信息,以进行异常处理,具体的,作为一个可选的实施例,所述方法还包括:接收清理异常的异常提示信息,并判断目标数据是否被部分拷贝,得到判断结果;在判断结果为第一结果时,处重新发送数据拷贝指令给存储器;在判断结果为第二结果时,确定待拷贝的数据,以生成待拷贝数据的数据拷贝指令,并下发给存储器。存储器在数据处理过程中产生的异常可以划分为两类,分别为:目标数据未拷贝、目标数据部分被拷贝,处理器可以依据异常提示信息进行判断,确定目标数据是否被部分拷贝,在目标数据未被拷贝时,判断结果为第一结果,处理器可以重新发送数据拷贝指令给存储器,存储器重新进行数据拷贝和源存储区域中目标数据的删除过程。在目标数据部分被拷贝时,判断结果为第二结果,处理器可以筛选出未被拷贝的数据,作为待拷贝的数据,以生成相应的数据拷贝指令,以继续完成目标数据的拷贝和源存储区域中目标数据的删除过程。
本实施例的实施方式与上述实施例的实施方式类似,具体实施方式可以参考上述实施例的具体实施方式,此处不再赘述。
本申请实施例可以应用在处理器,处理器可以向用户展示清理提示信息,用户可以对清理提示信息进行操作反馈,以确定待处理的目标数据,之后可以确定目标数据的数据定位信息,以生成对目标数据的数据拷贝指令,并将数据拷贝指令发送给存储器,存储器可以解析出数据拷贝指令中的数据定位信息,以依据数据定位信息,确定目标数据的源存储区域,并确定源存储区域中的目标数据,存储器还可以确定目标存储区域。之后,存储器可以将源存储区域中的目标数据拷贝到目标存储区域,并删除源存储区域的目标数据。存储器完成数据拷贝指令对应的数据处理之后,可以向处理器反馈数据拷贝结果(清理完成或清理异常)。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请实施例并不受所描述的动作顺序的限制,因为依据本申请实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本申请实施例所必须的。
在上述实施例的基础上,本实施例还提供了一种存储数据的调整装置,参照图5,具体可以包括如下模块:
拷贝指令接收模块502,用于接收数据拷贝指令,所述数据拷贝指令包括对源存储区域中目标数据的数据定位信息。
目标数据拷贝模块504,用于依据数据定位信息,将源存储区域中的目标数据拷贝到目标存储区域。
目标数据删除模块506,用于删除源存储区域的目标数据。
综上,本申请实施例可以应用于数据处理系统,数据处理系统包括处理器和存储器,处理器可以向存储器发送数据拷贝指令,存储器接收数据拷贝指令之后,响应于数据拷贝指令,通过数据定位信息定位目标数据,以将目标数据从源存储区域拷贝到目标存储区域,并删除源存储区域的目标数据。其中,存储在源存储区域中的目标数据中由于部分数据被删除等处理,可能存在数据空洞,本申请实施例可以利用存储器顺序写的性质,在将源存储区域中的目标数据写入到目标存储区域的过程中,去除了目标数据中的数据空洞,并删除了源存储区域的目标数据,实现了清理数据空洞的目的。本申请实施例的存储器可以响应于数据拷贝指令进行数据拷贝和数据删除,无需通过缓存等组件进行数据传输,能够降低系统的资源开销。
在上述实施例的基础上,本实施例还提供了一种存储数据的调整装置,具体可以包括如下模块:
拷贝指令接收处理模块,用于接收数据拷贝指令,所述数据拷贝指令包括对源存储区域中目标数据的数据定位信息。所述数据定位信息包括目标数据的第一地址信息和数据量信息;所述数据拷贝指令还包括第二地址信息。
目标数据确定处理模块,用于依据第一地址信息和数据量信息,确定目标数据的源存储区域,并确定源存储区域中的头数据和尾数据,以将头数据和尾数据之间的数据作为目标数据。
目标区域确定处理模块,用于依据第二地址信息,确定目标存储区域。
目标数据迁移处理模块,用于将源存储区域中的目标数据拷贝到目标存储区域,并删除源存储区域的目标数据。
目标数据备份处理模块,用于将源存储区域中的目标数据拷贝到备份地址信息对应的备份存储区域。
本申请实施例中,处理器可以确定需要清理数据空洞的目标数据,并生成数据拷贝指令。处理器将数据拷贝指令发送给存储器,存储器可以解析出数据拷贝指令中的第一地址信息和数据量信息,以依据第一地址信息和数据量信息,确定目标数据的源存储区域,并确定源存储区域中的头数据和尾数据,以将头数据和尾数据之间的数据作为目标数据。存储器还可以从数据拷贝指令中解析出第二地址信息,并确定目标存储区域。之后,存储器将源存储区域中的目标数据拷贝到目标存储区域,并删除源存储区域的目标数据。
在上述实施例的基础上,本实施例还提供了一种存储数据的调整装置,参照图6,具体可以包括如下模块:
反馈信息获取模块602,用于获取对清理提示信息的反馈信息。
定位信息获取模块604,用于依据反馈信息确定待清理的目标数据,并确定目标数据的数据定位信息。
拷贝指令生成模块606,用于依据数据定位信息,生成数据拷贝指令。
拷贝指令下发模块608,用于发送数据拷贝指令给存储器,以使所述存储器依据数据定位信息,将源存储区域中的目标数据拷贝到目标存储区域,并删除源存储区域的目标数据。
综上,本申请实施例可以应用在处理器,处理器可以向用户展示清理提示信息,用户可以对清理提示信息进行操作反馈,以确定待处理的目标数据,之后可以确定目标数据的数据定位信息,以生成对目标数据的数据拷贝指令,并将数据拷贝指令发送给存储器,存储器可以解析出数据拷贝指令中的数据定位信息,以依据数据定位信息,确定目标数据的源存储区域,并确定源存储区域中的目标数据,存储器还可以确定目标存储区域。之后,存储器可以将源存储区域中的目标数据拷贝到目标存储区域,并删除源存储区域的目标数据。存储器完成数据拷贝指令对应的数据处理之后,可以向处理器反馈数据拷贝结果(清理完成或清理异常)。
本申请实施例还提供了一种非易失性可读存储介质,该存储介质中存储有一个或多个模块(programs),该一个或多个模块被应用在设备时,可以使得该设备执行本申请实施例中各方法步骤的指令(instructions)。
本申请实施例提供了一个或多个机器可读介质,其上存储有指令,当由一个或多个处理器执行时,使得电子设备执行如上述实施例中一个或多个所述的方法。本申请实施例中,所述电子设备包括服务器、终端设备等设备。
本公开的实施例可被实现为使用任意适当的硬件,固件,软件,或及其任意组合进行想要的配置的装置,该装置可包括服务器(集群)、终端等电子设备。图7示意性地示出了可被用于实现本申请中所述的各个实施例的示例性装置700。
对于一个实施例,图7示出了示例性装置700,该装置具有一个或多个处理器702、被耦合到(一个或多个)处理器702中的至少一个的控制模块(芯片组)704、被耦合到控制模块704的存储器706、被耦合到控制模块704的非易失性存储器(NVM)/存储设备708、被耦合到控制模块704的一个或多个输入/输出设备710,以及被耦合到控制模块704的网络接口712。
处理器702可包括一个或多个单核或多核处理器,处理器702可包括通用处理器或专用处理器(例如图形处理器、应用处理器、基频处理器等)的任意组合。在一些实施例中,装置700能够作为本申请实施例中所述服务端、终端等设备。
在一些实施例中,装置700可包括具有指令714的一个或多个计算机可读介质(例如,存储器706或NVM/存储设备708)以及与该一个或多个计算机可读介质相合并被配置为执行指令714以实现模块从而执行本公开中所述的动作的一个或多个处理器702。
对于一个实施例,控制模块704可包括任意适当的接口控制器,以向(一个或多个)处理器702中的至少一个和/或与控制模块704通信的任意适当的设备或组件提供任意适当的接口。
控制模块704可包括存储器控制器模块,以向存储器706提供接口。存储器控制器模块可以是硬件模块、软件模块和/或固件模块。
存储器706可被用于例如为装置700加载和存储数据和/或指令714。对于一个实施例,存储器706可包括任意适当的易失性存储器,例如,适当的DRAM。在一些实施例中,存储器706可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例,控制模块704可包括一个或多个输入/输出控制器,以向NVM/存储设备708及(一个或多个)输入/输出设备710提供接口。
例如,NVM/存储设备708可被用于存储数据和/或指令714。NVM/存储设备708可包括任意适当的非易失性存储器(例如,闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如,一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备708可包括作为装置700被安装在其上的设备的一部分的存储资源,或者其可被该设备访问可不必作为该设备的一部分。例如,NVM/存储设备708可通过网络经由(一个或多个)输入/输出设备710进行访问。
(一个或多个)输入/输出设备710可为装置700提供接口以与任意其他适当的设备通信,输入/输出设备710可以包括通信组件、音频组件、传感器组件等。网络接口712可为装置700提供接口以通过一个或多个网络通信,装置700可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信,例如接入基于通信标准的无线网络,如WiFi、2G、3G、4G、5G等,或它们的组合进行无线通信。
对于一个实施例,(一个或多个)处理器702中的至少一个可与控制模块704的一个或多个控制器(例如,存储器控制器模块)的逻辑封装在一起。对于一个实施例,(一个或多个)处理器702中的至少一个可与控制模块704的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例,(一个或多个)处理器702中的至少一个可与控制模块704的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例,(一个或多个)处理器702中的至少一个可与控制模块704的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。
在各个实施例中,装置700可以但不限于是:服务器、台式计算设备或移动计算设备(例如,膝上型计算设备、手持计算设备、平板电脑、上网本等)等终端设备。在各个实施例中,装置700可具有更多或更少的组件和/或不同的架构。例如,在一些实施例中,装置700包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
其中,检测装置中可采用主控芯片作为处理器或控制模块,传感器数据、位置信息等存储到存储器或NVM/存储设备中,传感器组可作为输入/输出设备,通信接口可包括网络接口。
本申请实施例还提供了一种电子设备,包括:处理器;和存储器,其上存储有可执行代码,当所述可执行代码被执行时,使得所述处理器执行如本申请实施例中一个或多个所述的方法。
本申请实施例还提供了一个或多个机器可读介质,其上存储有可执行代码,当所述可执行代码被执行时,使得处理器执行如本申请实施例中一个或多个所述的方法。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种存储数据的调整方法、一种存储数据的调整装置、一种电子设备和一种存储介质,进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种存储数据的调整方法,其特征在于,所述方法包括:
接收数据拷贝指令,所述数据拷贝指令包括对源存储区域中目标数据的数据定位信息;
依据数据定位信息,将源存储区域中的目标数据拷贝到目标存储区域;
删除源存储区域的目标数据。
2.根据权利要求1所述的方法,其特征在于,所述数据定位信息包括目标数据的第一地址信息和数据量信息,所述方法还包括:
依据第一地址信息和数据量信息,确定目标数据的源存储区域,并确定源存储区域中的头数据和尾数据,以将头数据和尾数据之间的数据作为目标数据。
3.根据权利要求1所述的方法,其特征在于,所述数据拷贝指令还包括第二地址信息,所述方法还包括:
依据第二地址信息,确定目标存储区域。
4.根据权利要求1所述的方法,其特征在于,所述数据拷贝指令还包括备份地址信息,所述方法还包括:
将源存储区域中的目标数据拷贝到备份地址信息对应的备份存储区域。
5.一种存储数据的调整方法,其特征在于,所述方法包括:
获取对清理提示信息的反馈信息;
依据反馈信息确定待清理的目标数据,并确定目标数据的数据定位信息;
依据数据定位信息,生成数据拷贝指令;
发送数据拷贝指令给存储器,以使所述存储器依据数据定位信息,将源存储区域中的目标数据拷贝到目标存储区域,并删除源存储区域的目标数据。
6.根据权利要求5所述的方法,其特征在于,所述获取对清理提示信息的反馈信息,包括:
提供交互页面,并在交互页面中展示清理提示信息;
基于交互页面获取操作反馈,确定反馈信息。
7.一种存储数据的调整装置,其特征在于,所述装置包括:
拷贝指令接收模块,用于接收数据拷贝指令,所述数据拷贝指令包括对源存储区域中目标数据的数据定位信息;
目标数据拷贝模块,用于依据数据定位信息,将源存储区域中的目标数据拷贝到目标存储区域;
目标数据删除模块,用于删除源存储区域的目标数据。
8.一种存储数据的调整装置,其特征在于,所述装置包括:
反馈信息获取模块,用于获取对清理提示信息的反馈信息;
定位信息获取模块,用于依据反馈信息确定待清理的目标数据,并确定目标数据的数据定位信息;
拷贝指令生成模块,用于依据数据定位信息,生成数据拷贝指令;
拷贝指令下发模块,用于发送数据拷贝指令给存储器,以使所述存储器依据数据定位信息,将源存储区域中的目标数据拷贝到目标存储区域,并删除源存储区域的目标数据。
9.一种电子设备,其特征在于,包括:处理器;和
存储器,其上存储有可执行代码,当所述可执行代码被处理器执行时,执行如权利要求1-6中任一项所述的方法。
10.一个或多个机器可读介质,其上存储有可执行代码,当所述可执行代码被处理器执行时,执行如权利要求1-6中任一项所述的方法。
CN202210133981.1A 2022-02-14 2022-02-14 存储数据的调整方法、装置、电子设备和存储介质 Pending CN114579049A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210133981.1A CN114579049A (zh) 2022-02-14 2022-02-14 存储数据的调整方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210133981.1A CN114579049A (zh) 2022-02-14 2022-02-14 存储数据的调整方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN114579049A true CN114579049A (zh) 2022-06-03

Family

ID=81770691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210133981.1A Pending CN114579049A (zh) 2022-02-14 2022-02-14 存储数据的调整方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN114579049A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110132202A (ko) * 2010-05-31 2011-12-07 삼성전자주식회사 비휘발성 메모리 시스템 및 상기 메모리 시스템의 동작방법
US20140372639A1 (en) * 2013-06-12 2014-12-18 International Business Machines Corporation Online migration of a logical volume between storage systems
CN104636266A (zh) * 2014-05-09 2015-05-20 华为技术有限公司 盖瓦磁记录硬盘、盖瓦磁记录硬盘写数据的方法及装置
CN109040221A (zh) * 2018-07-26 2018-12-18 郑州云海信息技术有限公司 一种数据传输方法、系统、设备及存储阵列和存储介质
CN109213442A (zh) * 2018-08-14 2019-01-15 深圳市瑞致达科技有限公司 文件拷贝方法、终端设备以及计算机可读存储介质
CN110058958A (zh) * 2018-01-18 2019-07-26 伊姆西Ip控股有限责任公司 用于管理数据备份的方法、设备和计算机程序产品
CN110825652A (zh) * 2018-08-09 2020-02-21 阿里巴巴集团控股有限公司 淘汰磁盘块上的缓存数据的方法、装置及设备
CN112346647A (zh) * 2019-08-06 2021-02-09 浙江宇视科技有限公司 数据存储方法、装置、设备和介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110132202A (ko) * 2010-05-31 2011-12-07 삼성전자주식회사 비휘발성 메모리 시스템 및 상기 메모리 시스템의 동작방법
US20140372639A1 (en) * 2013-06-12 2014-12-18 International Business Machines Corporation Online migration of a logical volume between storage systems
CN104636266A (zh) * 2014-05-09 2015-05-20 华为技术有限公司 盖瓦磁记录硬盘、盖瓦磁记录硬盘写数据的方法及装置
CN110058958A (zh) * 2018-01-18 2019-07-26 伊姆西Ip控股有限责任公司 用于管理数据备份的方法、设备和计算机程序产品
CN109040221A (zh) * 2018-07-26 2018-12-18 郑州云海信息技术有限公司 一种数据传输方法、系统、设备及存储阵列和存储介质
CN110825652A (zh) * 2018-08-09 2020-02-21 阿里巴巴集团控股有限公司 淘汰磁盘块上的缓存数据的方法、装置及设备
CN109213442A (zh) * 2018-08-14 2019-01-15 深圳市瑞致达科技有限公司 文件拷贝方法、终端设备以及计算机可读存储介质
CN112346647A (zh) * 2019-08-06 2021-02-09 浙江宇视科技有限公司 数据存储方法、装置、设备和介质

Similar Documents

Publication Publication Date Title
US20200293443A1 (en) Garbage collection - automatic data placement
CN103034592B (zh) 数据处理方法和装置
US20100138677A1 (en) Optimization of data distribution and power consumption in a data center
US20180260408A1 (en) Efficient data storage utilization and recycling by gradual data degradation
CN110753084B (zh) 上链数据读取方法、缓存服务器及计算机可读存储介质
WO2020098654A1 (zh) 基于云存储的数据存储方法、装置和存储介质
CN110109628B (zh) 分布式存储系统的数据重建方法、装置、设备及存储介质
CN115421651A (zh) 固态硬盘的数据处理方法、固态硬盘、电子设备及介质
JP2014135699A (ja) ストレージ装置、およびデータ圧縮方法
CN103678143A (zh) 文件存储方法、装置及电子设备
CN111177105B (zh) 分布式文件系统的海量文件写方法、装置、系统及介质
US9639701B1 (en) Scheduling data protection operations based on data activity
CN110865985A (zh) 数据同步方法、装置、电子设备和存储介质
CN111625402A (zh) 数据恢复方法、装置、电子设备及计算机可读存储介质
US9619336B2 (en) Managing production data
CN111143126A (zh) 一种分布式文件系统的数据拷贝方法、系统及相关组件
CN109753222B (zh) 数据删除方法、服务器及计算机可读介质
TW201516655A (zh) 基於分散式文檔系統的資料備份還原系統及方法
US9921918B1 (en) Cloud-based data backup and management
CN103678478A (zh) 信息处理装置、信息处理方法和程序
CN114579049A (zh) 存储数据的调整方法、装置、电子设备和存储介质
CN110851398B (zh) 垃圾数据的回收处理方法、装置及电子设备
KR101575369B1 (ko) 비휘발성 메모리에 기록 및 소거하기 위한 방법
CN113806295B (zh) 一种文件迁移方法、系统、设备及计算机可读存储介质
US20210248106A1 (en) Systems and methods for updating select files in an image backup

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination