CN112506429A - 进行删除处理的方法、装置、设备及存储介质 - Google Patents

进行删除处理的方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112506429A
CN112506429A CN202011382731.9A CN202011382731A CN112506429A CN 112506429 A CN112506429 A CN 112506429A CN 202011382731 A CN202011382731 A CN 202011382731A CN 112506429 A CN112506429 A CN 112506429A
Authority
CN
China
Prior art keywords
data
rate
storage
deletion
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011382731.9A
Other languages
English (en)
Other versions
CN112506429B (zh
Inventor
黄华东
夏伟强
王伟
林起芊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision System Technology Co Ltd
Original Assignee
Hangzhou Hikvision System Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision System Technology Co Ltd filed Critical Hangzhou Hikvision System Technology Co Ltd
Priority to CN202011382731.9A priority Critical patent/CN112506429B/zh
Publication of CN112506429A publication Critical patent/CN112506429A/zh
Application granted granted Critical
Publication of CN112506429B publication Critical patent/CN112506429B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种进行删除处理的方法、装置、设备及存储介质，属于互联网技术领域。所述方法包括：当达到预设的删除周期时，获取在第一预设时长内存储服务器的数据存储速率、处理器占用率、存储器IO请求处理速率；基于所述存储服务器的数据存储速率、处理器占用率以及存储器IO请求处理速率，确定数据删除速率；确定当前待删除的数据，基于所述数据删除速率对所述待删除的数据进行删除处理。采用本申请能够通过控制存储服务器在删除数据的删除速度，可以减少删除处理对存储服务器接收并存储数据的影响。

Description

进行删除处理的方法、装置、设备及存储介质
技术领域
本申请涉及互联网技术领域，特别涉及一种进行删除处理的方法、装置、设备及存储介质。
背景技术
随着互联网技术的发展，云存储服务应用的领域越来越广，例如用户可以将一些数据通过网络上传至云服务器中，当需要使用数据时可以再通过网络从云服务器中进行下载。
云存储服务还可以应用在视频监控领域，在视频监控领域中用户安装的一个或多个监控设备可以接入互联网，可以将拍摄的视频数据上传至存储服务器(云存储服务器)。存储服务器可以存储监控设备拍摄的视频数据，用户可以通过终端查看存储服务器中存储的视频数据。但是由于存储服务器的存储空间有限，且终端需要一直向存储服务器上传视频数据，所以在存储服务器中需要按照设置的删除周期对存储服务器中存储的视频数据进行删除处理。
在实现本申请的过程中，发明人发现相关技术至少存在以下问题：
对于一些处理性能较差的存储服务器，在执行删除处理时可能会影响存储服务器正常接收并存储监控设备视频数据。
发明内容
本申请实施例提供了一种进行删除处理的方法、装置、设备及存储介质，能够通过控制存储服务器在删除数据的删除速度，可以减少删除处理对存储服务器接收并存储数据的影响。所述技术方案如下：
当达到预设的删除周期时，获取在第一预设时长内存储服务器的数据存储速率、处理器占用率、存储器IO请求处理速率；
基于所述存储服务器的数据存储速率、处理器占用率以及存储器IO请求处理速率，确定数据删除速率；
确定当前待删除的数据，基于所述数据删除速率对所述待删除的数据进行删除处理。
可选的，所述基于所述存储服务器的数据存储速率、处理器占用率以及存储器IO请求处理速率，确定数据删除速率，包括：
基于预设的处理器占用率、存储器IO请求处理速率与存储删除速率比例的对应关系，确定所述存储服务器的处理器占用率以及存储器IO请求处理速率对应的存储删除速率比例；
基于所述存储服务器的数据存储速率与所述存储删除速率比例，确定数据删除速率。
可选的，存储器包括多个存储区域，所述确定当前待删除的数据，包括：
获取所述存储器中存有数据的存储区域对应的数据存入时间点；
在对应的数据存入时间点与当前时间点的差值超过第二预设时长的存储区域中，确定存储的数据对应的数据类型为预设数据类型的目标存储区域，将所述目标存储区域中存储的数据确定为当前待删除的数据。
可选的，所述确定存储的数据对应的数据类型为预设数据类型的目标存储区域之后，所述方法还包括：
获取所述目标存储区域中存储的数据对应的第三预设时长；
基于所述目标存储区域对应的数据存入时间点与当前时间点的差值，确定所述目标存储区域中存储的数据的存储时长是否超过所述第三预设时长，将超过所述第三预设时长的数据确定为当前待删除的数据。
可选的，所述基于所述数据删除速率对所述待删除的数据进行删除处理，包括：
记录开始删除时间，在每删除一个目标存储区域中存储的数据后，根据所述开始删除时间计算当前的删除速率；
如果所述当前的删除速率小于或等于所述数据删除速率，则继续执行删除处理，如果所述当前的删除速率大于所述数据删除速率，则确定等待时长，在经过所述等待时长后继续执行删除处理。
可选的，所述如果所述当前的删除速率大于所述数据删除速率，则确定等待时长，包括：
如果所述当前的删除速率大于所述数据删除速率，则根据预设的删除速率与等待时长的对应关系，确定当前的删除速率对应的等待时长。
另一方面，提供了一种进行删除处理的装置，其特征在于，所述装置包括：
获取模块，用于当达到预设的删除周期时，获取在第一预设时长内存储服务器的数据存储速率、处理器占用率、存储器IO请求处理速率；
确定模块，用于基于所述存储服务器的数据存储速率、处理器占用率以及存储器IO请求处理速率，确定数据删除速率；
处理模块，用于确定当前待删除的数据，基于所述数据删除速率对所述待删除的数据进行删除处理。
可选的，所述确定模块，用于：
基于预设的处理器占用率、存储器IO请求处理速率与存储删除速率比例的对应关系，确定所述存储服务器的处理器占用率以及存储器IO请求处理速率对应的存储删除速率比例；
基于所述存储服务器的数据存储速率与所述存储删除速率比例，确定数据删除速率。
可选的，存储器包括多个存储区域，所述处理模块，用于：
获取所述存储器中存有数据的存储区域对应的数据存入时间点；
在对应的数据存入时间点与当前时间点的差值超过第二预设时长的存储区域中，确定存储的数据对应的数据类型为预设数据类型的目标存储区域，将所述目标存储区域中存储的数据确定为当前待删除的数据。
可选的，所述处理模块，还用于：
获取所述目标存储区域中存储的数据对应的第三预设时长；
基于所述目标存储区域对应的数据存入时间点与当前时间点的差值，确定所述目标存储区域中存储的数据的存储时长是否超过所述第三预设时长，将超过所述第三预设时长的数据确定为当前待删除的数据。
可选的，所述处理模块，用于：
记录开始删除时间，在每删除一个目标存储区域中存储的数据后，根据所述开始删除时间计算当前的删除速率；
如果所述当前的删除速率小于或等于所述数据删除速率，则继续执行删除处理，如果所述当前的删除速率大于所述数据删除速率，则确定等待时长，在经过所述等待时长后继续执行删除处理。
可选的，所述处理模块，用于：
如果所述当前的删除速率大于所述数据删除速率，则根据预设的删除速率与等待时长的对应关系，确定当前的删除速率对应的等待时长。
再一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上所述的删除处理的方法所执行的操作。
再一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如上所述的删除处理的方法所执行的操作。
本申请实施例提供的技术方案带来的有益效果是：
通过获取存储服务器的性能指标，即数据存储速率、处理器占用率、存储器IO请求处理速率，确定对应的数据删除速率，然后根据数据删除速率对待删除的数据进行删除处理。这样就可以根据存储服务器当前的性能进行删除处理，可以减少删除处理对存储服务器接收并存储其他数据的影响。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种实施环境的示意图；
图2是本申请实施例提供的一种进行删除处理的方法流程图；
图3是本申请实施例提供的一种进行删除处理的装置结构示意图；
图4是本申请实施例提供的一种服务器结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
本申请提供的进行删除处理的方法可以应用在对象存储系统中，如图1所示，图1是本申请实施例提供的一种实施环境的示意图。在对象存储系统中包括OSD(Object-basedStorage，对象存储设备)和MDS(Metadata server cluster，管理服务器)，其中OSD为对象存储系统中的读写对象数据的模块。OSD将数据存放到磁盘的磁道和扇区，将若干磁道和扇区组合起来构成对象，并且通过此对象向外界提供对数据的访问；MDS为对象存储系统中的管理节点，保存了对象的索引信息，包括对象名字，对象数据保存的具体位置信息，对象的最后修改时间等。
对象存储系统可以应用在数据存储领域中，连接对象存储系统的终端可以通过网络向对象存储系统上传数据，将数据存储在对象存储系统中。终端在向对象存储系统上传数据时，可以向MDS发送数据上传请求，MDS可以根据终端发送的数据上传请求，为终端待上传的数据分配对应的OSD，然后终端可以将待上传的数据上传至对应的OSD，OSD可以接收并存储终端上传的数据。MDS可以存储终端上传数据对应的索引信息，包括对象(即存储的数据)名字，对象存储的位置信息等。
循环覆盖：云存储根据用户设置的周期规则，或者容量规则，自动对过期数据进行删除，释放存储空间，保证新数据可以正常写入。即OSD的存储空间有限，而在有些业务场景中，OSD可能需要一直接收并存储终端发送的数据。例如，业务场景为视频监控场景，OSD需要一直存储终端发送的视频数据。所以为了保证OSD一直有足够的空间存储接收的数据，需要删除一些保存时间较长的数据。例如存储时长为7天的视频数据。
图2是本申请实施例提供的一种进行删除处理的方法流程图。参见图2，该实施例包括：
步骤201、当达到预设的删除周期时，获取在第一预设时长内存储服务器的数据存储速率、处理器占用率、存储器IO请求处理速率。
其中，存储服务器即为OSD，在对象存储系统中的各个OSD中可以设置有删除周期。对于任一OSD，在达到预设的删除周期时，可以获第一预设时长内OSD存储的数据量，然后计算OSD在第一预设时长内的数据存储速率。其中第一预设时长为达到预设的删除周期点之前的一段时长，其具体时长数值可以由技术人员预先设置。OSD的处理器占用率和存储器IO请求处理速率可以在达到预设的删除周期时进行获取。
步骤202、基于存储服务器的数据存储速率、处理器占用率以及存储器IO请求处理速率，确定数据删除速率。
在实施中，在得到存储服务器的数据存储速率、处理器占用率以及存储器IO请求处理速率之后，可以根据数据存储速率、处理器占用率以及存储器IO请求处理速率计算数据删除速率，其中计算规则可以由技术人员根据经验设置。或者可以在OSD中预先设置数据存储速率、处理器占用率以及存储器IO请求处理速率与数据删除速率的对应关系，然后根据对应关系确定OSD当前的数据删除速率。
可选的，在本申请实施例中还提供了另外一种确定数据删除速率的方式，相应的处理如下：基于预设的处理器占用率、存储器IO请求处理速率与存储删除速率比例的对应关系，确定所述存储服务器的处理器占用率以及存储器IO请求处理速率对应的存储删除速率比例；基于所述存储服务器的数据存储速率与所述存储删除速率比例，确定数据删除速率。
在实施中，可以在OSD中预设处理器占用率、存储器IO请求处理速率与存储删除速率比例的对应关系，当获取到OSD当前的处理器占用率、存储器IO请求处理速率之后，可以根据预设的处理器占用率、存储器IO请求处理速率与存储删除速率比例的对应关系，确定OSD当前的处理器占用率、存储器IO请求处理速率对应的存储删除速率比例，然后将确定的存储删除速率比例与OSD当前的数据存储速率进行相乘，得到数据删除速率。例如，处理器占用率在90％之上，存储器IO请求处理速率在50之上，对应的存储删除速率比例为2，若当前的数据存储速率为W，则对应的数据删除速率为2W。
步骤203、确定当前待删除的数据，基于数据删除速率对待删除的数据进行删除处理。
在实施中，OSD可以记录每次存储数据时对应的存储时间。在达到预设的删除周期时，可以根据当前的系统时间，确定需要进行删除处理时间点，即可以将删除处理时间点之前的数据确定为当前待删除的数据。其中，删除处理时间点的确定可以根据实际业务确定。例如，可以将当前的系统时间减去根据业务设置的保存时长(如48小时)，得到删除处理时间点。然后将存储时间在删除处理时间点之前的数据确定为待删除的数据。在确定待删除的数据之后，可以根据确定的数据删除速率对待删除的数据进行删除处理。
可选的，存储器包括多个存储区域，其中存储区域可以由技术人员进行划分。且根据实际业务需求存储数据可以包括不同的数据类型。相应的确定当前待删除的数据的处理可以如下：获取存储器中存有数据的存储区域对应的数据存入时间点；在对应的数据存入时间点与当前时间点的差值超过第二预设时长的存储区域中，确定存储的数据对应的数据类型为预设数据类型的目标存储区域，将目标存储区域中存储的数据确定为当前待删除的数据。
在实施中，OSD的存储器中可以设置有OVFS(对象虚拟文件系统，Object VirtualFile System)，技术人员OVFS可以将OSD的存储器中磁盘的存储空间划分为多个存储区域，每个存储区域的存储空间可以相同也可以不同，划分之后的存储区域可以称为块组。例如，每个块组的容量可以为256MB，另外，OVFS还可以对块组进行进一步划分，即每个块组可对应多个子块组。例如，子块组的容量可以为2MB。当OSD接收到终端发送的数据之后，可以将数据存储至预先划分的子块组中，并且可以记录数据存储到各个子组块的数据存入时间点与各个子组块的对应关系，且对于任一存储数据的块组还可以记录该块组存储数据的时间范围，即记录该块组中各个子组块对应的数据存入时间点的范围。数据类型可以包括随机写入类型、目标业务类型等。其中根据业务需求可以将目标业务类型确定为预设数据类型。例如目标业务为监控视频存储业务，则目标业务类型即为视频类型。在OSD将数据存储到子组块后，OSD还可以记录子组块存储数据的数据类型。
在OSD在确定删除时间点之后，可以确定存储数据的时间范围包括删除时间点以及在删除时间点之前的目标组块。然后获取目标组块中每个子组块对应的数据存入时间点，确定对应数据存入时间点与当前时间点的差值超过第二预设时长目标子组块，即将数据存入时间点在删除时间点之前的子组块确定为目标子组块。再然后获取每个目标子组块对应的数据类型，如果目标子组块存储数据的数据类型为预设数据类型，则将对应的目标子组块确定为目标存储区域，然后将目标存储区域中存储的数据确定为当前待删除的数据。
可选的，在一些业务场景中对应的目标业务类型的数据可以设置有不同的保存时长。例如在视频监控场景中，不同终端上传的视频数据的保存时长可以不同。则在对应的业务场景中确定OSD当前待删除的数据的处理如下：获取目标存储区域中存储的数据对应的第三预设时长；基于目标存储区域对应的数据存入时间点与当前时间点的差值，确定目标存储区域中存储的数据的存储时长是否超过第三预设时长，将超过第三预设时长的数据确定为当前待删除的数据。
在实施中，在OSD将数据存储到子组块后，OSD还可以记录子组块unitkey信息，其中包括子组块存储的数据所属的bucket，objectkey，版本号，数据类型等。bucket可以为技术人员根据业务需求设置的命名空间，不同保存时间的对象(即数据)可以分别存储在不同的bucket中。例如在视频监控业务中，用户可以根据终端的客户端设置摄像装置对应的录像视频的存储时间。对于设置的存储时间相同的录像视频可以对应同一个bucket，对于设置的存储时间不同的录像视频可以对应不同的bucket。OSD在确定目标子组块之后，还可以获取每个目标子组块对应的unitkey，然后可以解析unitkey得到对应的bucket。在OSD中可以设置有bucket与保存时长的对应关系，可以根据bucket与存储时长的对应关系确定每个目标子组块中存储的数据对应的保存时长(即第三预设时长)，然后根据当前系统时间与目标子组块对应的写入时间的差值，确定该目标子组块中存储的数据的存储时长是否在第三预设时长内，如果在第三预设时长内，则不将目标子组块确定为目标存储区域，如果不在第三预设时长内，则将目标子组块中存储的数据确定为当前待删除的数据。另外，还可以将对应数据类型为预设数据类型且对应数据的存储时长不在第三预设时长内目标子块组中存储的数据确定为当前待删除的数据。
另外，子组块中存储的bucket可以存在变更。例如用户可以在客户端中设置摄像装置A对应的录像视频的保存时间为10天，摄像装置A对应的视频数据可对应bucket1，设置摄像装置B对应的录像视频的保存时间为20天，摄像装置B对应的视频数据可对应bucket2。在每个OSD中可以存储客户端的编码器信息与bucket的对应关系，其中编码器信息可以为摄像装置的标识。当用户在客户端将摄像装置A对应的录像视频的保存时间更改为20天之后，则客户端对应的终端可以向MDS发送bucket更改信息，其中bucket更改信息携带有编码器信息以及修改后的bucket(即bucket2)。MDS可以编码器信息与更改后的bucket发送至各个OSD。然后OSD可以更改本地存储的编码器信息与bucket的对应关系。其中每个终端上传的数据对应的编码器信息可以存储在objectkey中。在获取目标存储区域中存储的数据对应的第三预设时长时，可以通过获取目标子组块对应的objectkey中的编码器信息，查询OSD本地数据库对应的bucket是否存在变更。如果存在，则按照编码器信息当前对应的bucket所对应的第三预设时长，判断目标子组块是否为目标存储区域。这样，当第一终端的客户端将录像视频的保存时间更改为20天之后，对应bucket1的视频数据的保存时间也可以被更改为20天。
可选的，第三预设时长还可以是用户可以在客户端对任一时间段内对应的数据设置的保存时长，即将任一时间段内对应的数据设置锁定状态。当用户在客户端设置某一时间段内的数据设置保存时长之后，可以将锁定信息，即某一时间段以及保存时长发送至MDS，MDS可以根据锁定信息确定某一时间段内的数据对应的bucket，objectkey，版本号等，然后将对应的bucket，objectkey，版本号以及保存时长发送至各个OSD。当OSD在确定目标子组块对应的unitkey之后，可以根据确定目标子组块对应的bucket，objectkey，版本号，并确定本地是否存储有bucket，objectkey，版本号与保存时长的对应关系。如果本地存储有bucket，objectkey，版本号与保存时长的对应关系，则根据当前系统时间与目标子组块对应的写入时间的差值，确定该目标子组块中存储的数据的存储时长是否在对应的保存时长内，如果在保存时长内，则不将目标子组块确定为目标存储区域，如果不在对应的保存时长内，则将目标子组块中存储的数据确定为当前待删除的数据。
可选的，基于数据删除速率对待删除的数据进行删除处理可以如下：记录开始删除时间，在每删除一个目标存储区域中存储的数据后，根据开始删除时间计算当前的删除速率；如果当前的删除速率小于或等于数据删除速率，则继续执行删除处理，如果当前的删除速率大于数据删除速率，则确定等待时长，在经过等待时长后继续执行删除处理。
在实施中，当确定当前待删除的数据之后，可以对待删除的数据执行删除处理，在执行删除处理时，可以将当前的系统时间记录为开始删除时间。然后在每删除一个子组块的数据之后，可以根据已删除子组块的个数以及当前系统时间与记录的开始删除时间计算当前的删除速率。如果计算的当前的删除速率小于或等于数据删除速率，则继续删除下一个子组块的中的数据，如果计算的当前的删除速率大于数据删除速率，则可以确定等待时长并暂停删除处理，在暂停删除处理时长经过确定的等待时长后再继续执行删除处理。
其中，等待时长为可以由技术人员预先设置，或者，技术人员可以在OSD中确定则根据预设的删除速率与等待时长的对应关系，如果计算的当前的删除速率大于数据删除速率，则可以根据预设的删除速率与等待时长的对应关系确定当前的删除速率对应的等待时长。
本申请实施例通过获取存储服务器的性能指标，即数据存储速率、处理器占用率、存储器IO请求处理速率，确定对应的数据删除速率，然后根据数据删除速率对待删除的数据进行删除处理。这样就可以根据存储服务器当前的性能进行删除处理，可以减少删除处理对存储服务器接收并存储其他数据的影响。
上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
图3是本申请实施例提供的一种进行删除处理的装置，该装置可以是上述实施例中的存储服务器，该装置包括：
获取模块310，用于当达到预设的删除周期时，获取在第一预设时长内存储服务器的数据存储速率、处理器占用率、存储器IO请求处理速率；
确定模块320，用于基于所述存储服务器的数据存储速率、处理器占用率以及存储器IO请求处理速率，确定数据删除速率；
处理模块330，用于确定当前待删除的数据，基于所述数据删除速率对所述待删除的数据进行删除处理。
可选的，所述确定模块320，用于：
基于预设的处理器占用率、存储器IO请求处理速率与存储删除速率比例的对应关系，确定所述存储服务器的处理器占用率以及存储器IO请求处理速率对应的存储删除速率比例；
基于所述存储服务器的数据存储速率与所述存储删除速率比例，确定数据删除速率。
可选的，存储器包括多个存储区域，所述处理模块330，用于：
获取所述存储器中存有数据的存储区域对应的数据存入时间点；
在对应的数据存入时间点与当前时间点的差值超过第二预设时长的存储区域中，确定存储的数据对应的数据类型为预设数据类型的目标存储区域，将所述目标存储区域中存储的数据确定为当前待删除的数据。
可选的，所述处理模块330，还用于：
获取所述目标存储区域中存储的数据对应的第三预设时长；
基于目标存储区域对应的数据存入时间点，确定所述目标存储区域中存储的数据的存储时长是否超过所述预设保存时长，将超过所述预设保存时长的数据确定为当前待删除的数据。
可选的，所述处理模块330，用于：
记录开始删除时间，在每删除一个目标存储区域中存储的数据后，根据所述开始删除时间计算当前的删除速率；
如果所述当前的删除速率小于或等于所述数据删除速率，则继续执行删除处理，如果所述当前的删除速率大于所述数据删除速率，则确定等待时长，在经过所述等待时长后继续执行删除处理。
可选的，所述处理模块330，用于：
如果所述当前的删除速率大于所述数据删除速率，则根据预设的删除速率与等待时长的对应关系，确定当前的删除速率对应的等待时长。
需要说明的是：上述实施例提供的进行删除处理的装置在进行删除处理时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的进行删除处理的装置与进行删除处理的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图4是本申请实施例提供的一种服务器的结构示意图，该服务器400可以为上述实施例中的存储服务器，可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)401和一个或一个以上的存储器402，其中，所述存储器402中存储有至少一条指令，所述至少一条指令由所述处理器401加载并执行以实现上述各个方法实施例提供的方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述实施例中进行删除处理的方法。该计算机可读存储介质可以是非暂态的。例如，所述计算机可读存储介质可以是ROM(Read-OnlyMemory，只读存储器)、RAM(Random Access Memory，随机存取存储器)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (14)

1.一种进行删除处理的方法，其特征在于，所述方法包括：
当达到预设的删除周期时，获取在第一预设时长内存储服务器的数据存储速率、处理器占用率、存储器IO请求处理速率；
基于所述存储服务器的数据存储速率、处理器占用率以及存储器IO请求处理速率，确定数据删除速率；
确定当前待删除的数据，基于所述数据删除速率对所述待删除的数据进行删除处理。
2.根据权利要求1所述的方法，其特征在于，所述基于所述存储服务器的数据存储速率、处理器占用率以及存储器IO请求处理速率，确定数据删除速率，包括：
基于预设的处理器占用率、存储器IO请求处理速率与存储删除速率比例的对应关系，确定所述存储服务器的处理器占用率以及存储器IO请求处理速率对应的存储删除速率比例；
基于所述存储服务器的数据存储速率与所述存储删除速率比例，确定数据删除速率。
3.根据权利要求1所述的方法，其特征在于，存储器包括多个存储区域，所述确定当前待删除的数据，包括：
获取所述存储器中存有数据的存储区域对应的数据存入时间点；
在对应的数据存入时间点与当前时间点的差值超过第二预设时长的存储区域中，确定存储的数据对应的数据类型为预设数据类型的目标存储区域，将所述目标存储区域中存储的数据确定为当前待删除的数据。
4.根据权利要求3所述的方法，其特征在于，所述确定存储的数据对应的数据类型为预设数据类型的目标存储区域之后，所述方法还包括：
获取所述目标存储区域中存储的数据对应的第三预设时长；
基于所述目标存储区域对应的数据存入时间点与当前时间点的差值，确定所述目标存储区域中存储的数据的存储时长是否超过所述第三预设时长，将超过所述第三预设时长的数据确定为当前待删除的数据。
5.根据权利要求3所述的方法，其特征在于，所述基于所述数据删除速率对所述待删除的数据进行删除处理，包括：
记录开始删除时间，在每删除一个目标存储区域中存储的数据后，根据所述开始删除时间计算当前的删除速率；
如果所述当前的删除速率小于或等于所述数据删除速率，则继续执行删除处理，如果所述当前的删除速率大于所述数据删除速率，则确定等待时长，在经过所述等待时长后继续执行删除处理。
6.根据权利要求5所述的方法，其特征在于，所述如果所述当前的删除速率大于所述数据删除速率，则确定等待时长，包括：
如果所述当前的删除速率大于所述数据删除速率，则根据预设的删除速率与等待时长的对应关系，确定当前的删除速率对应的等待时长。
7.一种进行删除处理的装置，其特征在于，所述装置包括：
获取模块，用于当达到预设的删除周期时，获取在第一预设时长内存储服务器的数据存储速率、处理器占用率、存储器IO请求处理速率；
确定模块，用于基于所述存储服务器的数据存储速率、处理器占用率以及存储器IO请求处理速率，确定数据删除速率；
处理模块，用于确定当前待删除的数据，基于所述数据删除速率对所述待删除的数据进行删除处理。
8.根据权利要求7所述的装置，其特征在于，所述确定模块，用于：
基于预设的处理器占用率、存储器IO请求处理速率与存储删除速率比例的对应关系，确定所述存储服务器的处理器占用率以及存储器IO请求处理速率对应的存储删除速率比例；
基于所述存储服务器的数据存储速率与所述存储删除速率比例，确定数据删除速率。
9.根据权利要求7所述的装置，其特征在于，存储器包括多个存储区域，所述处理模块，用于：
获取所述存储器中存有数据的存储区域对应的数据存入时间点；
在对应的数据存入时间点与当前时间点的差值超过第二预设时长的存储区域中，确定存储的数据对应的数据类型为预设数据类型的目标存储区域，将所述目标存储区域中存储的数据确定为当前待删除的数据。
10.根据权利要求9所述的装置，其特征在于，所述处理模块，还用于：
获取所述目标存储区域中存储的数据对应的第三预设时长；
基于所述目标存储区域对应的数据存入时间点与当前时间点的差值，确定所述目标存储区域中存储的数据的存储时长是否超过所述第三预设时长，将超过所述第三预设时长的数据确定为当前待删除的数据。
11.根据权利要求9所述的装置，其特征在于，所述处理模块，用于：
记录开始删除时间，在每删除一个目标存储区域中存储的数据后，根据所述开始删除时间计算当前的删除速率；
如果所述当前的删除速率小于或等于所述数据删除速率，则继续执行删除处理，如果所述当前的删除速率大于所述数据删除速率，则确定等待时长，在经过所述等待时长后继续执行删除处理。
12.根据权利要求11所述的装置，其特征在于，所述处理模块，用于：
如果所述当前的删除速率大于所述数据删除速率，则根据预设的删除速率与等待时长的对应关系，确定当前的删除速率对应的等待时长。
13.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如权利要求1至权利要求6任一项所述的删除处理的方法所执行的操作。
14.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求1至权利要求6任一项所述的删除处理的方法所执行的操作。
CN202011382731.9A 2020-11-30 2020-11-30 进行删除处理的方法、装置、设备及存储介质 Active CN112506429B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011382731.9A CN112506429B (zh) 2020-11-30 2020-11-30 进行删除处理的方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011382731.9A CN112506429B (zh) 2020-11-30 2020-11-30 进行删除处理的方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112506429A true CN112506429A (zh) 2021-03-16
CN112506429B CN112506429B (zh) 2023-05-05

Family

ID=74969326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011382731.9A Active CN112506429B (zh) 2020-11-30 2020-11-30 进行删除处理的方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112506429B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177216A (zh) * 2021-04-30 2021-07-27 北京市商汤科技开发有限公司 一种数据传输方法、装置、计算机设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140297949A1 (en) * 2013-03-26 2014-10-02 Nec Corporation Disk array device
CN107077300A (zh) * 2014-09-12 2017-08-18 Netapp股份有限公司 用于平衡分段清除与i/o工作负载的速率匹配技术
CN108076317A (zh) * 2016-11-17 2018-05-25 杭州海康威视数字技术股份有限公司 视频数据存储方法及系统、视频接入方法及节点
CN109710188A (zh) * 2018-12-24 2019-05-03 武汉烽火众智数字技术有限责任公司 一种磁盘数据管理方法、装置、设备及可读存储介质
CN110058810A (zh) * 2019-01-17 2019-07-26 阿里巴巴集团控股有限公司 分布式系统的磁盘清理方法和装置、分布式系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140297949A1 (en) * 2013-03-26 2014-10-02 Nec Corporation Disk array device
CN107077300A (zh) * 2014-09-12 2017-08-18 Netapp股份有限公司 用于平衡分段清除与i/o工作负载的速率匹配技术
CN108076317A (zh) * 2016-11-17 2018-05-25 杭州海康威视数字技术股份有限公司 视频数据存储方法及系统、视频接入方法及节点
CN109710188A (zh) * 2018-12-24 2019-05-03 武汉烽火众智数字技术有限责任公司 一种磁盘数据管理方法、装置、设备及可读存储介质
CN110058810A (zh) * 2019-01-17 2019-07-26 阿里巴巴集团控股有限公司 分布式系统的磁盘清理方法和装置、分布式系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177216A (zh) * 2021-04-30 2021-07-27 北京市商汤科技开发有限公司 一种数据传输方法、装置、计算机设备和存储介质
CN113177216B (zh) * 2021-04-30 2023-03-14 北京市商汤科技开发有限公司 一种数据传输方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN112506429B (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
CN107092686B (zh) 一种基于云存储平台的文件管理方法及装置
CN109885577B (zh) 数据处理方法、装置、终端及存储介质
CN110287201A (zh) 数据访问方法、装置、设备及存储介质
CN112954244A (zh) 监控录像的存储实现方法、装置、设备及存储介质
CN105912698A (zh) 磁盘中数据文件的删除方法及系统
CN105653209A (zh) 一种对象存储数据传输方法及装置
CN112019788A (zh) 数据存储方法、装置、系统及存储介质
CN112506429A (zh) 进行删除处理的方法、装置、设备及存储介质
CN113448946B (zh) 数据迁移方法及装置、电子设备
CN110955639A (zh) 一种数据处理方法及装置
CN114138558A (zh) 一种对象存储方法、装置、电子设备和存储介质
CN117115718B (zh) 政务视频数据的处理方法、系统及计算机可读存储介质
CN109144403B (zh) 一种用于云盘模式切换的方法与设备
CN113791735A (zh) 视频数据存储方法、装置、计算机设备及存储介质
CN111158606B (zh) 存储方法、装置、计算机设备和存储介质
CN112256649A (zh) 一种医学文件的存储方法及装置
CN116614532A (zh) 一种车辆信息管理方法、系统及计算机存储介质
CN110896408B (zh) 一种数据处理方法及服务器集群
CN114153395B (zh) 一种对象存储数据生命周期管理方法、装置及设备
WO2021218626A1 (zh) 数据存储方法、装置、设备及存储介质
CN111966533B (zh) 电子文件管理方法、装置、计算机设备和存储介质
CN111552740B (zh) 数据处理方法及装置
CN115706727A (zh) 云桌面数据的迁移方法、节点和服务器
CN111782588A (zh) 一种文件读取方法、装置、设备和介质
CN111722783A (zh) 数据存储方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant