CN106227469A - 用于分布式存储集群的数据删除方法及系统 - Google Patents

用于分布式存储集群的数据删除方法及系统 Download PDF

Info

Publication number
CN106227469A
CN106227469A CN201610607396.5A CN201610607396A CN106227469A CN 106227469 A CN106227469 A CN 106227469A CN 201610607396 A CN201610607396 A CN 201610607396A CN 106227469 A CN106227469 A CN 106227469A
Authority
CN
China
Prior art keywords
disk
data
deletion
deleted
predetermined threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610607396.5A
Other languages
English (en)
Inventor
吴兴义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LeTV Holding Beijing Co Ltd
LeTV Cloud Computing Co Ltd
Original Assignee
LeTV Holding Beijing Co Ltd
LeTV Cloud Computing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LeTV Holding Beijing Co Ltd, LeTV Cloud Computing Co Ltd filed Critical LeTV Holding Beijing Co Ltd
Priority to CN201610607396.5A priority Critical patent/CN106227469A/zh
Publication of CN106227469A publication Critical patent/CN106227469A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614Improving the reliability of storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/16File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/162Delete operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/182Distributed file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0652Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种用于分布式存储集群的数据删除方法,包括:根据数据删除请求将所述数据删除请求对应的待删除数据分配至待删除列表;至少根据分布式存储集群中的磁盘的数据迁移状态确定是否根据待删除列表执行所述磁盘的数据删除操作。本发明还提供了相应的系统。由于磁盘中发生数据迁移时对磁盘造成的压力较大,本发明实施例至少能够在磁盘未发生数据迁移时才对待删除数据进行删除,相对于现有技术,能够避开磁盘压力较大的时刻来删除数据,降低了特殊时期的系统负载,避免了与其他读写请求抢占磁盘资源导致系统性能下降的情况,实现了系统的稳定运行。且避开磁盘压力较大的时刻来删除数据的过程也是自动进行的,无需人为操作,提升了用户体验。

Description

用于分布式存储集群的数据删除方法及系统
技术领域
本发明涉及计算机技术领域,具体涉及一种用于分布式存储集群的数据删除方法及系统。
背景技术
分布式存储系统,是将数据按照一定规则切分并打散存储在多台独立通用存储服务器上。传统的网络存储系统采用集中的存储服务器存放所有数据,存储服务器成为系统性能的瓶颈,也是可靠性和安全性的焦点,不能满足大规模存储应用的需要,而分布式存储系统采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。存储集群的成千上万台服务器可以将数据充分冗余,从而可以显著提高数据的安全性。
在企业级分布式存储中,存在着成千上万台服务器以及更多的磁盘,而分布式存储系统设计之初,就应该处理的就是数据扩容问题。当进行集群扩容即增加一批新的服务器和磁盘时,如果新数据主要是写入到新的磁盘中,那么很多老磁盘将只充当读的功能,这样不能充分发挥集群所有磁盘的性能,造成了资源的浪费,因此每个优秀的分布式存储系统都会在扩容之后,进行一部分数据迁移。数据迁移过程中,一般都会占用较多的系统资源,包括网络、磁盘IO和网卡IO都占用较大,可能会影响用户的正常读写请求;为了不影响用户的正常读写请求,有一个办法是限制数据迁移的速度,但考虑到磁盘故障问题,数据迁移进行的时间越长,那么数据丢失的可能性越高。
在实现本发明的过程中,发明人发现现有技术至少存在以下问题:在用户的数据请求中,有很多是数据删除请求。现有技术中,在用户发起删除请求之后,通常是在存储集群中找到数据并进行删除。实际上,数据删除操作需要占用磁盘的带宽,并且会抢占用户的其它读写请求资源,如果在数据迁移过程中执行,会使得原本因数据迁移而产生了较大压力的系统承受更大的压力。
发明内容
本发明实施例提供一种用于分布式存储集群的数据删除方法及系统,用以解决上述阐述的现有技术中的至少一个问题。
本发明实施例的一个方面提供了一种用于分布式存储集群的数据删除方法,包括:
根据数据删除请求将所述数据删除请求对应的待删除数据分配至待删除列表;
至少根据分布式存储集群中的磁盘的数据迁移状态确定是否根据待删除列表执行所述磁盘的数据删除操作。
本发明实施例的另一方面提供了一种用于分布式存储集群的数据删除系统,所述系统包括:
删除分配单元,用于根据数据删除请求将所述数据删除请求对应的待删除数据分配至待删除列表;
删除单元,用于至少根据分布式存储集群中的磁盘的数据迁移状态确定是否根据待删除列表执行所述磁盘的数据删除操作。
本发明实施例提供的用于分布式存储集群的数据删除方法及系统,通过将分布式存储集群接收到的数据删除请求对应的待删除数据分配至待删除列表后,至少根据磁盘是否发送数据迁移来确定是否将待删除列表中的待删除数据删除。由于磁盘中发生数据迁移时对磁盘造成的压力较大,本发明实施例至少能够在磁盘未发生数据迁移时才对待删除数据进行删除,相对于现有技术,能够避开磁盘压力较大的时刻来删除数据,降低了特殊时期的系统负载,避免了与其他读写请求抢占磁盘资源导致系统性能下降的情况,实现了系统的稳定运行。且避开磁盘压力较大的时刻来删除数据的过程也是自动进行的,无需人为操作,提升了用户体验。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例的用于分布式存储集群的数据删除方法的流程图;
图2是本发明另一实施例的用于分布式存储集群的数据删除方法的流程图;
图3是本发明又一实施例的用于分布式存储集群的数据删除方法的流程图;
图4是本发明一实施例的用于分布式存储集群的数据删除系统的结构示意图;
图5是实施本发明实施例的用于分布式存储集群的数据删除方法的设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在不冲突的情况下,本发明中的实施方式及实施方式中的特征可以相互组合。
本发明可用于众多通用或专用的计算系统环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”,不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
图1是本发明一实施例的用于分布式存储集群的数据删除方法的流程图。如图1所示,该方法包括:
S11:根据数据删除请求将所述数据删除请求对应的待删除数据分配至待删除列表;
S12:至少根据分布式存储集群中的磁盘的数据迁移状态确定是否根据待删除列表执行所述磁盘的数据删除操作。
本实施例中,用户发起数据删除请求,分布式存储集群接收到该请求后,从多个磁盘中找到存储有该删除请求对应的待删除数据的磁盘(例如,数据以三副本形式存储,则存储有待删除数据的磁盘有三个),将数据删除请求转发至相应的磁盘后,磁盘将存储的待删除数据分配至待删除列表中,并根据磁盘的数据迁移状态确定是否对待删除列表中的待删除数据进行数据删除操作。
本发明实施例提供的用于分布式存储集群的数据删除方法,通过将分布式存储集群接收到的数据删除请求对应的待删除数据分配至待删除列表后,至少根据磁盘是否发送数据迁移来确定是否将待删除列表中的待删除数据删除。由于磁盘中发生数据迁移时对磁盘造成的压力较大,本发明实施例至少能够在磁盘未发生数据迁移时才对待删除数据进行删除,相对于现有技术,能够避开磁盘压力较大的时刻来删除数据,降低了特殊时期的系统负载,避免了与其他读写请求抢占磁盘资源导致系统性能下降的情况,实现了系统的稳定运行。且避开磁盘压力较大的时刻来删除数据的过程也是自动进行的,无需人为操作,提升了用户体验。
在一些实施方式中,在S12至少根据分布式存储集群中的磁盘的数据迁移状态确定是否根据待删除列表执行所述磁盘的数据删除操作前,包括:
S10:向所述数据删除请求的发起者返回删除成功的反馈信息。
本实施例中,通过设置面向数据删除请求的发起者的即时反馈机制,即当数据删除请求的发起者发起数据删除请求后,分布式存储集群中的磁盘可以直接向该发起者返回删除成功的信息,而不必等到该请求对应的数据真正被删除后再向发起者返回消息,这样可以省去发起者等待数据被删除需要的时间,尤其是当待删除数据较大,或者磁盘正发生数据迁移时,删除待删除数据的周期非常长,长时间的等待对发起者来说是不现实的,因此通过设置该反馈机制可以减少发起者的时间浪费,增加其效率,提升其用户体验。
图2是本发明另一实施例的用于分布式存储集群的数据删除方法的流程图。如图2所示,本发明所示方法的另一实施例中,S12至少根据分布式存储集群中的磁盘的数据迁移状态确定是否根据待删除列表执行所述磁盘的数据删除操作包括:
S121:当磁盘当前发生数据迁移时,直接暂停所述删除操作;
S122:当磁盘当前未发生数据迁移时,进一步比较所述磁盘的当前占用率与预定阈值的大小,
-当所述当前占用率大于预定阈值时,暂停所述删除操作;
-否则,执行所述删除操作。
本实施例中,预定阈值是确定磁盘压力是否过大从而不能即时删除数据的临界值,可以由分布式存储集群的管理员来设定具体数值,例如为30%。
当待删除数据所在磁盘当前发生数据迁移时,若此时对待删除数据进行删除会增加系统的压力,且对数据迁移的过程造成不稳定,因此此时暂停对待删除数据的删除操作;当磁盘当前未发生数据迁移时,确定磁盘的当前占用率是否超过预定阈值,若磁盘的当前占用率超过预定阈值,则表明磁盘当前压力较大,此时对待删除数据进行删除会增加系统的压力,造成系统性能下降,因此此时也要暂停对待删除数据的删除操作;只有当磁盘当前未发生数据迁移,且磁盘的当前占用率未超过预定阈值时,表明此时的磁盘压力较小,才可以对待删除列表中的数据进行删除。
上述实施例中,当待删除数据所在磁盘当前发生数据迁移,或者当磁盘当前未发生数据迁移但其当前占用率大于预定阈值时,在暂停对待删除数据的删除操作后,可以周期性监测磁盘的状态:当所述磁盘未发生数据迁移且磁盘的当前占用率未超过预定阈值时,恢复对待删除数据的删除操作。本实施例可以在磁盘压力较小时自动删除待删除列表中的待删除数据,无需人为操作。
图3是本发明又一实施例的用于分布式存储集群的数据删除方法的流程图。如图3所示,本发明所示方法的又一实施例中,S12至少根据分布式存储集群中的磁盘的数据迁移状态确定是否根据待删除列表执行所述磁盘的数据删除操作包括:
S123:根据磁盘的当前数据迁移状态值和磁盘的当前占用率确定磁盘的当前负载状态值,其中,所述磁盘的当前占用率的取值范围为[0,100%],所述磁盘的当前数据迁移状态值的取值范围为{0,100%};
S124:比较所述当前负载状态值与预定阈值的大小;
S125:当所述当前负载状态值大于预定阈值时,暂停所述删除操作;
S126:否则,执行所述删除操作。
本实施例中,负载状态值用于显示磁盘的负载情况。负载状态值根据磁盘当前的数据迁移状态值和占用率来确定。其中,磁盘的当前占用率为连续的数值,磁盘的当前数据迁移状态值为离散数值,包括0和100%。可选地,负载状态值可以由磁盘的当前占用率和当前数据迁移状态值的权重和来确定。
本实施例中,预定阈值是确定磁盘负载是否过大从而不能即时删除数据的临界值,可以由分布式存储集群的管理员来设定具体数值。当磁盘的负载状态值由磁盘的当前占用率和当前数据迁移状态值的权重和确定时,预定阈值的具体数值与磁盘占用率和数据迁移状态值二者所占的权重值相关。
与图2所示实施例不同的是,图3所示实施例中,只需进行一次运算即可得知是否执行磁盘的数据删除操作的结果。而图2所示实施例中,需要先确定磁盘是否发生数据迁移,此为一次运算;当未发生数据迁移时,还需要确定磁盘当前的占用率是否超过图2所示实施例中的预定阈值,此又为一次运算。因此,图3所示实施例中的方法减少了设备运算次数,可以降低磁盘删除数据的成本。
上述实施例中,当待删除数据所在磁盘的负载状态值大于预定阈值时,在暂停对待删除数据的删除操作后,可以周期性监测磁盘的状态:当所述磁盘负载状态值未超过预定阈值时,恢复对待删除数据的删除操作。本实施例可以在磁盘压力较小时自动删除放入待删除列表中的待删除数据,无需人为操作。
图2或图3所示实施例中,当恢复了对待删除数据的删除操作后,可以退出磁盘的监测状态,减少系统开销。
应当理解的是,当磁盘执行或恢复对待删除数据的删除操作时,待删除列表中的数据不止包括本次数据删除请求对应的待删除数据,还可能包括该时刻之前接收的数据删除请求对应的还未执行删除操作的待删除数据。例如,第一个数据删除请求来临时,磁盘正发生数据迁移,因此第一个请求对应的A数据被保留在待删除列表中,并等待磁盘数据迁移结束且磁盘占用率小于预定阈值的时刻来清空待删除列表。磁盘数据迁移还未结束时,又接收到了第二个数据删除请求。第二个数据删除请求对应的B数据被放入待删除列表后,发现此时磁盘数据迁移已结束,且磁盘占用率小于预定阈值。因此此时根据待删除列表删除数据时,待删除列表中包含的数据有第一个数据删除请求对应的A数据和第二个数据删除请求对应的B数据,即此时被删除的数据包括A数据和B数据。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作合并,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
图4是本发明一实施例的用于分布式存储集群的数据删除系统的结构示意图。本发明实施例中所述的用于分布式存储集群的数据删除方法可以基于本实施例中的用于分布式存储集群的数据删除系统实施。如图4所示,该系统包括删除分配单元41和删除单元42。
删除分配单元41用于根据数据删除请求将所述数据删除请求对应的待删除数据分配至待删除列表;
删除单元42用于至少根据分布式存储集群中的磁盘的数据迁移状态确定是否根据待删除列表执行所述磁盘的数据删除操作。
本发明实施例提供的用于分布式存储集群的数据删除系统,其中删除分配单元41将分布式存储集群接收到的数据删除请求对应的待删除数据分配至待删除列表后,删除单元42至少根据磁盘是否发送数据迁移来确定是否将待删除列表中的待删除数据删除。由于磁盘中发生数据迁移时对磁盘造成的压力较大,本发明所示实施例至少能够在磁盘未发生数据迁移时才对待删除数据进行删除,相对于现有技术,能够避开磁盘压力较大的时刻来删除数据,降低了特殊时期的系统负载,避免了与其他读写请求抢占磁盘资源导致系统性能下降的情况,实现了系统的稳定运行。且避开磁盘压力较大的时刻来删除数据的过程也是自动进行的,无需人为操作,提升了用户体验。
在一些实施方式中,本发明实施例所示系统还包括反馈单元40,用于向数据删除请求的发起者返回删除成功的反馈信息。
在本发明所示系统的另一实施例中,删除单元42用于:
当磁盘当前发生数据迁移时,直接暂停数据删除操作;
当磁盘当前未发生数据迁移时,进一步比较所述磁盘的当前占用率与预定阈值的大小,当所述当前占用率大于预定阈值时,暂停数据删除操作;否则,执行数据删除操作。
上述实施例中,本发明所示系统还包括监测单元43,监测单元43用于在删除单元42暂停对待删除数据的删除操作后,周期性监测磁盘的状态值,删除单元42用于在监测单元43监测到磁盘未发生数据迁移且磁盘的当前占用率小于预定阈值时,恢复对待删除数据的删除操作。
当删除单元42恢复了对待删除数据的删除操作后,监测单元43可以退出对磁盘的监测状态,以减少系统开销。
在本发明所示系统的又一实施例中,删除单元42用于:
根据磁盘的当前数据迁移状态值和磁盘的当前占用率确定磁盘的当前负载状态值,其中,所述磁盘的当前占用率的取值范围为[0,100%],所述磁盘的当前数据迁移状态值的取值范围为{0,100%};
比较所述当前负载状态值与预定阈值的大小,
当所述当前负载状态值大于预定阈值时,暂停所述删除操作;
否则,执行所述删除操作。
上述实施例中,本发明所示系统还包括监测单元43,监测单元43用于在暂停对待删除数据的删除操作后,周期性监测磁盘的负载状态值,删除单元42用于在监测单元43监测到磁盘的负载状态值小于预定阈值时,恢复对待删除数据的数据删除操作。
当删除单元42恢复了对待删除数据的删除操作后,监测单元43可以退出对磁盘的监测状态,以减少系统开销。
本发明实施例中可以通过硬件处理器(hardware processor)来实现相关功能模块。
本发明提供一种非瞬时性(non-transitory)计算机可读存储介质,所述存储介质中存储有一个或多个包括执行指令的程序,所述执行指令能够被带有控制界面的电子设备执行,以用于执行上述方法实施例中的相关步骤,例如:
根据数据删除请求将所述数据删除请求对应的待删除数据分配至待删除列表;
至少根据分布式存储集群中的磁盘的数据迁移状态确定是否根据待删除列表执行所述磁盘的数据删除操作。
图5是实施本发明实施例的用于分布式存储集群的数据删除方法的设备500的结构示意图。本发明具体实施例并不对设备500的具体实现做限定。如图5所示,该设备可以包括:
处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530、以及通信总线540。其中:
处理器510、通信接口520、以及存储器530通过通信总线540完成相互间的通信。
通信接口520,用于与比如客户端等的网元通信。
处理器510,用于执行存储器530中的程序532,具体可以执行上述方法实施例中的相关步骤。
具体地,程序532可以包括程序代码,所述程序代码包括计算机操作指令。
处理器510可能是一个中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。
存储器530,用于存放程序532。存储器530可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。程序532具体可以用于使得设备300执行以下操作:
删除分配步骤:根据数据删除请求将所述数据删除请求对应的待删除数据分配至待删除列表;
删除步骤:至少根据分布式存储集群中的磁盘的数据迁移状态确定是否根据待删除列表执行所述磁盘的数据删除操作。
程序532中各步骤的具体实现可以参见上述实施例中的相应步骤和单元中对应的描述,在此不赘述。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的设备和模块的具体工作过程,可以参考前述方法实施例中的对应过程描述,在此不再赘述。
以上所描述的实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施例的描述,本领域的技术人员可以清楚地了解到各实施例可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (14)

1.一种用于分布式存储集群的数据删除方法,包括:
根据数据删除请求将所述数据删除请求对应的待删除数据分配至待删除列表;
至少根据分布式存储集群中的磁盘的数据迁移状态确定是否根据待删除列表执行所述磁盘的数据删除操作。
2.根据权利要求1所述的方法,其中,在至少根据分布式存储集群中的磁盘的数据迁移状态确定是否根据待删除列表执行所述磁盘的数据删除操作前,包括:
向所述数据删除请求的发起者返回删除成功的反馈信息。
3.根据权利要求1或2所述的方法,其中,所述至少根据分布式存储集群中的磁盘的数据迁移状态确定是否根据待删除列表执行所述磁盘的数据删除操作包括:
在磁盘当前发生数据迁移的情况下,直接暂停所述删除操作;
在磁盘当前未发生数据迁移的情况下,进一步比较所述磁盘的当前占用率与预定阈值的大小,当所述当前占用率大于预定阈值时,暂停所述删除操作;否则,执行所述删除操作。
4.根据权利要求3所述的方法,其中,当暂停所述删除操作后,周期性监测磁盘的状态,当所述磁盘未发生数据迁移且磁盘的当前占用率小于预定阈值时,恢复所述删除操作。
5.根据权利要求1或2所述的方法,其中,所述至少根据分布式存储集群中的磁盘的数据迁移状态确定是否根据待删除列表执行所述磁盘的数据删除操作包括:
根据磁盘的当前数据迁移状态值和磁盘的当前占用率确定磁盘的当前负载状态值;
比较所述当前负载状态值与预定阈值的大小;
当所述当前负载状态值大于预定阈值时,暂停所述删除操作;
否则,执行所述删除操作。
6.根据权利要求5所述的方法,其中,当暂停所述删除操作后,周期性监测磁盘的负载状态值,当所述负载状态值小于预定阈值时,恢复所述删除操作。
7.根据权利要求4或6所述的方法,其中,在恢复所述删除操作后,退出磁盘的监测状态。
8.一种用于分布式存储集群的数据删除系统,包括:
删除分配单元,用于根据数据删除请求将所述数据删除请求对应的待删除数据分配至待删除列表;
删除单元,用于至少根据分布式存储集群中的磁盘的数据迁移状态确定是否根据待删除列表执行所述磁盘的数据删除操作。
9.根据权利要求8所述的系统,其中,所述系统包括反馈单元,用于向所述数据删除请求的发起者返回删除成功的反馈信息。
10.根据权利要求8或9所述的系统,其中,所述删除单元用于:
在磁盘当前发生数据迁移的情况下,直接暂停所述删除操作;
在磁盘当前未发生数据迁移的情况下,进一步比较所述磁盘的当前占用率与预定阈值的大小,当所述当前占用率大于预定阈值时,暂停所述删除操作;否则,执行所述删除操作。
11.根据权利要求10所述的系统,其中,所述系统包括监测单元,所述监测单元用于在暂停所述删除操作后,周期性监测磁盘的状态,所述删除单元用于在所述监测单元监测到所述磁盘未发生数据迁移且磁盘的当前占用率小于预定阈值时,恢复所述删除操作。
12.根据权利要求8或9所述的系统,其中,所述删除单元用于:
根据磁盘的当前数据迁移状态值和磁盘的当前占用率确定磁盘的当前负载状态值;
比较所述当前负载状态值与预定阈值的大小,
当所述当前负载状态值大于预定阈值时,暂停所述删除操作;
否则,执行所述删除操作。
13.根据权利要求12所述的系统,其中,所述系统包括监测单元,所述监测单元用于在暂停所述删除操作后,周期性监测磁盘的负载状态值,所述删除单元用于在所述监测单元监测到所述负载状态值小于预定阈值时,恢复所述删除操作。
14.根据权利要求11或13所述的系统,其中,所述监测单元用于在所述删除单元恢复所述删除操作后,退出磁盘的监测状态。
CN201610607396.5A 2016-07-28 2016-07-28 用于分布式存储集群的数据删除方法及系统 Pending CN106227469A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610607396.5A CN106227469A (zh) 2016-07-28 2016-07-28 用于分布式存储集群的数据删除方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610607396.5A CN106227469A (zh) 2016-07-28 2016-07-28 用于分布式存储集群的数据删除方法及系统

Publications (1)

Publication Number Publication Date
CN106227469A true CN106227469A (zh) 2016-12-14

Family

ID=57533936

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610607396.5A Pending CN106227469A (zh) 2016-07-28 2016-07-28 用于分布式存储集群的数据删除方法及系统

Country Status (1)

Country Link
CN (1) CN106227469A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330061A (zh) * 2017-06-29 2017-11-07 郑州云海信息技术有限公司 一种基于分布式存储的文件删除方法及装置
CN108415663A (zh) * 2017-02-09 2018-08-17 爱思开海力士有限公司 数据存储装置的操作方法
CN108959399A (zh) * 2018-06-04 2018-12-07 平安科技(深圳)有限公司 分布式数据删除流控方法、装置、电子设备及存储介质
CN109428913A (zh) * 2017-08-25 2019-03-05 浙江宇视科技有限公司 一种存储扩容方法及装置
WO2021098260A1 (zh) * 2019-11-22 2021-05-27 浪潮电子信息产业股份有限公司 一种数据删除方法、系统、设备及计算机可读存储介质
CN113296840A (zh) * 2020-02-20 2021-08-24 银联数据服务有限公司 一种集群运维方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070055714A1 (en) * 2005-09-06 2007-03-08 Yohsuke Ishii Migration system for confirming worm retention term
CN102073462A (zh) * 2010-11-29 2011-05-25 华为技术有限公司 虚拟存储迁移方法、系统和虚拟机监控器
CN103067433A (zh) * 2011-10-24 2013-04-24 阿里巴巴集团控股有限公司 一种分布式存储系统的数据迁移方法、设备和系统
CN104899218A (zh) * 2014-03-06 2015-09-09 腾讯科技(深圳)有限公司 数据读写方法及数据读写装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070055714A1 (en) * 2005-09-06 2007-03-08 Yohsuke Ishii Migration system for confirming worm retention term
CN102073462A (zh) * 2010-11-29 2011-05-25 华为技术有限公司 虚拟存储迁移方法、系统和虚拟机监控器
CN103067433A (zh) * 2011-10-24 2013-04-24 阿里巴巴集团控股有限公司 一种分布式存储系统的数据迁移方法、设备和系统
CN104899218A (zh) * 2014-03-06 2015-09-09 腾讯科技(深圳)有限公司 数据读写方法及数据读写装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108415663A (zh) * 2017-02-09 2018-08-17 爱思开海力士有限公司 数据存储装置的操作方法
CN107330061A (zh) * 2017-06-29 2017-11-07 郑州云海信息技术有限公司 一种基于分布式存储的文件删除方法及装置
CN107330061B (zh) * 2017-06-29 2021-02-02 苏州浪潮智能科技有限公司 一种基于分布式存储的文件删除方法及装置
CN109428913A (zh) * 2017-08-25 2019-03-05 浙江宇视科技有限公司 一种存储扩容方法及装置
CN109428913B (zh) * 2017-08-25 2021-06-01 浙江宇视科技有限公司 一种存储扩容方法及装置
CN108959399A (zh) * 2018-06-04 2018-12-07 平安科技(深圳)有限公司 分布式数据删除流控方法、装置、电子设备及存储介质
WO2019232927A1 (zh) * 2018-06-04 2019-12-12 平安科技(深圳)有限公司 分布式数据删除流控方法、装置、电子设备及存储介质
WO2021098260A1 (zh) * 2019-11-22 2021-05-27 浪潮电子信息产业股份有限公司 一种数据删除方法、系统、设备及计算机可读存储介质
CN113296840A (zh) * 2020-02-20 2021-08-24 银联数据服务有限公司 一种集群运维方法及装置

Similar Documents

Publication Publication Date Title
CN106227469A (zh) 用于分布式存储集群的数据删除方法及系统
US11620313B2 (en) Multi-cluster warehouse
Rao et al. Performance issues of heterogeneous hadoop clusters in cloud computing
CN103098014B (zh) 存储系统
EP3356937B1 (en) Distributed stream-based database triggers
US10990288B2 (en) Systems and/or methods for leveraging in-memory storage in connection with the shuffle phase of MapReduce
CN102981929B (zh) 磁盘镜像的管理方法和系统
EP3186760B1 (en) Dynamic load-based merging
US11150944B2 (en) Balancing mechanisms in ordered lists of dispatch queues in a computational device
US9916215B2 (en) System and method for selectively utilizing memory available in a redundant host in a cluster for virtual machines
US9535743B2 (en) Data processing control method, computer-readable recording medium, and data processing control device for performing a Mapreduce process
CN106201788A (zh) 用于分布式存储集群的副本修复方法及系统
CN103995863B (zh) 一种重复数据删除的方法及装置
CN107528871A (zh) 存储系统中的数据分析
CN106293509A (zh) 数据存储方法及系统
CN105930202B (zh) 一种三阈值的虚拟机迁移方法
US9110823B2 (en) Adaptive and prioritized replication scheduling in storage clusters
Yu et al. Stateful large language model serving with pensieve
US20140040191A1 (en) Inventorying and copying file system folders and files
US10824640B1 (en) Framework for scheduling concurrent replication cycles
US11436070B2 (en) Achieving storage system performance guarantees by applying transactional I/O scheduling
CN109558214B (zh) 异构环境下宿主机资源管理方法、装置和存储介质
Mishra et al. Ldm: lineage-aware data management in multi-tier storage systems
CN112749174B (zh) 高并发处理方法、装置、处理设备及计算机存储介质
Wu et al. Improving MapReduce Performance by Streaming Input Data from Multiple Replicas

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20161214

WD01 Invention patent application deemed withdrawn after publication