CN111026751B - 分布式表格的处理方法、装置、系统及电子设备 - Google Patents

分布式表格的处理方法、装置、系统及电子设备 Download PDF

Info

Publication number
CN111026751B
CN111026751B CN201911158467.8A CN201911158467A CN111026751B CN 111026751 B CN111026751 B CN 111026751B CN 201911158467 A CN201911158467 A CN 201911158467A CN 111026751 B CN111026751 B CN 111026751B
Authority
CN
China
Prior art keywords
name
renaming
fragment
command
fragments
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911158467.8A
Other languages
English (en)
Other versions
CN111026751A (zh
Inventor
张作青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Cloud Network Technology Co Ltd
Beijing Kingsoft Cloud Technology Co Ltd
Original Assignee
Beijing Kingsoft Cloud Network Technology Co Ltd
Beijing Kingsoft Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Cloud Network Technology Co Ltd, Beijing Kingsoft Cloud Technology Co Ltd filed Critical Beijing Kingsoft Cloud Network Technology Co Ltd
Priority to CN201911158467.8A priority Critical patent/CN111026751B/zh
Publication of CN111026751A publication Critical patent/CN111026751A/zh
Application granted granted Critical
Publication of CN111026751B publication Critical patent/CN111026751B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2282Tablespace storage structures; Management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种分布式表格的处理方法、装置、系统、电子设备及计算机可读存储介质。该方法包括:在接收到用户的删除表格的命令时,根据预设表格命名规则对表格进行重命名,以更改所述表格的原名称为新名称;根据表格的新名称,向存储服务器发送对表格的分片进行重命名的命令;以及在收到存储服务器发送的分片重命名成功的消息后,修改表格对应的名称元数据。本发明可以实现安全可靠且快速高效的数据删除及恢复。

Description

分布式表格的处理方法、装置、系统及电子设备
技术领域
本发明涉及分布式存储领域,尤其涉及一种分布式表格的处理方法、装置、分布式表格存储系统、电子设备。
背景技术
分布式表格存储是构建在分布式系统上的完的分布式数据存储服务。主要以表格的形式存储数据。表格存储中,一张表由一系列行组成,每行分为主键和属性列,主键可以包含多个主键列。表中的所有数据会按照主键进行排序,并按照分片键的范围进行分片。当一个表的数据越来越多,表就会分裂成多个分片(tablet)。每个分片可以有3个副本,且3个副本数据完全一致,分布在3个不同的存储服务器上。3个副本中,有一个副本为主,其余两个副本为从,而对应的分片分布的元数据则存储在管理服务器上。
分布式表格存储服务常见的管理类操作,包括创建表格、删除表格、更新表格、使能表格和失败表格等。其中,删除表格主要是将表格对应的分片数据进行删除,目前,删除表格是先将欲删除的分片数据移入垃圾目录,一定时间后进行实际的物理删除。
在数据存储服务中,删除表格操作属于敏感操作,且此类操作存在一定的误操作概率,容易造成数据丢失。
如果是误操作,则需要进行数据恢复,现有的删除表格数据的方案,通常需要人工介入进行线上非正规运维操作,例如暂停部分进程,手动拷贝分片数据,再重启进程等才能恢复误操作删除的数据,流程繁琐复杂。此外,将分片数据移入垃圾目录,如果发生磁盘故障,对应的副本数据会直接丢失,数据可靠性较低。
发明内容
本发明的目的在于提供一种分布式表格删除恢复方法、装置、电子设备及计算机可读存储介质,以实现安全可靠且快速高效的数据删除及恢复。
根据本发明的第一方面,提供了一种分布式表格的处理方法,执行在管理服务器端,所述方法包括:
在接收到用户的删除表格的命令时,根据预设表格命名规则对所述表格进行重命名,以更改所述表格的原名称为新名称;
根据所述表格的新名称,向存储服务器发送对所述表格的分片进行重命名的命令;以及
在收到所述存储服务器发送的所述分片重命名成功的消息后,修改所述表格对应的名称元数据;
其中,所述预设表格命名规则包括所述表格的新名称与所述表格的原名称不存在名称冲突以及所述表格的新名称在用户查询时被过滤掉。
可选的,所述方法还包括:
在收到所述存储服务器发送的所述分片重命名成功的消息后,生成过期检查任务,以检查所述表格的分片重命名成功的时长是否达到过期时间;
当所述表格的分片重命名成功的时长到达过期时间时,向所述存储服务器发送删除所述表格的分片的命令。
可选的,所述方法还包括:
在所述表格的分片重命名成功的时长到达过期时间之前,若接收到所述用户的表格恢复命令,则向所述存储服务器发送恢复所述表格的分片名称的命令;以及
在收到所述存储服务器发送的所述表格的分片名称恢复成功的消息后,修改所述表格对应的名称元数据,以恢复所述表格的原名称。
可选的,所述方法还包括:
在接收到所述用户的表格恢复命令时,删除所述过期检查任务。
根据本发明的第二方面,提供了一种分布式表格的处理方法,执行在存储服务器端,所述方法包括:
接收管理服务器发送的表格的新名称以及用于指示对所述表格的分片进行重命名的命令,其中,所述表格的新名称是所述管理服务器在接收到用户的删除表格的命令时,根据预设表格命名规则对表格进行重命名得到的,所述预设表格命名规则包括所述表格的新名称与所述表格的原名称不存在名称冲突以及所述表格的新名称在用户查询时被过滤掉;
根据所述表格的新名称对所述表格的分片进行重命名,以更改所述表格的分片的原名称为新名称;以及
向所述管理服务器发送所述表格的分片重命名成功的消息。
可选的,根据所述表格的新名称对所述表格的分片进行重命名包括:
修改内存中所述表格的分片名称;以及
将修改的所述表格的分片名称持久化到磁盘。
可选的,所述方法还包括:
在收到所述管理服务器发送的删除所述表格的分片的命令后,删除所述表格的分片。
可选的,所述方法还包括:
在收到所述管理服务器发送的恢复所述表格的分片名称的命令后,修改所述表格的分片对应的名称,以恢复所述表格的分片的原名称;以及
向所述管理服务器发送所述表格的分片名称恢复成功的消息。
根据本发明的第三方面,提供了一种分布式表格的处理装置,设置在管理服务器端,所述处理装置包括:
重命名模块,在接收到用户的删除表格的命令时,根据预设表格命名规则对所述表格进行重命名,以更改所述表格的原名称为新名称,其中所述第一预设表格命名规则包括所述表格的新名称与所述表格的原名称不存在名称冲突以及所述表格的新名称在用户查询时被过滤掉;
第一发送模块,根据所述表格的新名称,向存储服务器发送对所述表格的分片进行重命名的命令;以及
修改模块,在收到所述存储服务器发送的所述分片重命名成功的消息后,修改所述表格对应的名称元数据。
可选的,所述装置还包括:
检查模块,用于在收到所述存储服务器发送的所述分片重命名成功的消息后,生成过期检查任务,以检查所述表格的分片重命名成功的时长是否达到所述过期时间;
第二发送模块,用于在所述表格的分片重命名成功的时长到达过期时间之前,若接收到所述用户的表格恢复命令,则向所述存储服务器发送恢复所述表格的分片名称的命令;以及
恢复模块,所述恢复模块在收到所述存储服务器发送的所述表格的分片名称恢复成功的消息后,修改所述表格对应的名称元数据,以恢复所述表格的原名称。
根据本发明的第四方面,提供了一种分布式表格的处理装置,设置在存储服务器端,所述处理装置包括:
接收模块,接收管理服务器发送的表格的新名称以及用于指示对所述表格的分片进行重命名的命令,其中,所述表格的新名称是所述管理服务器在接收到用户的删除表格的命令时,根据预设表格命名规则对表格进行重命名得到的,所述预设表格命名规则包括所述表格的新名称与所述表格的原名称不存在名称冲突以及所述表格的新名称在用户查询时被过滤掉;
重命名模块,根据所述表格的新名称对所述表格的分片进行重命名,以更改所述表格的分片的原名称为新名称;以及
第一发送模块,向所述管理服务器发送所述表格的分片重命名成功的消息。
可选的,所述装置还包括:
删除模块,用于在收到所述管理服务器发送的删除所述表格的分片的命令后,删除所述表格的分片。
可选的,所述装置还包括:
修改模块,用于在收到所述管理服务器发送的恢复所述表格的分片名称的命令后,修改所述表格的分片对应的名称,以恢复所述表格的分片的原名称;以及
第二发送模块,用于向所述管理服务器发送所述表格的分片名称恢复成功的消息。
根据本发明的第五方面,提供了一种分布式表格存储系统,包括根据本发明第三方面所述的分布式表格的处理装置和根据本发明第四方面所述的分布式表格的处理装置。
根据本发明的第六方面,提供了一种电子设备,包括:
根据本发明第三方面所述的分布式表格的处理装置;或者,
处理器和存储器,所述存储器用于存储可执行的指令,所述指令用于控制所述处理器执行根据本发明第一方面所述的分布式表格的处理方法;或者,
根据本发明第四方面所述的分布式表格的处理装置;或者,
处理器和存储器,所述存储器用于存储可执行的指令,所述指令用于控制所述处理器执行根据本发明第二方面所述的分布式表格的处理方法。
根据本发明的第七方面,提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序在被处理器执行时实现根据本发明前述第一方面或第二方面所述的分布式表格的处理方法。
根据本发明实施例,在接收到用户的删除存储表格的命令时,可以通过预设的命名规则对存储表格的分片进行重命名,使待删除的存储表格在用户查询时可以被过滤掉,从而实现对存储表格的“假删除”操作,而不是真正地物理删除数据,“删除”速度更快,且具有更高的可靠性以利于后续恢复。此外,在数据有效期内,通过重命名的方式实现表格分片数据恢复。因此与现有技术需要物理删除数据和数据恢复相比,本发明不仅速度快,且数据可靠性更高,操作更简单。
通过以下参照附图对本发明的示例性实施例的详细描述,本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例,并且连同其说明一起用于解释本发明的原理。
图1为可用于实现本发明实施例的电子设备的硬件配置结构方框图。
图2为本发明实施例的执行在管理服务器端的分布式表格删除方法步骤流程图。
图3为本发明实施例的执行在存储服务器端的分布式表格删除方法步骤流程图。
图4为本发明实施例的执行在管理服务器端的分布式表格恢复方法步骤流程图。
图5为本发明实施例的执行在存储服务器端的分布式表格恢复方法步骤流程图。
图6为本发明实施例的分布式表格删除恢复方法的总体流程图。
图7为本发明实施例设置在管理服务器端的分布式表格的处理装置的结构方框图。
图8为本发明实施例的设置在存储服务器端的分布式表格的处理装置的结构方框图。
图9为本发明实施例的分布式表格存储系统的结构方框图。
图10为本发明第一实施例的电子设备的结构方框图。
图11为本发明第二实施例的电子设备的结构方框图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人物已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它例子可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
图1是示出可以实现本发明的实施例的电子设备1000的硬件配置的框图。
电子设备1000可以是便携式电脑、台式计算机、手机、平板电脑等。
如图1所示,电子设备1000可以包括处理器1100、存储器1200、接口装置1300、通信装置1400、显示装置1500、输入装置1600、扬声器1700、麦克风1800等等。其中,处理器1100可以是中央处理器CPU、微处理器MCU等。存储器1200例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置1300例如包括USB接口、耳机接口等。通信装置1400例如能够进行有线或无线通信,具体地可以包括WiFi通信、蓝牙通信、2G/3G/4G/5G通信等。显示装置1500例如是液晶显示屏、触摸显示屏等。输入装置1600例如可以包括触摸屏、键盘、体感输入等。用户可以通过扬声器1700和麦克风1800输入/输出语音信息。
图1所示的电子设备仅仅是说明性的并且决不意味着对本发明、其应用或使用的任何限制。应用于本发明的实施例中,电子设备1000的所述存储器1200用于存储指令,所述指令用于控制所述处理器1100进行操作以执行本发明实施例提供的任意一项分布式表格删除、恢复方法。本领域技术人员应当理解,尽管在图1中对电子设备1000示出了多个装置,但是,本发明可以仅涉及其中的部分装置,例如电子设备1000可以只涉及处理器1100和存储装置1200。技术人员可以根据本发明所公开方案设计指令。指令如何控制处理器进行操作,这是本领域公知,故在此不再详细描述。
在本发明一个实施例中,提供一种分布式表格的处理方法,其中该分布式表格的处理方法包括分布式表格删除方法,在该实施例中,该分布式表格删除方法执行在管理服务器端。
请参考图2,该图为本发明实施例的执行在管理服务器端的分布式表格删除方法步骤流程图,该分布式表格删除方法可以是由电子设备实施,该电子设备例如可以是如图1所示的电子设备1000。
如图2所示,本发明实施例的分布式表格删除方法包括以下步骤:
步骤102,接收用户删除表格的命令;
步骤104,根据预设表格命名规则对所述表格进行重命名,以更改表格的原名称为新名称;
步骤106,根据表格的新名称,向存储服务器发送对表格的分片进行重命名的命令;
步骤108,在收到存储服务器发送的分片重命名成功的消息后,修改表格对应的名称元数据;以及
步骤110,到达过期时间后,向存储服务器发送删除表格的分片的命令。
管理服务器端在接收到用户删除表格的命令后,将删除表格的命令转化为表格重命名命令,并根据预设表格命名规则,生成新的表名。
预设表格命名规则包括:表格的新名称与表格的原名称不存在名称冲突,即二者不能名称雷同,以至于新的表格名称无法重命名成功。
预设表格命名规则还包括表格的新名称在用户查询时能够被过滤掉,不会对发出删除操作的用户产生干扰,使得用户以为表格没有被删除。即,新的表名在用户查询时会被过滤掉,防止被查询到。
例如,原来的表格名称以U开头,重命名后改为以D开头。其余的名称字段在新旧名称中也不能雷同。
在一个示例中,还包括在收到存储服务器发送的分片重命名成功的消息后,生成过期检查任务,以检查表格的分片重命名成功的时长是否达到过期时间。过期时间是表格重命名后的保留时间,可以天、周或月级别进行设定。
若到达设定的过期时间,则管理服务器端下发出删除表格的分片的命令。即,通过修改表格名称暂时未执行物理删除的操作,会在到达过期时间后继续执行。
在本发明另一个实施例中,还提供一种分布式表格的处理方法,其中该分布式表格的处理方法包括分布式表格删除方法,接续上述执行在管理服务器端的分布式表格删除方法,在该实施例中,该分布式表格删除方法执行在存储服务器端。
请参考图3,该图为本发明实施例的执行在存储服务器端的分布式表格删除方法步骤流程图,该分布式表格删除方法也可以是由电子设备实施,该电子设备例如可以是如图1所示的电子设备1000。
如图3所示,本发明实施例的分布式表格删除方法包括以下步骤:
步骤202,接收管理服务器发送的根据预设表格命名规则生成的表格的新名称,以及用于指示对表格的分片进行重命名的命令;
步骤204,根据表格的新名称对表格的分片进行重命名,以更改表格的分片的原名称为新名称;
步骤206,向管理服务器发送对表格的分片重命名成功的消息;以及
步骤208,在收到管理服务器发送的删除表格的分片的命令后,删除表格的分片。
在步骤204中,根据表格的新名称对表格的分片进行重命名包括:修改内存中表格的分片名称,并将修改的表格的分片名称持久化到磁盘。
如此,通过管理服务器端的表格重命名和存储服务器端的分片重命名,可以实现表格分片数据的“假删除”。
通过设定过期时间来设置表格对应数据的有效期,若在有效期内没有收到用户要求恢复的操作,则认为删除操作确定执行,这时存储服务器端在收到管理服务器端下发的删除表格的分片的命令后,删除对应的表格分片。
步骤208中的表格删除操作可以使用现有的删除方式,即,管理服务器接收到删除表格命令,并向存储服务器下发分片删除命令;存储服务器接收到分片删除命令,查找对应分片,并执行删除操作;对应副本接收到删除命令后,清理内存数据,并将分片对应的物理目录移入垃圾目录,并设置过期时间;到达过期时间后,对垃圾目录中的分片数据直接物理删除。
上述图2和图3对本发明实施例的分布式表格处理方法的删除方法作出说明,下面将结合图4-5对本发明实施例的分布式表格处理方法的恢复方法进行描述。
图4、5分别为本发明实施例的执行在管理服务器端的分布式表格恢复方法步骤流程图和执行在存储服务器端的分布式表格恢复方法步骤流程图。
如图4所示,执行在管理服务器端的分布式表格恢复方法包括:
步骤302,接收用户删除表格的命令;
步骤304,根据预设表格命名规则对表格进行重命名,以更改表格的原名称为新名称;
步骤306,根据表格的新名称,向存储服务器发送对表格的分片进行重命名的命令;
步骤308,在收到存储服务器发送的分片重命名成功的消息后,修改表格对应的名称元数据;
步骤310,在过期时间内收到用户表格恢复命令后,向存储服务器发送恢复表格的分片名称的命令;
步骤312,在收到存储服务器发送的表格的分片名称恢复成功的消息后,修改表格对应的名称元数据,以恢复表格的原名称。
图4的步骤302至步骤308与图2的步骤102至步骤108相同,这里不在赘述。区别在于,在过期时间内收到用户的表格恢复命令后,管理服务器端下发出恢复表格分片名称的命令,并且在收到表格分片名称成功的消息后,继续恢复表格的原名称。
对应地,执行在存储服务器端的分布式表格恢复方法如图5所示,包括:
步骤402,接收管理服务器发送的根据预设表格命名规则生成的表格的新名称以及用于指示对表格的分片进行重命名的命令;其中,表格的新名称是管理服务器在接收到用户的删除表格的命令时,根据预设表格命名规则对表格进行重命名得到的,预设表格命名规则包括表格的新名称与表格的原名称不存在名称冲突以及表格的新名称在用户查询时被过滤掉。
步骤404,根据表格的新名称对表格的分片进行重命名,以更改表格的分片的原名称为新名称;
步骤406,向管理服务器发送对表格的分片重命名成功的消息;
步骤408,在收到管理服务器发送的恢复表格的分片名称的命令后,修改表格的分片对应的名称,以恢复表格的分片的原名称;以及
步骤410,向管理服务器发送对表格的分片名称恢复成功的消息。
这里,图5的步骤402至步骤406与图3的步骤202至步骤206相同,这里不在赘述。区别在于,在收到管理服务器端下发出恢复表格分片名称的命令,修改内存的表格分片名称以恢复为原名称,并且返回表格分片名称成功的消息。
即,管理服务器端执行表格重命名的逆向操作,例如以上述原来的表格名称以U开头,重命名后改为以D开头为例,逆向重命名操作即是将表格名称以D开头改回以U开头。同样地,存储服务器端执行对应表格分片的重命名的逆向操作。
如此,即可快速将表格及对应的分片信息进行恢复,进而表格对应的数据可恢复到最初的形式,使得用户可以通过表格名称查询并获得到之前“删除”的数据。
上述实施例分别从管理服务器端和存储服务器端的角度,各自描述了对应的分布式表格处理方法包括的删除及恢复方法,下面将通过管理服务器和存储服务器的交互方式对本发明实施例的分布式表格处理方法包括的删除及恢复方法进行说明。
首先,步骤502,管理服务器端接收用户发出的删除表格的命令;
步骤504,管理服务器端对表格进行重命名;
步骤506,管理服务器端下发表格的新名称以及表格分片重命名的命令到存储服务器端;
步骤508,存储服务器端根据接收的表格新名称对表格分片进行重命名;
步骤510,存储服务器端返回表格分片重命名成功的消息;
步骤512,管理服务器端在收到存储服务器端返回的分片重命名成功之后,修改表格的名称元数据;
步骤514,同时管理服务器端生成过期检查任务;
步骤516,管理服务器端接收用户恢复表格的命令;
步骤518,管理服务器端删除过期检查任务;这里,删除过期检查任务是防止恢复的表格对应的过期时间快要到达,由此导致恢复过程中表格被直接按过期处理而删除掉。因此,可选的,在进行表格恢复之前,先将过期检查任务删除,再进行后续的表格恢复操作。
步骤520,管理服务器端向存储服务器端发送恢复表格分片名称的命令;
步骤522,存储服务器端根据收到的恢复命令,修改并恢复表格分片的原名称;
步骤524,接着,存储服务器端向管理服务器端返回表格分片名称恢复成功的消息;
步骤526,管理服务器端此时会根据收到的存储服务器端发送的恢复成功消息,修改表格名称元数据。
这样,即可实现表格数据的快速恢复。
另外,在步骤528中,若到达过期时间,则管理服务器端会下发表格删除命令给存储服务器端;
步骤530,存储服务器端根据命令执行删除表格对应分片的操作。
这样,即可实现表格数据的可靠性删除。
本发明实施例的分布式表格删除方法,通过重命名的方式实现表格分片数据“假删除”,并设置数据有效期。由于在收到删除命令时,只更改表格元数据,仅通过向磁盘写入一些元数据即实现分片重命名和“假删除”,而不像现有技术那样真正地物理删除数据,所以这种“删除”速度更快,且具有更高的可靠性以利于后续恢复。因此,通过重命名的方式实现表格删除操作,效率更高。
本发明实施例的分布式表格恢复方法,在数据有效期内,通过重命名的方式实现表格分片数据恢复。因此,在有效期内数据仍然具有恢复能力,与现有技术需要物理删除数据和数据恢复相比,本发明的分布式表格恢复方法不仅速度快,且数据可靠性更高,操作更简单,降低了运维复杂度。
在本发明另一个实施例中,还提供了一种分布式表格的处理装置2000,设置在管理服务器端,如图7所示,图7为本发明实施例的分布式表格的处理装置的结构方框图。
分布式表格的处理装置2000包括:接收模块2200、重命名模块2400、第一发送模块2600以及修改模块2800。
接收模块2200接收用户删除表格的命令;重命名模块2400在接收到用户的删除表格的命令时,根据预设表格命名规则对表格进行重命名,以更改表格的原名称为新名称;第一发送模块2600根据表格的新名称,向存储服务器发送对表格的分片进行重命名的命令;修改模块2800在收到存储服务器发送的分片重命名成功的消息后,修改表格对应的名称元数据。
在一个示例中,分布式表格的处理装置2000还包括第二发送模块2500在接收模块2200在过期时间内收到用户表格恢复命令后,向存储服务器发送恢复表格的分片名称的命令,修改模块2800在接收模块2200收到存储服务器发送的表格的分片名称恢复成功的消息后,修改表格对应的名称元数据,以恢复表格的原名称。
其中,在到达过期时间后,第一发送模块2600向存储服务器发送删除表格的分片的命令。
在本发明另一个实施例中,还提供了一种分布式表格的处理装置3000,设置在存储服务器端,如图8所示,图8为本发明实施例的分布式表格的处理装置的结构方框图。
分布式表格的处理装置3000包括:接收模块3200、重命名模块3400、第一发送模块3600以及修改模块3800。
接收模块3200接收管理服务器发送的根据预设表格命名规则生成的表格的新名称,以及接收对所述表格的分片进行重命名的命令;其中,表格的新名称是管理服务器在接收到用户的删除表格的命令时,根据预设表格命名规则对表格进行重命名得到的,预设表格命名规则包括表格的新名称与格的原名称不存在名称冲突以及表格的新名称在用户查询时被过滤掉。
重命名模块3400根据表格的新名称对表格的分片进行重命名,以更改表格的分片的原名称为新名称;
第一发送模块3600向管理服务器发送对表格的分片重命名成功的消息。
在一个示例中,分布式表格的处理装置3000还包括修改模块3800和第二发送模块3500。修改模块3800在接收模块3200收到恢复表格的分片名称的命令后,修改表格的分片对应的名称,以恢复表格的分片的原名称,第二发送模块3500用于向管理服务器发送对表格的分片名称恢复成功的消息。
在一个示例中,存储服务器3000还包括删除模块3900,在接收模块3200收到管理服务器发送的删除表格的分片的命令后,删除模块3900删除表格的分片。
根据本发明的又一个实施例,还提供了一种分布式表格存储系统4000,如图9所示,图9为本发明实施例的分布式表格存储系统的结构方框图。分布式表格存储系统4000包括前述的分布式表格的处理装置2000和分布式表格的处理装置3000。
根据本发明的再一个实施例,还提供了一种电子设备,该电子设备5000可以是图1所示的电子设备1000。图10为本发明第一实施例的电子设备的结构方框图,该实施例的电子设备执行在管理服务器端。
一方面,该电子设备5000可以包括前述管分布式表格的处理装置2000,用于实施本发明任意实施例的执行在管理服务器端的分布式表格处理(删除/恢复)方法。
另一方面,如图10所示,电子设备5000可以包括存储器5200和处理器5400,存储器5200用于存储可执行的指令;该指令用于控制处理器5400执行前述的执行在管理服务器端的分布式表格处理(删除/恢复)方法。
在本实施例中,电子设备5000可以是手机、平板电脑、掌上电脑、台式机、笔记本电脑、工作站、游戏机等任意具有存储器5200以及处理器5400的电子产品。
根据本发明的另一个实施例,还提供了一种电子设备,该电子设备6000可以是图1所示的电子设备1000。图11为本发明第二实施例的电子设备的结构方框图,该实施例的电子设备执行在存储服务器端。
一方面,该电子设备6000可以包括前述分布式表格的处理装置3000,用于实施本发明任意实施例的执行在存储服务器端的分布式表格处理(删除/恢复)方法。
另一方面,如图11所示,电子设备6000可以包括存储器6200和处理器6400,存储器6200用于存储可执行的指令;该指令用于控制处理器6400执行前述的执行在存储服务器端的分布式表格处理(删除/恢复)方法。
在本实施例中,电子设备6000可以是手机、平板电脑、掌上电脑、台式机、笔记本电脑、工作站、游戏机等任意具有存储器6200以及处理器6400的电子产品。
最后,根据本发明的又一个实施例,还提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序在被处理器执行时实现根据本发明任意实施例所述的分布式表格处理(删除/恢复)方法。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人物来说公知的是,通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本发明的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人物来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进,或者使本技术领域的其它普通技术人物能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (12)

1.一种分布式表格的处理方法,执行在管理服务器端,其特征在于,所述方法包括:
在接收到用户的删除表格的命令时,根据预设表格命名规则对所述表格进行重命名,以更改所述表格的原名称为新名称;
根据所述表格的新名称,向存储服务器发送对所述表格的分片进行重命名的命令;以及
在收到所述存储服务器发送的所述分片重命名成功的消息后,修改所述表格对应的名称元数据;
其中,所述预设表格命名规则包括所述表格的新名称与所述表格的原名称不存在名称冲突以及所述表格的新名称在用户查询时被过滤掉,
所述方法还包括:
在收到所述存储服务器发送的所述分片重命名成功的消息后,生成过期检查任务,以检查所述表格的分片重命名成功的时长是否达到过期时间;
在所述表格的分片重命名成功的时长到达过期时间之前,若接收到所述用户的表格恢复命令,则向所述存储服务器发送恢复所述表格的分片名称的命令;以及
在收到所述存储服务器发送的所述表格的分片名称恢复成功的消息后,修改所述表格对应的名称元数据,以恢复所述表格的原名称。
2.根据权利要求1所述的方法,其中,所述方法还包括:
当所述表格的分片重命名成功的时长到达过期时间时,向所述存储服务器发送删除所述表格的分片的命令。
3.根据权利要求1所述的方法,其中,所述方法还包括:
在接收到所述用户的表格恢复命令时,删除所述过期检查任务。
4.一种分布式表格的处理方法,执行在存储服务器端,其特征在于,所述方法包括:
接收管理服务器发送的表格的新名称以及用于指示对所述表格的分片进行重命名的命令,其中,所述表格的新名称是所述管理服务器在接收到用户的删除表格的命令时,根据预设表格命名规则对表格进行重命名得到的,所述预设表格命名规则包括所述表格的新名称与所述表格的原名称不存在名称冲突以及所述表格的新名称在用户查询时被过滤掉;
根据所述表格的新名称对所述表格的分片进行重命名,以更改所述表格的分片的原名称为新名称;以及
向所述管理服务器发送所述表格的分片重命名成功的消息,
其中,所述方法还包括:
在收到所述管理服务器发送的恢复所述表格的分片名称的命令后,修改所述表格的分片对应的名称,以恢复所述表格的分片的原名称;以及
向所述管理服务器发送所述表格的分片名称恢复成功的消息。
5.根据权利要求4所述的方法,其中,根据所述表格的新名称对所述表格的分片进行重命名包括:
修改内存中所述表格的分片名称;以及
将修改的所述表格的分片名称持久化到磁盘。
6.根据权利要求4所述的方法,其中,所述方法还包括:
在收到所述管理服务器发送的删除所述表格的分片的命令后,删除所述表格的分片。
7.一种分布式表格的处理装置,设置在管理服务器端,其特征在于,所述处理装置包括:
重命名模块,在接收到用户的删除表格的命令时,根据预设表格命名规则对所述表格进行重命名,以更改所述表格的原名称为新名称,其中所述预设表格命名规则包括所述表格的新名称与所述表格的原名称不存在名称冲突以及所述表格的新名称在用户查询时被过滤掉;
第一发送模块,根据所述表格的新名称,向存储服务器发送对所述表格的分片进行重命名的命令;
修改模块,在收到所述存储服务器发送的所述分片重命名成功的消息后,修改所述表格对应的名称元数据;
检查模块,用于在收到所述存储服务器发送的所述分片重命名成功的消息后,生成过期检查任务,以检查所述表格的分片重命名成功的时长是否达到过期时间;
第二发送模块,用于在所述表格的分片重命名成功的时长到达过期时间之前,若接收到所述用户的表格恢复命令,则向所述存储服务器发送恢复所述表格的分片名称的命令;以及
恢复模块,所述恢复模块在收到所述存储服务器发送的所述表格的分片名称恢复成功的消息后,修改所述表格对应的名称元数据,以恢复所述表格的原名称。
8.一种分布式表格的处理装置,设置在存储服务器端,其特征在于,所述处理装置包括:
接收模块,接收管理服务器发送的表格的新名称以及用于指示对所述表格的分片进行重命名的命令,其中,所述表格的新名称是所述管理服务器在接收到用户的删除表格的命令时,根据预设表格命名规则对表格进行重命名得到的,所述预设表格命名规则包括所述表格的新名称与所述表格的原名称不存在名称冲突以及所述表格的新名称在用户查询时被过滤掉;
重命名模块,根据所述表格的新名称对所述表格的分片进行重命名,以更改所述表格的分片的原名称为新名称;
第一发送模块,向所述管理服务器发送所述表格的分片重命名成功的消息;
修改模块,用于在收到所述管理服务器发送的恢复所述表格的分片名称的命令后,修改所述表格的分片对应的名称,以恢复所述表格的分片的原名称;以及
第二发送模块,用于向所述管理服务器发送所述表格的分片名称恢复成功的消息。
9.根据权利要求8所述的装置,其中,所述装置还包括:
删除模块,用于在收到所述管理服务器发送的删除所述表格的分片的命令后,删除所述表格的分片。
10.一种分布式表格存储系统,其特征在于,包括根据权利要求7所述的分布式表格的处理装置和根据权利要求8或9所述的分布式表格的处理装置。
11.一种电子设备,其特征在于,包括:
根据权利要求7所述的分布式表格的处理装置;或者,
处理器和存储器,所述存储器用于存储可执行的指令,所述指令用于控制所述处理器执行根据权利要求1至3中任一权利要求所述的分布式表格的处理方法;
根据权利要求8或9所述的分布式表格的处理装置;或者,
处理器和存储器,所述存储器用于存储可执行的指令,所述指令用于控制所述处理器执行根据权利要求4至6中任一权利要求所述的分布式表格的处理方法。
12.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1至6中任一权利要求所述的分布式表格的处理方法。
CN201911158467.8A 2019-11-22 2019-11-22 分布式表格的处理方法、装置、系统及电子设备 Active CN111026751B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911158467.8A CN111026751B (zh) 2019-11-22 2019-11-22 分布式表格的处理方法、装置、系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911158467.8A CN111026751B (zh) 2019-11-22 2019-11-22 分布式表格的处理方法、装置、系统及电子设备

Publications (2)

Publication Number Publication Date
CN111026751A CN111026751A (zh) 2020-04-17
CN111026751B true CN111026751B (zh) 2024-02-09

Family

ID=70203226

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911158467.8A Active CN111026751B (zh) 2019-11-22 2019-11-22 分布式表格的处理方法、装置、系统及电子设备

Country Status (1)

Country Link
CN (1) CN111026751B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002035359A2 (en) * 2000-10-26 2002-05-02 Prismedia Networks, Inc. Method and system for managing distributed content and related metadata
CN102880658A (zh) * 2012-08-31 2013-01-16 电子科技大学 基于地震数据处理的分布式文件管理系统
CN104375903A (zh) * 2014-10-29 2015-02-25 中国建设银行股份有限公司 针对交易流水记录进行异步数据处理的方法和装置
CN104731516A (zh) * 2013-12-18 2015-06-24 腾讯科技(深圳)有限公司 一种存取文件的方法、装置及分布式存储系统
CN104881466A (zh) * 2015-05-25 2015-09-02 百度在线网络技术(北京)有限公司 数据分片的处理以及垃圾文件的删除方法和装置
US9135284B1 (en) * 2008-03-13 2015-09-15 Blue Coat Systems, Inc. Composite execution of rename operations in wide area file systems
US9449008B1 (en) * 2014-03-31 2016-09-20 Amazon Technologies, Inc. Consistent object renaming in distributed systems
CN106484820A (zh) * 2016-09-26 2017-03-08 华为技术有限公司 一种重命名方法、访问方法及装置
CN107239521A (zh) * 2017-05-26 2017-10-10 郑州云海信息技术有限公司 一种分布式集群上的回收站应用方法及系统
CN107239480A (zh) * 2016-03-28 2017-10-10 阿里巴巴集团控股有限公司 用于分布式文件系统执行重命名操作的方法和设备
CN109614442A (zh) * 2018-11-02 2019-04-12 东软集团股份有限公司 数据同步的数据表维护方法、装置、存储介质和电子设备
CN109739815A (zh) * 2019-01-10 2019-05-10 北京达佳互联信息技术有限公司 文件处理方法、系统、装置、设备及存储介质
CN109976668A (zh) * 2019-03-14 2019-07-05 北京达佳互联信息技术有限公司 数据删除方法、数据删除装置和计算机可读存储介质
CN110196883A (zh) * 2019-05-29 2019-09-03 贝壳技术有限公司 一种对线上业务无影响的数据同步方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9405788B2 (en) * 2014-01-24 2016-08-02 International Business Machines Corporation Mass delete restriction in a database
US10747719B2 (en) * 2017-09-22 2020-08-18 Microsoft Technology Licensing, Llc File system point-in-time restore using recycle bin and version history

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002035359A2 (en) * 2000-10-26 2002-05-02 Prismedia Networks, Inc. Method and system for managing distributed content and related metadata
US9135284B1 (en) * 2008-03-13 2015-09-15 Blue Coat Systems, Inc. Composite execution of rename operations in wide area file systems
CN102880658A (zh) * 2012-08-31 2013-01-16 电子科技大学 基于地震数据处理的分布式文件管理系统
CN104731516A (zh) * 2013-12-18 2015-06-24 腾讯科技(深圳)有限公司 一种存取文件的方法、装置及分布式存储系统
US9449008B1 (en) * 2014-03-31 2016-09-20 Amazon Technologies, Inc. Consistent object renaming in distributed systems
CN104375903A (zh) * 2014-10-29 2015-02-25 中国建设银行股份有限公司 针对交易流水记录进行异步数据处理的方法和装置
CN104881466A (zh) * 2015-05-25 2015-09-02 百度在线网络技术(北京)有限公司 数据分片的处理以及垃圾文件的删除方法和装置
CN107239480A (zh) * 2016-03-28 2017-10-10 阿里巴巴集团控股有限公司 用于分布式文件系统执行重命名操作的方法和设备
CN106484820A (zh) * 2016-09-26 2017-03-08 华为技术有限公司 一种重命名方法、访问方法及装置
CN107239521A (zh) * 2017-05-26 2017-10-10 郑州云海信息技术有限公司 一种分布式集群上的回收站应用方法及系统
CN109614442A (zh) * 2018-11-02 2019-04-12 东软集团股份有限公司 数据同步的数据表维护方法、装置、存储介质和电子设备
CN109739815A (zh) * 2019-01-10 2019-05-10 北京达佳互联信息技术有限公司 文件处理方法、系统、装置、设备及存储介质
CN109976668A (zh) * 2019-03-14 2019-07-05 北京达佳互联信息技术有限公司 数据删除方法、数据删除装置和计算机可读存储介质
CN110196883A (zh) * 2019-05-29 2019-09-03 贝壳技术有限公司 一种对线上业务无影响的数据同步方法及装置

Also Published As

Publication number Publication date
CN111026751A (zh) 2020-04-17

Similar Documents

Publication Publication Date Title
US20210133234A1 (en) Communicating with a database management system using a chatbot
US11481542B2 (en) Summarization and processing of email on a client computing device based on content contribution to an email thread using weighting techniques
US9558078B2 (en) Point in time database restore from storage snapshots
CN111104069B (zh) 分布式存储系统的多区域数据处理方法、装置及电子设备
JP2022141957A (ja) メタデータのスナップショット方法及びそのスナップ装置
US10606865B2 (en) Database scale-out
JP2019519025A (ja) 分散システムにおける範囲の分割および移動
US9519673B2 (en) Management of I/O and log size for columnar database
US10459647B1 (en) Multiple storage class representation in versioned storage
CN105302922B (zh) 一种分布式文件系统快照实现方法
CN111201763A (zh) 基于文件系统内容的安全性
EP3825865A2 (en) Method and apparatus for processing data
JP2022141980A (ja) メタデータのスナップショット方法及びそのスナップ装置
US20120185440A1 (en) Method and apparatus for providing address book restoration
US10802746B1 (en) Policy-driven multiple storage class representation in versioned storage
AU2018214032A1 (en) Systems and methods for maintaining group membership records
CN111026751B (zh) 分布式表格的处理方法、装置、系统及电子设备
CN112231288A (zh) 日志存储方法和装置、介质
US10360234B2 (en) Recursive extractor framework for forensics and electronic discovery
US11409610B1 (en) Context-driven data backup and recovery
CN111858158B (zh) 数据处理方法、装置及电子设备
US20140114918A1 (en) Use of proxy objects for integration between a content management system and a case management system
CN108196979B (zh) 数据备份方法和装置
US20230131765A1 (en) Backup and restore of arbitrary data
US20210286680A1 (en) Method, electronic device and computer program product for storage management

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant