CN105095489A - 一种分布式文件删除方法、装置和系统 - Google Patents
一种分布式文件删除方法、装置和系统 Download PDFInfo
- Publication number
- CN105095489A CN105095489A CN201510508415.4A CN201510508415A CN105095489A CN 105095489 A CN105095489 A CN 105095489A CN 201510508415 A CN201510508415 A CN 201510508415A CN 105095489 A CN105095489 A CN 105095489A
- Authority
- CN
- China
- Prior art keywords
- data
- information
- deleting
- deletion
- deleted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012217 deletion Methods 0.000 title claims abstract description 165
- 230000037430 deletion Effects 0.000 title claims abstract description 165
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000012545 processing Methods 0.000 claims abstract description 44
- 238000010586 diagram Methods 0.000 description 10
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
- G06F16/162—Delete operations
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供一种分布式文件数据删除方法、装置和系统，其中方法包括：接收客户端发送的数据删除请求，将该数据删除请求添加至处理队列中，向客户端返回第一删除成功信息；依次获取该处理队列中的数据删除请求，根据该数据删除请求更新集群节点的存储容量信息；根据该数据删除请求确定需删除数据的数据信息，将所述数据信息存入数据库中，每隔预设时间获取该数据库内的数据信息，将该数据信息相对应的数据进行删除。将接收并相应客户端的数据删除请求和删除数据异步进行处理，有效的缩短了客户端的等待时间。
Description
技术领域
本发明涉及分布式文件技术领域，特别是涉及一种分布式文件删除方法、装置和系统。
背景技术
随着网络应用的迅速发展，网络信息数据量越来越大，海量数据存储变得越来越重要。传统意义的本地磁盘存储方式已不能满足现有应用的大容量、高可靠性、高性能、横向扩展等要求，为满足这些新要求，基于网络的分布式存储系统得到了广泛重视。
以一种典型的分布式文件系统为例，底层采用对象存储的方式，当客户端对文件进行读写、删除等操作时，都会先与元数据节点MDS进行通信，在获得目标文件的元数据信息之后，根据操作类型，继续向MDS发出请求，如果是读写操作，则需要MDS从所有的对象存储节点OSD上获取文件的实际数据，直接返回给客户端或者进行改写后落盘，而若是删除操作，会首先确认构成文件数据的各对象在OSD上的分布，然后逐一地发送删除命令，等待所有的数据对象删除完成之后再向客户端返回操作成功信息，客户端在接收到该操作成功信息后确定该数据对象删除完成，再下发下一删除请求。
对于客户端来说，删除操作相较读写操作是非常轻量级的操作类型，理应快速完成，但具体到后端的分布式文件系统，删除操作与读写操作所经过的输入输出IO路径却相同，这种处理方式等待响应时间较长，所带来的延时非常明显，尤其是在执行海量小文件的批量删除操作时，甚至会影响用户的正常业务。
发明内容
有鉴于此，本发明实施例提供一种分布式文件删除方法和系统，以解决现有技术中删除操作与读写操作所经过的输入输出IO路径却相同，这种处理方式等待响应时间较长，所带来的延时非常明显，尤其是在执行海量小文件的批量删除操作时，甚至会影响用户的正常业务的问题。
为实现上述目的，本发明实施例提供如下技术方案：
一种分布式文件数据删除方法，包括：
接收客户端发送的数据删除请求，将所述数据删除请求添加至处理队列中，向客户端返回第一删除成功信息；
依次获取所述处理队列中的数据删除请求，根据所述数据删除请求更新集群节点的存储容量信息；
根据所述数据删除请求确定需删除数据的数据信息，将所述数据信息存入数据库中，每隔预设时间间隔获取所述数据库内的数据信息，将所述数据信息相对应的数据进行删除。
其中，所述根据所述数据删除请求确定需删除文件的文件信息，将所述文件信息存入数据库中包括：
根据所述数据删除请求确定所述需删除数据的索引节点信息；
根据所述索引节点信息通过一致性哈希算法确定所述需删除数据所在文件的文件名称，及所述需删除数据在所述文件中的位置信息；
根据所述文件名称和所述位置信息形成键值KV对，将所述KV对存入数据库中。
其中，所述每隔预设时间间隔获取所述数据库内的数据信息，将所述数据信息相对应的数据进行删除包括：
每隔预设时间间隔获取所述数据库内的所有所述KV对；
根据所述KV对通过一致性哈希算法定位所述需删除数据所在的存储节点OSD；
向所述OSD发送删除指令，所述OSD将所述需删除数据进行删除。
其中，所述向所述OSD发送删除指令，所述OSD将所述需删除数据进行删除后还包括：
判断是否在预定时间内接收到所述OSD发送的第二删除成功信息；
若否，则向所述OSD再次发送删除指令。
一种分布式文件数据删除装置，包括：接收反馈模块、信息更新模块和数据删除模块；其中，
所述接收反馈模块，用于接收客户端发送的数据删除请求，将所述数据删除请求添加至处理队列中，向客户端返回第一删除成功信息；
所述信息更新模块，用于依次获取所述处理队列中的数据删除请求，根据所述数据删除请求更新集群节点的存储容量信息；
所述数据删除模块，用于根据所述数据删除请求确定需删除数据的数据信息，将所述数据信息存入数据库中，每隔预设时间间隔获取所述数据库内的数据信息，将所述数据信息相对应的数据进行删除。
其中，所述数据删除模块包括：第一确定单元、第二确定单元和存储单元；其中，
所述第一确定单元，用于根据所述数据删除请求确定所述需删除数据的索引节点信息；
所述第二确定单元，用于根据所述索引节点信息通过一致性哈希算法确定所述需删除数据所在文件的文件名称，及所述需删除数据在所述文件中的位置信息；
所述存储单元，用于根据所述文件名称和所述位置信息形成键值KV对，将所述KV对存入数据库中。
其中，所述数据删除模块还包括：获取单元、定位单元和删除单元；其中，
所述获取单元，用于每隔预设时间间隔获取所述数据库内的所有所述KV对；
所述定位单元，用于根据所述KV对通过一致性哈希算法定位所述需删除数据所在的元数据节点OSD；
所述删除单元，用于向所述OSD发送删除指令，所述OSD将所述需删除数据进行删除。
其中，所述分布式文件删除方法装置还包括：判断模块，用于判断是否在预定时间内接收到所述OSD发送的第二删除成功信息；若否，则向所述OSD再次发送删除指令。
一种分布式文件数据删除系统，包括客户端和存储端；其中，
所述客户端，用于向所述存储端发送删除请求；
所述存储端，用于接收所述客户端发送的数据删除请求，将所述数据删除请求添加至处理队列中，向客户端返回第一删除成功信息；
依次获取所述处理队列中的数据删除请求，根据所述数据删除请求更新集群节点的存储容量信息；
根据所述数据删除请求确定需删除数据的数据信息，将所述数据信息存入数据库中，每隔预设时间间隔获取所述数据库内的数据信息，将所述数据信息相对应的数据进行删除。
其中，所述存储端包括：元数据节点MDS和OSD；其中，
所述MDS，用于接收客户端发送的数据删除请求，将所述数据删除请求添加至处理队列中，向客户端返回第一删除成功信息；
依次获取所述处理队列中的数据删除请求，根据所述数据删除请求更新集群节点的存储容量信息；
根据所述数据删除请求确定需删除数据的数据信息，将所述数据信息存入数据库中，每隔预设时间间隔获取所述数据库内的数据信息，根据所述数据信息定位所述需删除数据所在的OSD，向所述OSD发送删除指令；
所述OSD，用于根据所述删除指令将所述需删除数据进行删除。
基于上述技术方案，本发明实施例提供的一种分布式文件数据删除方法和系统，接收客户端发送的数据删除请求后，将该数据删除请求添加至处理队列中，向客户端返回第一删除成功信息，依次获取处理队列中的数据删除请求后，根据该数据删除请求更新集群节点的存储容量信息，根据该数据删除请求确定需删除数据的数据信息，将该数据信息存入数据库中，每隔预设时间间隔获取该数据库内的数据信息，将该数据信息相对应的数据进行删除。在接收到客户端发送的数据删除请求，将数据删除请求添加至处理队列中后，立即向其客户端反馈删除成功信息，并在获取处理队列中的数据删除请求后立即更新了集群节点的存储容量信息，而真正的数据删除操作在最后执行，将接收并相应客户端的数据删除请求和删除数据异步进行处理，有效的缩短了客户端的等待时间。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的分布式文件数据删除方法的流程图；
图2为本发明实施例提供的分布式文件数据删除方法中根据数据删除请求确定需删除文件的文件信息，将文件信息存入数据库中的方法流程图；
图3为本发明实施例提供的分布式文件数据删除方法中每隔预设时间间隔获取数据库内的数据信息，将数据信息相对应的数据进行删除的方法流程图；
图4为本发明实施例提供的分布式文件数据删除方法中判断是否再次发送删除指令的方法流程图；
图5为本发明实施例提供的分布式文件数据删除装置的系统框图；
图6为本发明实施例提供的分布式文件数据删除装置中数据删除模块300的结构框图；
图7为本发明实施例提供的分布式文件数据删除装置中数据删除模块300的另一结构框图；
图8为本发明实施例提供的分布式文件数据删除装置的另一系统框图；
图9为本发明实施例提供的分布式文件数据删除系统的系统框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的分布式文件数据删除方法的流程图，在接收到客户端发送的数据删除请求，将数据删除请求添加至处理队列中后，立即向其客户端反馈删除成功信息，并在获取处理队列中的数据删除请求后立即更新了集群节点的存储容量信息，而真正的数据删除操作在最后执行，将接收并相应客户端的数据删除请求和删除数据异步进行处理，有效的缩短了客户端的等待时间；参照图1，该分布式文件数据删除方法可以包括：
步骤S100：接收客户端发送的数据删除请求，将所述数据删除请求添加至处理队列中，向客户端返回第一删除成功信息；
步骤S110：依次获取所述处理队列中的数据删除请求，根据所述数据删除请求更新集群节点的存储容量信息；
步骤S120：根据所述数据删除请求确定需删除数据的数据信息，将所述数据信息存入数据库中，每隔预设时间间隔获取所述数据库内的数据信息，将所述数据信息相对应的数据进行删除。
可选的，可以通过所述根据所述数据删除请求确定所述需删除数据的索引节点信息，根据所述索引节点信息通过一致性哈希算法确定所述需删除数据所在文件的文件名称，及所述需删除数据在所述文件中的位置信息，根据所述文件名称和所述位置信息形成键值KV对，将所述KV对存入数据库中，来根据数据删除请求确定需删除文件的文件信息，将文件信息存入数据库之中。
可选的，可以通过每隔预设时间间隔获取所述数据库内的所有所述KV对，根据所述KV对通过一致性哈希算法定位所述需删除数据所在的存储节点OSD，向所述OSD发送删除指令，所述OSD将所述需删除数据进行删除，来每隔预设时间间隔获取所述数据库内的数据信息，将所述数据信息相对应的数据进行删除。
可选的，在向OSD发送删除指令，OSD将需删除数据进行删除后，还可以判断是否在预定时间内接收到所述OSD发送的第二删除成功信息，若否，则向所述OSD再次发送删除指令。
基于上述技术方案，本发明实施例提供的一种分布式文件数据删除方法和系统，接收客户端发送的数据删除请求后，将该数据删除请求添加至处理队列中，向客户端返回第一删除成功信息，依次获取处理队列中的数据删除请求后，根据该数据删除请求更新集群节点的存储容量信息，根据该数据删除请求确定需删除数据的数据信息，将该数据信息存入数据库中，每隔预设时间间隔获取该数据库内的数据信息，将该数据信息相对应的数据进行删除。在接收到客户端发送的数据删除请求，将数据删除请求添加至处理队列中后，立即向其客户端反馈删除成功信息，并在获取处理队列中的数据删除请求后立即更新了集群节点的存储容量信息，而真正的数据删除操作在最后执行，将接收并相应客户端的数据删除请求和删除数据异步进行处理，有效的缩短了客户端的等待时间。
可选的，图2示出了本发明实施例提供的分布式文件数据删除方法中根据数据删除请求确定需删除文件的文件信息，将文件信息存入数据库中的方法流程图；参照图2，该根据数据删除请求确定需删除文件的文件信息，将文件信息存入数据库中的方法可以包括：
步骤S200：根据所述数据删除请求确定所述需删除数据的索引节点信息；
步骤S210：根据所述索引节点信息通过一致性哈希算法确定所述需删除数据所在文件的文件名称，及所述需删除数据在所述文件中的位置信息；
根据索引节点信息通过一致性哈希算法可以确定该需删除数据所在文件的文件名称，例如该需删除数据在文件名称为A的文件中，根据索引节点信息通过一致性哈希算法还可以确定需删除数据在该文件中的位置信息，即确定该需删除数据位于该文件中的哪个位置，例如，若该需删除数据位于文件A的开头100个字节，则根据索引节点信息通过一致性哈希算法可确定需删除的位置位于文件的开头100个字节。
步骤S220：根据所述文件名称和所述位置信息形成键值KV对，将所述KV对存入数据库中。
根据需删除数据所在文件的文件名称和位置信息，可形成键值KV对。例如，若确定需删除数据位于文件A的开头100个字节，则可形成KV对A-[0，100]，若确定需删除数据位于文件B的全文，则可形成KV对B-[0,0]。
可选的，图3示出了本发明实施例提供的分布式文件数据删除方法中每隔预设时间间隔获取数据库内的数据信息，将数据信息相对应的数据进行删除的方法流程图；参照图3，该每隔预设时间间隔获取数据库内的数据信息，将数据信息相对应的数据进行删除的方法可以包括：
步骤S300：每隔预设时间间隔获取所述数据库内的所有所述KV对；
步骤S310：根据所述KV对通过一致性哈希算法定位所述需删除数据所在的存储节点OSD；
步骤S320：向所述OSD发送删除指令，所述OSD将所述需删除数据进行删除。
当OSD接收到删除指令时，该OSD将确定的需删除数据进行删除。
可选的，为不影响其他的数据删除操作，OSD可以先对需删除数据进行加锁，加锁后再删除该需删除数据。
可选的，若需删除数据不是文件全文，则可先将该需删除数据回写到存储中，再解锁完成删除。
可选的，图4示出了本发明实施例提供的分布式文件数据删除方法中判断是否再次发送删除指令的方法流程图；参照图4，该判断是否再次发送删除指令的方法可以包括：
步骤S400：判断是否在预定时间内接收到所述OSD发送的第二删除成功信息；
若OSD将数据删除成功，将返回一个第二删除成功信息，因此，可以用通过判断是否在预定时间内接收到OSD发送的第二删除成功信息，来判断OSD是否将数据删除成功。
步骤S410：若否，则向所述OSD再次发送删除指令。
若没有在预定时间内接收到OSD发送的第二删除成功信息，则说明数据删除失败，需要向该OSD再次发送删除指令，使该OSD将数据进行再次删除操作；若在预定时间内接收到OSD发送的第二删除成功信息，则说明数据已经删除成功，无需向该OSD再次发送删除指令。
本发明实施例提供的分布式文件数据删除方法，在接收到客户端发送的数据删除请求，将数据删除请求添加至处理队列中后，立即向其客户端反馈删除成功信息，并在获取处理队列中的数据删除请求后立即更新了集群节点的存储容量信息，而真正的数据删除操作在最后执行，将接收并相应客户端的数据删除请求和删除数据异步进行处理，有效的缩短了客户端的等待时间
下面对本发明实施例提供的分布式文件数据删除装置进行介绍，下文描述的分布式文件数据删除装置与上文描述的分布式文件数据删除方法可相互对应参照。
图5为本发明实施例提供的分布式文件数据删除装置的系统框图，参照图5，该分布式文件数据删除装置可以包括：接收反馈模块100、信息更新模块200和数据删除模块300；其中，
接收反馈模块100，用于接收客户端发送的数据删除请求，将所述数据删除请求添加至处理队列中，向客户端返回第一删除成功信息；
信息更新模块200，用于依次获取所述处理队列中的数据删除请求，根据所述数据删除请求更新集群节点的存储容量信息；
数据删除模块300，用于根据所述数据删除请求确定需删除数据的数据信息，将所述数据信息存入数据库中，每隔预设时间间隔获取所述数据库内的数据信息，将所述数据信息相对应的数据进行删除。
可选的，图6示出了本发明实施例提供的分布式文件数据删除装置中数据删除模块300的结构框图，参照图6，该数据删除模块300可以包括：第一确定单元310、第二确定单元320和存储单元330；其中，
第一确定单元310，用于根据所述数据删除请求确定所述需删除数据的索引节点信息；
第二确定单元320，用于根据所述索引节点信息通过一致性哈希算法确定所述需删除数据所在文件的文件名称，及所述需删除数据在所述文件中的位置信息；
存储单元330，用于根据所述文件名称和所述位置信息形成键值KV对，将所述KV对存入数据库中。
可选的，图7示出了本发明实施例提供的分布式文件数据删除装置中数据删除模块300的另一结构框图，参照图7，该数据删除模块300还可以包括：获取单元340、定位单元350和删除单元360；其中，
获取单元340，用于每隔预设时间间隔获取所述数据库内的所有所述KV对；
定位单元350，用于根据所述KV对通过一致性哈希算法定位所述需删除数据所在的元数据节点OSD；
删除单元360，用于向所述OSD发送删除指令，所述OSD将所述需删除数据进行删除。
可选的，图8示出了本发明实施例提供的分布式文件数据删除装置的另一系统框图，参照图8，该分布式文件数据删除装置还可以包括：判定模块400；其中，
判定模块400，用于判断是否在预定时间内接收到所述OSD发送的第二删除成功信息；若否，则向所述OSD再次发送删除指令。
本发明实施例提供的分布式文件数据删除装置，在接收到客户端发送的数据删除请求，将数据删除请求添加至处理队列中后，立即向其客户端反馈删除成功信息，并在获取处理队列中的数据删除请求后立即更新了集群节点的存储容量信息，而真正的数据删除操作在最后执行，将接收并相应客户端的数据删除请求和删除数据异步进行处理，有效的缩短了客户端的等待时间。
下面对本发明实施例提供的分布式文件数据删除系统进行介绍，下文描述的分布式文件数据删除系统与上文描述分布式文件数据删除装置和分布式文件数据删除方法可相互对应参照。
图9为本发明实施例提供的分布式文件数据删除系统的系统框图，参照图9，该分布式文件数据删除系统可以包括客户端1和存储端2；其中，
客户端1，用于向所述存储端发送删除请求；
存储端2，用于接收所述客户端发送的数据删除请求，将所述数据删除请求添加至处理队列中，向客户端返回第一删除成功信息；
依次获取所述处理队列中的数据删除请求，根据所述数据删除请求更新集群节点的存储容量信息；
根据所述数据删除请求确定需删除数据的数据信息，将所述数据信息存入数据库中，每隔预设时间间隔获取所述数据库内的数据信息，将所述数据信息相对应的数据进行删除。
其中，存储端2包括：元数据节点MDS和OSD；其中，
MDS，用于接收客户端发送的数据删除请求，将所述数据删除请求添加至处理队列中，向客户端返回第一删除成功信息；
依次获取所述处理队列中的数据删除请求，根据所述数据删除请求更新集群节点的存储容量信息；
根据所述数据删除请求确定需删除数据的数据信息，将所述数据信息存入数据库中，每隔预设时间间隔获取所述数据库内的数据信息，根据所述数据信息定位所述需删除数据所在的OSD，向所述OSD发送删除指令；
OSD，用于根据所述删除指令将所述需删除数据进行删除。
本发明实施例提供的分布式文件数据删除系统，在接收到客户端发送的数据删除请求，将数据删除请求添加至处理队列中后，立即向其客户端反馈删除成功信息，并在获取处理队列中的数据删除请求后立即更新了集群节点的存储容量信息，而真正的数据删除操作在最后执行，将接收并相应客户端的数据删除请求和删除数据异步进行处理，有效的缩短了客户端的等待时间。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种分布式文件数据删除方法，其特征在于，包括：
接收客户端发送的数据删除请求，将所述数据删除请求添加至处理队列中，向客户端返回第一删除成功信息；
依次获取所述处理队列中的数据删除请求，根据所述数据删除请求更新集群节点的存储容量信息；
根据所述数据删除请求确定需删除数据的数据信息，将所述数据信息存入数据库中，每隔预设时间间隔获取所述数据库内的数据信息，将所述数据信息相对应的数据进行删除。
2.根据权利要求1所述的分布式文件删除方法，其特征在于，所述根据所述数据删除请求确定需删除文件的文件信息，将所述文件信息存入数据库中包括：
根据所述数据删除请求确定所述需删除数据的索引节点信息；
根据所述索引节点信息通过一致性哈希算法确定所述需删除数据所在文件的文件名称，及所述需删除数据在所述文件中的位置信息；
根据所述文件名称和所述位置信息形成键值KV对，将所述KV对存入数据库中。
3.根据权利要求2所述的分布式文件删除方法，其特征在于，所述每隔预设时间间隔获取所述数据库内的数据信息，将所述数据信息相对应的数据进行删除包括：
每隔预设时间间隔获取所述数据库内的所有所述KV对；
根据所述KV对通过一致性哈希算法定位所述需删除数据所在的存储节点OSD；
向所述OSD发送删除指令，所述OSD将所述需删除数据进行删除。
4.根据权利要求3所述的分布式文件删除方法，其特征在于，所述向所述OSD发送删除指令，所述OSD将所述需删除数据进行删除后还包括：
判断是否在预定时间内接收到所述OSD发送的第二删除成功信息；
若否，则向所述OSD再次发送删除指令。
5.一种分布式文件数据删除装置，其特征在于，包括：接收反馈模块、信息更新模块和数据删除模块；其中，
所述接收反馈模块，用于接收客户端发送的数据删除请求，将所述数据删除请求添加至处理队列中，向客户端返回第一删除成功信息；
所述信息更新模块，用于依次获取所述处理队列中的数据删除请求，根据所述数据删除请求更新集群节点的存储容量信息；
所述数据删除模块，用于根据所述数据删除请求确定需删除数据的数据信息，将所述数据信息存入数据库中，每隔预设时间间隔获取所述数据库内的数据信息，将所述数据信息相对应的数据进行删除。
6.根据权利要求5所述的分布式文件数据删除装置，其特征在于，所述数据删除模块包括：第一确定单元、第二确定单元和存储单元；其中，
所述第一确定单元，用于根据所述数据删除请求确定所述需删除数据的索引节点信息；
所述第二确定单元，用于根据所述索引节点信息通过一致性哈希算法确定所述需删除数据所在文件的文件名称，及所述需删除数据在所述文件中的位置信息；
所述存储单元，用于根据所述文件名称和所述位置信息形成键值KV对，将所述KV对存入数据库中。
7.根据权利要求6所述的分布式文件数据删除装置，其特征在于，所述数据删除模块还包括：获取单元、定位单元和删除单元；其中，
所述获取单元，用于每隔预设时间间隔获取所述数据库内的所有所述KV对；
所述定位单元，用于根据所述KV对通过一致性哈希算法定位所述需删除数据所在的元数据节点OSD；
所述删除单元，用于向所述OSD发送删除指令，所述OSD将所述需删除数据进行删除。
8.根据权利要求5所述的分布式文件删除方法装置，其特征在于，还包括：判断模块，用于判断是否在预定时间内接收到所述OSD发送的第二删除成功信息；若否，则向所述OSD再次发送删除指令。
9.一种分布式文件数据删除系统，其特征在于，包括客户端和存储端；其中，
所述客户端，用于向所述存储端发送删除请求；
所述存储端，用于接收所述客户端发送的数据删除请求，将所述数据删除请求添加至处理队列中，向客户端返回第一删除成功信息；
依次获取所述处理队列中的数据删除请求，根据所述数据删除请求更新集群节点的存储容量信息；
根据所述数据删除请求确定需删除数据的数据信息，将所述数据信息存入数据库中，每隔预设时间间隔获取所述数据库内的数据信息，将所述数据信息相对应的数据进行删除。
10.根据权利要求1所述的分布式文件数据删除系统，其特征在于，所述存储端包括：元数据节点MDS和OSD；其中，
所述MDS，用于接收客户端发送的数据删除请求，将所述数据删除请求添加至处理队列中，向客户端返回第一删除成功信息；
依次获取所述处理队列中的数据删除请求，根据所述数据删除请求更新集群节点的存储容量信息；
根据所述数据删除请求确定需删除数据的数据信息，将所述数据信息存入数据库中，每隔预设时间间隔获取所述数据库内的数据信息，根据所述数据信息定位所述需删除数据所在的OSD，向所述OSD发送删除指令；
所述OSD，用于根据所述删除指令将所述需删除数据进行删除。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510508415.4A CN105095489A (zh) | 2015-08-18 | 2015-08-18 | 一种分布式文件删除方法、装置和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510508415.4A CN105095489A (zh) | 2015-08-18 | 2015-08-18 | 一种分布式文件删除方法、装置和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN105095489A true CN105095489A (zh) | 2015-11-25 |
Family
ID=54575924
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510508415.4A Pending CN105095489A (zh) | 2015-08-18 | 2015-08-18 | 一种分布式文件删除方法、装置和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105095489A (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107958079A (zh) * | 2017-12-14 | 2018-04-24 | 郑州云海信息技术有限公司 | 聚合文件删除方法、系统、装置及可读存储介质 |
| CN108154431A (zh) * | 2018-01-17 | 2018-06-12 | 北京网信云服信息科技有限公司 | 一种标的募集状态处理方法及装置 |
| CN108415986A (zh) * | 2018-02-11 | 2018-08-17 | 杭州朗和科技有限公司 | 一种数据处理方法、装置、系统、介质和计算设备 |
| CN108846032A (zh) * | 2018-05-28 | 2018-11-20 | 郑州云海信息技术有限公司 | 一种存储系统中的文件删除方法、装置及设备 |
| CN108959399A (zh) * | 2018-06-04 | 2018-12-07 | 平安科技（深圳）有限公司 | 分布式数据删除流控方法、装置、电子设备及存储介质 |
| CN109241066A (zh) * | 2017-07-04 | 2019-01-18 | 北京国双科技有限公司 | 请求处理方法及装置 |
| CN109299043A (zh) * | 2018-12-13 | 2019-02-01 | 浪潮电子信息产业股份有限公司 | 分布式集群系统大文件删除方法、装置、设备及存储介质 |
| CN109558065A (zh) * | 2017-09-25 | 2019-04-02 | 杭州海康威视系统技术有限公司 | 数据删除方法及分布式存储系统 |
| CN109614377A (zh) * | 2018-12-07 | 2019-04-12 | 浪潮电子信息产业股份有限公司 | 分布式文件系统的文件删除方法、装置、设备及存储介质 |
| CN110119387A (zh) * | 2019-05-23 | 2019-08-13 | 苏州浪潮智能科技有限公司 | 一种文件删除方法、装置、设备及可读存储介质 |
| CN110888847A (zh) * | 2019-12-16 | 2020-03-17 | 新华三技术有限公司成都分公司 | 一种回收站系统及文件回收方法 |
| CN110888844A (zh) * | 2019-11-22 | 2020-03-17 | 浪潮电子信息产业股份有限公司 | 一种数据删除方法、系统、设备及计算机可读存储介质 |
| CN110908996A (zh) * | 2018-09-18 | 2020-03-24 | 北京京东尚科信息技术有限公司 | 一种数据处理的方法和装置 |
| CN112506896A (zh) * | 2019-09-16 | 2021-03-16 | 杭州海康威视系统技术有限公司 | 一种数据删除方法、装置及电子设备 |
| WO2021238246A1 (zh) * | 2020-05-28 | 2021-12-02 | 苏州浪潮智能科技有限公司 | 一种聚合小文件的操作请求的处理方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1752967A (zh) * | 2004-09-24 | 2006-03-29 | 英业达股份有限公司 | 一种使用分布式数据库储存文件信息的系统及方法 |
| CN101706817A (zh) * | 2009-12-01 | 2010-05-12 | 中兴通讯股份有限公司 | 分布式文件系统及其垃圾数据清理方法 |
| CN102375888A (zh) * | 2011-10-25 | 2012-03-14 | 无锡城市云计算中心有限公司 | 一种分布式文件系统中大文件高效删除的方法 |
| US20130325932A1 (en) * | 2012-06-05 | 2013-12-05 | Hon Hai Precision Industry Co., Ltd. | Electronic device and method for storing distributed documents |
| CN104156474A (zh) * | 2014-08-25 | 2014-11-19 | 曙光信息产业股份有限公司 | 一种分布式文件系统中文件的快速删除方法 |
| CN104679772A (zh) * | 2013-11-29 | 2015-06-03 | 深圳市腾讯计算机系统有限公司 | 分布式数据仓库中删除文件的方法、装置、设备及系统 |
-
2015
- 2015-08-18 CN CN201510508415.4A patent/CN105095489A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1752967A (zh) * | 2004-09-24 | 2006-03-29 | 英业达股份有限公司 | 一种使用分布式数据库储存文件信息的系统及方法 |
| CN101706817A (zh) * | 2009-12-01 | 2010-05-12 | 中兴通讯股份有限公司 | 分布式文件系统及其垃圾数据清理方法 |
| CN102375888A (zh) * | 2011-10-25 | 2012-03-14 | 无锡城市云计算中心有限公司 | 一种分布式文件系统中大文件高效删除的方法 |
| US20130325932A1 (en) * | 2012-06-05 | 2013-12-05 | Hon Hai Precision Industry Co., Ltd. | Electronic device and method for storing distributed documents |
| CN104679772A (zh) * | 2013-11-29 | 2015-06-03 | 深圳市腾讯计算机系统有限公司 | 分布式数据仓库中删除文件的方法、装置、设备及系统 |
| CN104156474A (zh) * | 2014-08-25 | 2014-11-19 | 曙光信息产业股份有限公司 | 一种分布式文件系统中文件的快速删除方法 |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109241066A (zh) * | 2017-07-04 | 2019-01-18 | 北京国双科技有限公司 | 请求处理方法及装置 |
| CN109558065B (zh) * | 2017-09-25 | 2020-11-27 | 杭州海康威视系统技术有限公司 | 数据删除方法及分布式存储系统 |
| CN109558065A (zh) * | 2017-09-25 | 2019-04-02 | 杭州海康威视系统技术有限公司 | 数据删除方法及分布式存储系统 |
| CN107958079A (zh) * | 2017-12-14 | 2018-04-24 | 郑州云海信息技术有限公司 | 聚合文件删除方法、系统、装置及可读存储介质 |
| CN108154431B (zh) * | 2018-01-17 | 2021-07-06 | 北京网信云服信息科技有限公司 | 一种标的募集状态处理方法及装置 |
| CN108154431A (zh) * | 2018-01-17 | 2018-06-12 | 北京网信云服信息科技有限公司 | 一种标的募集状态处理方法及装置 |
| CN108415986A (zh) * | 2018-02-11 | 2018-08-17 | 杭州朗和科技有限公司 | 一种数据处理方法、装置、系统、介质和计算设备 |
| CN108415986B (zh) * | 2018-02-11 | 2020-10-30 | 杭州朗和科技有限公司 | 一种数据处理方法、装置、系统、介质和计算设备 |
| CN108846032A (zh) * | 2018-05-28 | 2018-11-20 | 郑州云海信息技术有限公司 | 一种存储系统中的文件删除方法、装置及设备 |
| WO2019232927A1 (zh) * | 2018-06-04 | 2019-12-12 | 平安科技（深圳）有限公司 | 分布式数据删除流控方法、装置、电子设备及存储介质 |
| CN108959399A (zh) * | 2018-06-04 | 2018-12-07 | 平安科技（深圳）有限公司 | 分布式数据删除流控方法、装置、电子设备及存储介质 |
| CN110908996A (zh) * | 2018-09-18 | 2020-03-24 | 北京京东尚科信息技术有限公司 | 一种数据处理的方法和装置 |
| CN109614377B (zh) * | 2018-12-07 | 2022-04-22 | 浪潮电子信息产业股份有限公司 | 分布式文件系统的文件删除方法、装置、设备及存储介质 |
| CN109614377A (zh) * | 2018-12-07 | 2019-04-12 | 浪潮电子信息产业股份有限公司 | 分布式文件系统的文件删除方法、装置、设备及存储介质 |
| CN109299043A (zh) * | 2018-12-13 | 2019-02-01 | 浪潮电子信息产业股份有限公司 | 分布式集群系统大文件删除方法、装置、设备及存储介质 |
| CN110119387A (zh) * | 2019-05-23 | 2019-08-13 | 苏州浪潮智能科技有限公司 | 一种文件删除方法、装置、设备及可读存储介质 |
| CN112506896A (zh) * | 2019-09-16 | 2021-03-16 | 杭州海康威视系统技术有限公司 | 一种数据删除方法、装置及电子设备 |
| CN112506896B (zh) * | 2019-09-16 | 2023-08-04 | 杭州海康威视系统技术有限公司 | 一种数据删除方法、装置及电子设备 |
| CN110888844A (zh) * | 2019-11-22 | 2020-03-17 | 浪潮电子信息产业股份有限公司 | 一种数据删除方法、系统、设备及计算机可读存储介质 |
| WO2021098260A1 (zh) * | 2019-11-22 | 2021-05-27 | 浪潮电子信息产业股份有限公司 | 一种数据删除方法、系统、设备及计算机可读存储介质 |
| CN110888844B (zh) * | 2019-11-22 | 2023-03-21 | 浪潮电子信息产业股份有限公司 | 一种数据删除方法、系统、设备及计算机可读存储介质 |
| CN110888847A (zh) * | 2019-12-16 | 2020-03-17 | 新华三技术有限公司成都分公司 | 一种回收站系统及文件回收方法 |
| CN110888847B (zh) * | 2019-12-16 | 2023-04-21 | 新华三技术有限公司成都分公司 | 一种回收站系统及文件回收方法 |
| WO2021238246A1 (zh) * | 2020-05-28 | 2021-12-02 | 苏州浪潮智能科技有限公司 | 一种聚合小文件的操作请求的处理方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105095489A (zh) | 一种分布式文件删除方法、装置和系统 | |
| CN110737658B (zh) | 数据分片存储方法、装置、终端及可读存储介质 | |
| KR102133951B1 (ko) | 짧은 링크 처리 방법, 디바이스, 및 서버 | |
| US11556518B2 (en) | System and method for providing high availability data | |
| US9336227B2 (en) | Selective synchronization in a hierarchical folder structure | |
| CN106802932B (zh) | 一种数据库的路由方法、装置及数据库系统 | |
| CN108205560B (zh) | 一种数据同步方法以及装置 | |
| CN111221469B (zh) | 同步缓存数据的方法、装置和系统 | |
| CN113094430B (zh) | 一种数据处理方法、装置、设备以及存储介质 | |
| CN108319634B (zh) | 分布式文件系统的目录访问方法和装置 | |
| CN111400334A (zh) | 数据处理方法、装置、存储介质及电子装置 | |
| WO2020192663A1 (zh) | 一种数据管理方法及相关设备 | |
| CN110888847B (zh) | 一种回收站系统及文件回收方法 | |
| CN109344226A (zh) | 一种索引数据更新方法及装置 | |
| CN114741335A (zh) | 缓存管理方法、装置、介质及设备 | |
| CN111309799A (zh) | 数据合并的实现方法、装置、系统及存储介质 | |
| CN112000850B (zh) | 进行数据处理的方法、装置、系统及设备 | |
| CN106557262B (zh) | 一种数据处理方法及装置 | |
| CN111159179A (zh) | 表分区方法及相关设备、计算机可读存储介质 | |
| CN112749172A (zh) | 一种缓存与数据库之间的数据同步方法及系统 | |
| CN108121514B (zh) | 元信息更新方法、装置、计算设备及计算机存储介质 | |
| CN106060060A (zh) | 客户端获取锁的方法及系统 | |
| CN115982279A (zh) | 数据同步方法、装置、系统和计算机设备 | |
| CN108475211B (zh) | 无状态系统和用于获得资源的系统 | |
| CN107526530B (zh) | 数据处理方法和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20151125 |